- Hive 主流文件存储格式对比 1、存储文件的压缩比测试 1.1 测试数据 https://github.com/Chenhonli/Compression_Format_Data log.txt... Hive 主流文件存储格式对比 1、存储文件的压缩比测试 1.1 测试数据 https://github.com/Chenhonli/Compression_Format_Data log.txt...
- 一、删除 删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表进行删除，首先要考虑该表是内部表还是外部表。如果是外部表... 一、删除 删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表进行删除，首先要考虑该表是内部表还是外部表。如果是外部表...
- 1、exactly once 要保证flink 端到端需要满足以下三点 1、flink要开启checkpoint 2、source支持数据重发 3、sink端幂等性写入、事务性写入。我们常使用事务性写入... 1、exactly once 要保证flink 端到端需要满足以下三点 1、flink要开启checkpoint 2、source支持数据重发 3、sink端幂等性写入、事务性写入。我们常使用事务性写入...
- 1、IP设置 使用下面命令修改添加示例内容 命令： vi /etc/sysconfig/network-scripts/ifcfg-ensXX 1 修改添加的内容示例： BOOTPROTO=sta... 1、IP设置 使用下面命令修改添加示例内容 命令： vi /etc/sysconfig/network-scripts/ifcfg-ensXX 1 修改添加的内容示例： BOOTPROTO=sta...
- 我们在使用hive时难免会碰到hive的函数解决不了的操作，这时我们就可以开发UDF函数去解决复杂的问题。 首先我们老生长谈一下udf函数分类： UDF : User-Defined Function... 我们在使用hive时难免会碰到hive的函数解决不了的操作，这时我们就可以开发UDF函数去解决复杂的问题。 首先我们老生长谈一下udf函数分类： UDF : User-Defined Function...
- 文章目录 一、概述1、简介2、 State backend2.1、MemoryStateBackend2.2、FsStatebackend：2.3、 RocksDBStateBackend ... 文章目录 一、概述1、简介2、 State backend2.1、MemoryStateBackend2.2、FsStatebackend：2.3、 RocksDBStateBackend ...
- 例如： select periodical_code, sort_array(collect_set( concat( "{", concat( ... 例如： select periodical_code, sort_array(collect_set( concat( "{", concat( ...
- Hive可视化工具dbeaver 1、dbeaver基本介绍 dbeaver是一个图形化的界面工具，专门用于与各种数据库的集成，通过dbeaver我们可以与各种数据库进行集成通过图形化界面的方式来操作... Hive可视化工具dbeaver 1、dbeaver基本介绍 dbeaver是一个图形化的界面工具，专门用于与各种数据库的集成，通过dbeaver我们可以与各种数据库进行集成通过图形化界面的方式来操作...
- 一、前提条件 服务器配置好，搭建大数据集群服务器看这篇：搭建学习使用的大数据集群环境：windows使用vmware安装三台虚拟机，配置好网络环境安装好对应版本的hadoop集群，并启动安装好对应版本的... 一、前提条件 服务器配置好，搭建大数据集群服务器看这篇：搭建学习使用的大数据集群环境：windows使用vmware安装三台虚拟机，配置好网络环境安装好对应版本的hadoop集群，并启动安装好对应版本的...
- 异常值值会影响回归模型和分类模型的准确性，因此检测和删除它们是机器学习过程中的重要一步。在较大的数据集上，检测和去除异常值要困难得多，因此数据科学家经常应用自动异常检测算法（例如隔离森林）来帮助识别和... 异常值值会影响回归模型和分类模型的准确性，因此检测和删除它们是机器学习过程中的重要一步。在较大的数据集上，检测和去除异常值要困难得多，因此数据科学家经常应用自动异常检测算法（例如隔离森林）来帮助识别和...
- 文章目录 一、大数据时代二、大数据处理流程三、可视化原则四、可视化工具（一）工具（二）案例演示任务1、用文字、表格和图表三种方式来表达7次全国人口普查数据1、文字方式2、表格方式3、图表方式（1）... 文章目录 一、大数据时代二、大数据处理流程三、可视化原则四、可视化工具（一）工具（二）案例演示任务1、用文字、表格和图表三种方式来表达7次全国人口普查数据1、文字方式2、表格方式3、图表方式（1）...
- 📢📢📢📣📣📣 🌻🌻🌻Hello，大家好我叫是Dream呀，一个有趣的Python博主，多多关照😜😜😜 🏅🏅🏅Python领域优质创作者，欢迎大家找我合作学习（文末有... 📢📢📢📣📣📣 🌻🌻🌻Hello，大家好我叫是Dream呀，一个有趣的Python博主，多多关照😜😜😜 🏅🏅🏅Python领域优质创作者，欢迎大家找我合作学习（文末有...
- 中国大学生计算机设计大赛 大数据实践赛作品报告 作品编号： 作品名称： 版本编号： 填写说明： 本文档适用于大数据实践小类；... 中国大学生计算机设计大赛 大数据实践赛作品报告 作品编号： 作品名称： 版本编号： 填写说明： 本文档适用于大数据实践小类；...
- 一、背景和目的 该数据集包含使用信用卡进行的金融交易的数据。这些数据是指欧洲运营商的客户，指的是 2013/9年期间。 该研究的目的是创建一个预测模型，该模型能够从通过数据集获得的“学习”中识别欺诈交... 一、背景和目的 该数据集包含使用信用卡进行的金融交易的数据。这些数据是指欧洲运营商的客户，指的是 2013/9年期间。 该研究的目的是创建一个预测模型，该模型能够从通过数据集获得的“学习”中识别欺诈交...
- 目录 Ranger2.1.0源码编译 一、安装git 1）下载git，执行如下命令： 2）解压下载好的压缩包 3）安装编译源码所需依赖，以上安装依赖时，出现提示按‘y’即可 4）进入解压的文件夹，编译git，这一步骤时间稍微过长，耐心等待即可 5）安装git到/usr/local/git路径 6）配置环境变量 7）检查... 目录 Ranger2.1.0源码编译 一、安装git 1）下载git，执行如下命令： 2）解压下载好的压缩包 3）安装编译源码所需依赖，以上安装依赖时，出现提示按‘y’即可 4）进入解压的文件夹，编译git，这一步骤时间稍微过长，耐心等待即可 5）安装git到/usr/local/git路径 6）配置环境变量 7）检查...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签