- Apache DolphinScheduler(海豚调度)：国人之光，是许多国人雷锋开源在Apache的顶级项目，主要功能就是负责任务的调度处理。 云服务MRS：华为云提供的一站式大数据平台，包含Hudi、ClickHouse、Spark、Flink、Kafka、HBase等丰富的大数据组件，完全兼容开源生态。 本文介绍如何搭建DolphinScheduler并运行MRS作业 Apache DolphinScheduler(海豚调度)：国人之光，是许多国人雷锋开源在Apache的顶级项目，主要功能就是负责任务的调度处理。 云服务MRS：华为云提供的一站式大数据平台，包含Hudi、ClickHouse、Spark、Flink、Kafka、HBase等丰富的大数据组件，完全兼容开源生态。 本文介绍如何搭建DolphinScheduler并运行MRS作业
- 目录 1 数据源(学生成绩.csv)2 hadoop平台上传数据源3 idea代码3.1 工程框架3.2 导入依赖3.3 系统主入口(menu)3.4 六个mapreduce3.4.1 计算每门成绩的最高分、最低分、平均分(Mma)3.4.2 计算每个学生的总分及平均成绩并进行排序(Sas)3.4.3 统计所有学生的信息(Si)3.4.4 统计每门课程中相同分数分布情况(Css)3.4.5... 目录 1 数据源(学生成绩.csv)2 hadoop平台上传数据源3 idea代码3.1 工程框架3.2 导入依赖3.3 系统主入口(menu)3.4 六个mapreduce3.4.1 计算每门成绩的最高分、最低分、平均分(Mma)3.4.2 计算每个学生的总分及平均成绩并进行排序(Sas)3.4.3 统计所有学生的信息(Si)3.4.4 统计每门课程中相同分数分布情况(Css)3.4.5...
- 目录1 编程前总分析1.1 数据源1.2 需要掌握的知识1.2.1 Hadoop对比java的数据类型1.2.2 MapReduce流程简介 1.3.3 MapReduce流程细分2 编码阶段2.1 导入依赖2.2 mapper2.3 reducer2.4 main1 编程前总分析1.1 数据源英语,李沐,85,男,20数学,李沐,54,男,20音乐,李沐,54,男,20体育,李沐,34,... 目录1 编程前总分析1.1 数据源1.2 需要掌握的知识1.2.1 Hadoop对比java的数据类型1.2.2 MapReduce流程简介 1.3.3 MapReduce流程细分2 编码阶段2.1 导入依赖2.2 mapper2.3 reducer2.4 main1 编程前总分析1.1 数据源英语,李沐,85,男,20数学,李沐,54,男,20音乐,李沐,54,男,20体育,李沐,34,...
- 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物... 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物...
- 1、 概述1.1、什么是MapReduce？大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的... 1、 概述1.1、什么是MapReduce？大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的...
- 相比MapReduce僵化的Map与Reduce分阶段计算相比，Spark的计算框架更加富有弹性和灵活性，运行性能更佳。 1 Spark的计算阶段MapReduce一个应用一次只运行一个map和一个reduceSpark可根据应用的复杂度，分割成更多的计算阶段（stage），组成一个有向无环图DAG，Spark任务调度器可根据DAG的依赖关系执行计算阶段逻辑回归机器学习性能Spark比Map... 相比MapReduce僵化的Map与Reduce分阶段计算相比，Spark的计算框架更加富有弹性和灵活性，运行性能更佳。 1 Spark的计算阶段MapReduce一个应用一次只运行一个map和一个reduceSpark可根据应用的复杂度，分割成更多的计算阶段（stage），组成一个有向无环图DAG，Spark任务调度器可根据DAG的依赖关系执行计算阶段逻辑回归机器学习性能Spark比Map...
- Hive如何让MapReduce实现SQL操作MapReduce简化了大数据编程的难度，使得大数据计算不再是高不可攀的技术圣殿，普通工程师也能使用MapReduce开发大数据程序。但是对于经常需要进行大数据计算的人，比如从事研究商业智能（BI）的数据分析师来说，他们通常使用SQL进行大数据分析和统计，MapReduce编程还是有一定的门槛。而且如果每次统计和分析都开发相应的MapReduce... Hive如何让MapReduce实现SQL操作MapReduce简化了大数据编程的难度，使得大数据计算不再是高不可攀的技术圣殿，普通工程师也能使用MapReduce开发大数据程序。但是对于经常需要进行大数据计算的人，比如从事研究商业智能（BI）的数据分析师来说，他们通常使用SQL进行大数据分析和统计，MapReduce编程还是有一定的门槛。而且如果每次统计和分析都开发相应的MapReduce...
- 操作场景本章节指导用户在HSConsole界面添加HBase数据源。前提条件数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。已创建HetuEngine计算实例。数据源所在集群与HetuEngine所在集群上ZooKeeper的SSL通信加密配置需保持一致。FusionInsight Manager 8.1.2之前的版本，SSL通... 操作场景本章节指导用户在HSConsole界面添加HBase数据源。前提条件数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。已创建HetuEngine计算实例。数据源所在集群与HetuEngine所在集群上ZooKeeper的SSL通信加密配置需保持一致。FusionInsight Manager 8.1.2之前的版本，SSL通...
- 华为Flink可视化开发平台FlinkServer作为自研服务，能够提供比原生flinksql接口更强的企业级特性，比如任务的集中管理，可视化开发，多数据源配置等。本文将对比介绍体现flinkserver的优势。 华为Flink可视化开发平台FlinkServer作为自研服务，能够提供比原生flinksql接口更强的企业级特性，比如任务的集中管理，可视化开发，多数据源配置等。本文将对比介绍体现flinkserver的优势。
- 本文学习如何使用flinksql语法解析复杂嵌套的json格式内容。 本文学习如何使用flinksql语法解析复杂嵌套的json格式内容。
- 本文学习如何使用rest接口访问FusionInsight MRS 组件界面信息。 本文学习如何使用rest接口访问FusionInsight MRS 组件界面信息。
- FusionInsight Manager是集群的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。本文学习使用基本的rest接口访问manager。 FusionInsight Manager是集群的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。本文学习使用基本的rest接口访问manager。
- Hudi的Compaction作用Hudi的Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，Merge-On-Read表可减少数据摄入延迟，更新被记录到增量文件，但是随着行式数据的不断增长，为加快分析效率，需要对列式文件和行式文件的合并（compaction）生成新版本的列式文件，提升数据访问的性能。因而进行Compaction很有意义。Compactio... Hudi的Compaction作用Hudi的Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，Merge-On-Read表可减少数据摄入延迟，更新被记录到增量文件，但是随着行式数据的不断增长，为加快分析效率，需要对列式文件和行式文件的合并（compaction）生成新版本的列式文件，提升数据访问的性能。因而进行Compaction很有意义。Compactio...
- Flink是什么Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 Flink的特点支持事件时间（event-time）和处理时间（processing-time）语义精确一次（exactly-once）的状态一致性保证低延迟，每秒处理数百万个事件，毫秒级延迟与众多常用存储系统的连接高可用，动态扩展，实现7*24小时全天候运行 Flink的全球热度 F... Flink是什么Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 Flink的特点支持事件时间（event-time）和处理时间（processing-time）语义精确一次（exactly-once）的状态一致性保证低延迟，每秒处理数百万个事件，毫秒级延迟与众多常用存储系统的连接高可用，动态扩展，实现7*24小时全天候运行 Flink的全球热度 F...
- 介绍了Loader的主要功能及其主要特性，然后介绍了Loader的作业管理和监控。大数据平台与外部数据源的交互，通过MapReduce并行处理，完成数据的导入与导出功能。 介绍了Loader的主要功能及其主要特性，然后介绍了Loader的作业管理和监控。大数据平台与外部数据源的交互，通过MapReduce并行处理，完成数据的导入与导出功能。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签