- 一、Hadoop生态系统的演进与核心架构在大数据技术发展史上，Hadoop始终扮演着重要角色。从最初的MapReduce单一体系，到如今YARN、HDFS、ZooKeeper等组件构成的复杂生态，其核心架构的演变反映了数据处理需求的迭代升级。值得关注的是，Hadoop 3.0版本引入的Erasure Coding技术将存储效率提升30%以上，这为批流混合处理提供了更坚实的基础设施。典型Ha... 一、Hadoop生态系统的演进与核心架构在大数据技术发展史上，Hadoop始终扮演着重要角色。从最初的MapReduce单一体系，到如今YARN、HDFS、ZooKeeper等组件构成的复杂生态，其核心架构的演变反映了数据处理需求的迭代升级。值得关注的是，Hadoop 3.0版本引入的Erasure Coding技术将存储效率提升30%以上，这为批流混合处理提供了更坚实的基础设施。典型Ha...
- 买房不是拍脑袋：大数据教你优化房地产投资策略 买房不是拍脑袋：大数据教你优化房地产投资策略
- 别等被黑客敲门才醒悟：大数据如何帮你防住网络攻击？ 别等被黑客敲门才醒悟：大数据如何帮你防住网络攻击？
- 大数据，真能帮我们“降温”吗？——聊聊科技如何应对气候变化 大数据，真能帮我们“降温”吗？——聊聊科技如何应对气候变化
- 没有大数据，哪来人工智能？——聊聊“大数据喂养下的AI进化史” 没有大数据，哪来人工智能？——聊聊“大数据喂养下的AI进化史”
- CERES Monthly Gridded Radiative Fluxes and Clouds Terra FM1 Edition2G简介CER_FSW_Terra-FM1-MODIS_Edition2G 是云和地球辐射能量系统 (CERES) 月度格点辐射通量和云 Terra 飞行模型 (FM1) Edition2G 数据产品，该产品是使用 Terra 平台上的 CERES-FM1 和... CERES Monthly Gridded Radiative Fluxes and Clouds Terra FM1 Edition2G简介CER_FSW_Terra-FM1-MODIS_Edition2G 是云和地球辐射能量系统 (CERES) 月度格点辐射通量和云 Terra 飞行模型 (FM1) Edition2G 数据产品，该产品是使用 Terra 平台上的 CERES-FM1 和...
- 一、理解Partitioner的核心作用在MapReduce框架中，Partitioner如同数据处理流水线的交通枢纽。它负责将Mapper输出的键值对分配到对应的Reducer，这个看似简单的操作直接影响着任务的负载均衡和执行效率。默认的HashPartitioner通过key.hashCode() % numReduceTasks进行分区，但在实际生产环境中，这种"简单粗暴"的方式往往... 一、理解Partitioner的核心作用在MapReduce框架中，Partitioner如同数据处理流水线的交通枢纽。它负责将Mapper输出的键值对分配到对应的Reducer，这个看似简单的操作直接影响着任务的负载均衡和执行效率。默认的HashPartitioner通过key.hashCode() % numReduceTasks进行分区，但在实际生产环境中，这种"简单粗暴"的方式往往...
- CERES Clouds and Radiative Swath TRMM Edition2C简介CER_CRS_TRMM-PFM-VIRS_Edition2C 是云和地球辐射能量系统 (CERES) 云和辐射带 (CRS) 热带降雨测量任务 (TRMM) Edition2C 数据产品，该产品是使用热带降雨测量任务 (TRMM) 平台上的 CERES-proto 飞行模型 (PFM) 仪器收... CERES Clouds and Radiative Swath TRMM Edition2C简介CER_CRS_TRMM-PFM-VIRS_Edition2C 是云和地球辐射能量系统 (CERES) 云和辐射带 (CRS) 热带降雨测量任务 (TRMM) Edition2C 数据产品，该产品是使用热带降雨测量任务 (TRMM) 平台上的 CERES-proto 飞行模型 (PFM) 仪器收...
- CERES ERBE-like Time-Interpolated TOA Fluxes Terra and Aqua Crosstrack Edition4简介CER_ES4_Terra+Aqua_Edition4 是类似云层和地球辐射能量系统 (CERES) 地球辐射收支实验 (ERBE) 的时间插值大气顶 (TOA) 通量 Terra 和 Aqua 交叉轨迹 Edition4 数据产... CERES ERBE-like Time-Interpolated TOA Fluxes Terra and Aqua Crosstrack Edition4简介CER_ES4_Terra+Aqua_Edition4 是类似云层和地球辐射能量系统 (CERES) 地球辐射收支实验 (ERBE) 的时间插值大气顶 (TOA) 通量 Terra 和 Aqua 交叉轨迹 Edition4 数据产...
- 别光喊“用户至上”，电子商务体验要靠大数据来落地！ 别光喊“用户至上”，电子商务体验要靠大数据来落地！
- 数据当“安全带”：金融市场如何用大数据玩转风险控制？ 数据当“安全带”：金融市场如何用大数据玩转风险控制？
- ConnectorFlink DataStream 连接器核心框架三种连接器均遵循 Flink DataStream“环境准备→数据接入→转换处理→结果输出→执行提交” 的标准化流程，核心共性如下：环境初始化：统一通过StreamExecutionEnvironment.getExecutionEnvironment()获取执行环境，并支持setRuntimeMode(RuntimeEx... ConnectorFlink DataStream 连接器核心框架三种连接器均遵循 Flink DataStream“环境准备→数据接入→转换处理→结果输出→执行提交” 的标准化流程，核心共性如下：环境初始化：统一通过StreamExecutionEnvironment.getExecutionEnvironment()获取执行环境，并支持setRuntimeMode(RuntimeEx...
- 在 Apache Flink 中，Transformation（转换） 是流处理和批处理作业的核心逻辑单元，负责将输入的数据流（DataStream）或数据集（DataSet，批处理专用） 按照业务规则转换为新的输出数据流 / 数据集。它本质上是 “数据处理逻辑的定义”，Flink 会根据 Transformation 构建执行计划（StreamGraph → JobGraph → Exec... 在 Apache Flink 中，Transformation（转换） 是流处理和批处理作业的核心逻辑单元，负责将输入的数据流（DataStream）或数据集（DataSet，批处理专用） 按照业务规则转换为新的输出数据流 / 数据集。它本质上是 “数据处理逻辑的定义”，Flink 会根据 Transformation 构建执行计划（StreamGraph → JobGraph → Exec...
- Flink起源于一个名为Stratosphere的研究项目，目的是建立下一代大数据分析平台，于2014年4月16日成为Apache孵化器项目。Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级... Flink起源于一个名为Stratosphere的研究项目，目的是建立下一代大数据分析平台，于2014年4月16日成为Apache孵化器项目。Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级...
- Flink起源于一个名为Stratosphere的研究项目，目的是建立下一代大数据分析平台，于2014年4月16日成为Apache孵化器项目。Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级... Flink起源于一个名为Stratosphere的研究项目，目的是建立下一代大数据分析平台，于2014年4月16日成为Apache孵化器项目。Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签