- 文章讲述了数据开发相关的一些通用概念(数据建模、数据仓库和维度建模)，解释了ETL和常见的开发模式(面向数据处理过程开发、面向业务数据模型开发)， 并且介绍了华为GTS大数据开发平台DataFactory的理论基础和实现。 文章讲述了数据开发相关的一些通用概念(数据建模、数据仓库和维度建模)，解释了ETL和常见的开发模式(面向数据处理过程开发、面向业务数据模型开发)， 并且介绍了华为GTS大数据开发平台DataFactory的理论基础和实现。
- theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第9天，点击查看活动详情 Logistics_Day04：Kudu 的操作命令 01-[复习]-上次课程内容回顾 主要讲解：Kudu 存储引擎，类似HBase数据库，属于HBase和HDFS折中产品，既能够随机数据读写，又支持批量数据加载分析。1、物流项目ETL流程 三大业务板块 1）、... theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第9天，点击查看活动详情 Logistics_Day04：Kudu 的操作命令 01-[复习]-上次课程内容回顾 主要讲解：Kudu 存储引擎，类似HBase数据库，属于HBase和HDFS折中产品，既能够随机数据读写，又支持批量数据加载分析。1、物流项目ETL流程 三大业务板块 1）、...
- 业务服务器和大数据服务器 01-[复习]-上次课程内容回顾主要讲解Docker 基本使用：Docker是什么、Docker 基本命令（镜像image命令和容器container命令）。Docker容器引擎：虚拟化技术，将应用运行在容器Container中，方便进行部署、测试、迁移等开发操作。1）、Docker 容器引擎，典型C/S架构，客户端Client和服务端Server2）、Docke... 业务服务器和大数据服务器 01-[复习]-上次课程内容回顾主要讲解Docker 基本使用：Docker是什么、Docker 基本命令（镜像image命令和容器container命令）。Docker容器引擎：虚拟化技术，将应用运行在容器Container中，方便进行部署、测试、迁移等开发操作。1）、Docker 容器引擎，典型C/S架构，客户端Client和服务端Server2）、Docke...
- 课程简介：电商通常有web,小程序等多种接入方式,为掌握其实时变化，需统计各平台的实时访问量、订单数等，从而针对性地调整营销策略。 课程简介：电商通常有web,小程序等多种接入方式,为掌握其实时变化，需统计各平台的实时访问量、订单数等，从而针对性地调整营销策略。
- 课程简介：未来城市交通是智能交通融合的场景，车与周围环境是一个紧密联系的实体，基于此背景,我们使用华为云MRS服务中的Spark组件来分析统计指定时间内,车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数。结合实际的案例,能够让我们更好的掌握Spark及MRS的使用 课程简介：未来城市交通是智能交通融合的场景，车与周围环境是一个紧密联系的实体，基于此背景,我们使用华为云MRS服务中的Spark组件来分析统计指定时间内,车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数。结合实际的案例,能够让我们更好的掌握Spark及MRS的使用
- 有一人来买瓜，如何保熟？老兵趣味讲解算法建模 有一人来买瓜，如何保熟？老兵趣味讲解算法建模
- 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部... 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部...
- Logistics_Day01：项目概述及Docker入门 01-[理解]-客快物流大数据项目概述大数据分析中，主要分析引擎：1）、MapReduce 分析引擎，更多使用Hive编写SQL，底层转换为MR程序2）、Spark 分析引擎，物流项目，主要使用Spark 分析引擎处理分析数据：离线分析和实时分析DataFrame/Dataset = RDD + Schema离线分析：SparkS... Logistics_Day01：项目概述及Docker入门 01-[理解]-客快物流大数据项目概述大数据分析中，主要分析引擎：1）、MapReduce 分析引擎，更多使用Hive编写SQL，底层转换为MR程序2）、Spark 分析引擎，物流项目，主要使用Spark 分析引擎处理分析数据：离线分析和实时分析DataFrame/Dataset = RDD + Schema离线分析：SparkS...
- 数据治理的那些事 数据治理的那些事
- 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。
- 我们来看一下flink的介绍， Apache Flink® — Stateful Computations over Data Streams，数据流上的状态计算。可以看出flink默认它是一个默认就有状态的分析引擎，State一般指一个具体的 Task/Operator 的状态，State数据默认保存在 Java 的堆内存中。 假设一个 Task 在处理过程中挂掉了，那么它在内存中的状态都会丢 我们来看一下flink的介绍， Apache Flink® — Stateful Computations over Data Streams，数据流上的状态计算。可以看出flink默认它是一个默认就有状态的分析引擎，State一般指一个具体的 Task/Operator 的状态，State数据默认保存在 Java 的堆内存中。 假设一个 Task 在处理过程中挂掉了，那么它在内存中的状态都会丢
- 主页：小王叔叔的博客 主页：小王叔叔的博客
- 主页：小王叔叔的博客 本博客内容，实践前，请先逐一浏览，然后再逐一学习。 主页：小王叔叔的博客 本博客内容，实践前，请先逐一浏览，然后再逐一学习。
- 目录 1 数据源(学生成绩.csv)2 hadoop平台上传数据源3 idea代码3.1 工程框架3.2 导入依赖3.3 系统主入口(menu)3.4 六个mapreduce3.4.1 计算每门成绩的最高分、最低分、平均分(Mma)3.4.2 计算每个学生的总分及平均成绩并进行排序(Sas)3.4.3 统计所有学生的信息(Si)3.4.4 统计每门课程中相同分数分布情况(Css)3.4.5... 目录 1 数据源(学生成绩.csv)2 hadoop平台上传数据源3 idea代码3.1 工程框架3.2 导入依赖3.3 系统主入口(menu)3.4 六个mapreduce3.4.1 计算每门成绩的最高分、最低分、平均分(Mma)3.4.2 计算每个学生的总分及平均成绩并进行排序(Sas)3.4.3 统计所有学生的信息(Si)3.4.4 统计每门课程中相同分数分布情况(Css)3.4.5...
- 目录1 编程前总分析1.1 数据源1.2 需要掌握的知识1.2.1 Hadoop对比java的数据类型1.2.2 MapReduce流程简介 1.3.3 MapReduce流程细分2 编码阶段2.1 导入依赖2.2 mapper2.3 reducer2.4 main1 编程前总分析1.1 数据源英语,李沐,85,男,20数学,李沐,54,男,20音乐,李沐,54,男,20体育,李沐,34,... 目录1 编程前总分析1.1 数据源1.2 需要掌握的知识1.2.1 Hadoop对比java的数据类型1.2.2 MapReduce流程简介 1.3.3 MapReduce流程细分2 编码阶段2.1 导入依赖2.2 mapper2.3 reducer2.4 main1 编程前总分析1.1 数据源英语,李沐,85,男,20数学,李沐,54,男,20音乐,李沐,54,男,20体育,李沐,34,...
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中
热门标签