- 文章讲述了数据开发相关的一些通用概念(数据建模、数据仓库和维度建模)，解释了ETL和常见的开发模式(面向数据处理过程开发、面向业务数据模型开发)， 并且介绍了华为GTS大数据开发平台DataFactory的理论基础和实现。 文章讲述了数据开发相关的一些通用概念(数据建模、数据仓库和维度建模)，解释了ETL和常见的开发模式(面向数据处理过程开发、面向业务数据模型开发)， 并且介绍了华为GTS大数据开发平台DataFactory的理论基础和实现。
- theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第9天，点击查看活动详情 Logistics_Day04：Kudu 的操作命令 01-[复习]-上次课程内容回顾 主要讲解：Kudu 存储引擎，类似HBase数据库，属于HBase和HDFS折中产品，既能够随机数据读写，又支持批量数据加载分析。1、物流项目ETL流程 三大业务板块 1）、... theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第9天，点击查看活动详情 Logistics_Day04：Kudu 的操作命令 01-[复习]-上次课程内容回顾 主要讲解：Kudu 存储引擎，类似HBase数据库，属于HBase和HDFS折中产品，既能够随机数据读写，又支持批量数据加载分析。1、物流项目ETL流程 三大业务板块 1）、...
- 业务服务器和大数据服务器 01-[复习]-上次课程内容回顾主要讲解Docker 基本使用：Docker是什么、Docker 基本命令（镜像image命令和容器container命令）。Docker容器引擎：虚拟化技术，将应用运行在容器Container中，方便进行部署、测试、迁移等开发操作。1）、Docker 容器引擎，典型C/S架构，客户端Client和服务端Server2）、Docke... 业务服务器和大数据服务器 01-[复习]-上次课程内容回顾主要讲解Docker 基本使用：Docker是什么、Docker 基本命令（镜像image命令和容器container命令）。Docker容器引擎：虚拟化技术，将应用运行在容器Container中，方便进行部署、测试、迁移等开发操作。1）、Docker 容器引擎，典型C/S架构，客户端Client和服务端Server2）、Docke...
- 课程简介：电商通常有web,小程序等多种接入方式,为掌握其实时变化，需统计各平台的实时访问量、订单数等，从而针对性地调整营销策略。 课程简介：电商通常有web,小程序等多种接入方式,为掌握其实时变化，需统计各平台的实时访问量、订单数等，从而针对性地调整营销策略。
- 课程简介：未来城市交通是智能交通融合的场景，车与周围环境是一个紧密联系的实体，基于此背景,我们使用华为云MRS服务中的Spark组件来分析统计指定时间内,车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数。结合实际的案例,能够让我们更好的掌握Spark及MRS的使用 课程简介：未来城市交通是智能交通融合的场景，车与周围环境是一个紧密联系的实体，基于此背景,我们使用华为云MRS服务中的Spark组件来分析统计指定时间内,车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数。结合实际的案例,能够让我们更好的掌握Spark及MRS的使用
- 有一人来买瓜，如何保熟？老兵趣味讲解算法建模 有一人来买瓜，如何保熟？老兵趣味讲解算法建模
- 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部... 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部...
- Logistics_Day01：项目概述及Docker入门 01-[理解]-客快物流大数据项目概述大数据分析中，主要分析引擎：1）、MapReduce 分析引擎，更多使用Hive编写SQL，底层转换为MR程序2）、Spark 分析引擎，物流项目，主要使用Spark 分析引擎处理分析数据：离线分析和实时分析DataFrame/Dataset = RDD + Schema离线分析：SparkS... Logistics_Day01：项目概述及Docker入门 01-[理解]-客快物流大数据项目概述大数据分析中，主要分析引擎：1）、MapReduce 分析引擎，更多使用Hive编写SQL，底层转换为MR程序2）、Spark 分析引擎，物流项目，主要使用Spark 分析引擎处理分析数据：离线分析和实时分析DataFrame/Dataset = RDD + Schema离线分析：SparkS...
- 数据治理的那些事 数据治理的那些事
- 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。
- 我们来看一下flink的介绍， Apache Flink® — Stateful Computations over Data Streams，数据流上的状态计算。可以看出flink默认它是一个默认就有状态的分析引擎，State一般指一个具体的 Task/Operator 的状态，State数据默认保存在 Java 的堆内存中。 假设一个 Task 在处理过程中挂掉了，那么它在内存中的状态都会丢 我们来看一下flink的介绍， Apache Flink® — Stateful Computations over Data Streams，数据流上的状态计算。可以看出flink默认它是一个默认就有状态的分析引擎，State一般指一个具体的 Task/Operator 的状态，State数据默认保存在 Java 的堆内存中。 假设一个 Task 在处理过程中挂掉了，那么它在内存中的状态都会丢
- 主页：小王叔叔的博客 主页：小王叔叔的博客
- 主页：小王叔叔的博客 本博客内容，实践前，请先逐一浏览，然后再逐一学习。 主页：小王叔叔的博客 本博客内容，实践前，请先逐一浏览，然后再逐一学习。
- 目录 1 数据源(学生成绩.csv)2 hadoop平台上传数据源3 idea代码3.1 工程框架3.2 导入依赖3.3 系统主入口(menu)3.4 六个mapreduce3.4.1 计算每门成绩的最高分、最低分、平均分(Mma)3.4.2 计算每个学生的总分及平均成绩并进行排序(Sas)3.4.3 统计所有学生的信息(Si)3.4.4 统计每门课程中相同分数分布情况(Css)3.4.5... 目录 1 数据源(学生成绩.csv)2 hadoop平台上传数据源3 idea代码3.1 工程框架3.2 导入依赖3.3 系统主入口(menu)3.4 六个mapreduce3.4.1 计算每门成绩的最高分、最低分、平均分(Mma)3.4.2 计算每个学生的总分及平均成绩并进行排序(Sas)3.4.3 统计所有学生的信息(Si)3.4.4 统计每门课程中相同分数分布情况(Css)3.4.5...
- 目录1 编程前总分析1.1 数据源1.2 需要掌握的知识1.2.1 Hadoop对比java的数据类型1.2.2 MapReduce流程简介 1.3.3 MapReduce流程细分2 编码阶段2.1 导入依赖2.2 mapper2.3 reducer2.4 main1 编程前总分析1.1 数据源英语,李沐,85,男,20数学,李沐,54,男,20音乐,李沐,54,男,20体育,李沐,34,... 目录1 编程前总分析1.1 数据源1.2 需要掌握的知识1.2.1 Hadoop对比java的数据类型1.2.2 MapReduce流程简介 1.3.3 MapReduce流程细分2 编码阶段2.1 导入依赖2.2 mapper2.3 reducer2.4 main1 编程前总分析1.1 数据源英语,李沐,85,男,20数学,李沐,54,男,20音乐,李沐,54,男,20体育,李沐,34,...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签