- Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用 程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： ● 能够快速处理OLAP工作负载 ● 支持与MapReduce，Spark和其他Hadoop生态系统组件集成 ● 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parq... Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用 程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： ● 能够快速处理OLAP工作负载 ● 支持与MapReduce，Spark和其他Hadoop生态系统组件集成 ● 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parq...
- 基本原理 简介 Flume是一个分布式、可靠和高可用的海量日志聚合系统，支持在系统中定制各类数 据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写入各种数据 接受方（可定制）的能力。Flume有如下几个特点： ● 收集、聚合事件流数据的分布式框架 ● 通常用于log数据 ... 基本原理 简介 Flume是一个分布式、可靠和高可用的海量日志聚合系统，支持在系统中定制各类数 据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写入各种数据 接受方（可定制）的能力。Flume有如下几个特点： ● 收集、聚合事件流数据的分布式框架 ● 通常用于log数据 ...
- 福哥答案2020-08-24：[知乎答案](https://www.zhihu.com/question/417040766)1.小文件：小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。2.小文件问题：HDFS的小文件问题：（１）HDFS 中任何一个文件，目录或者数据块在 NameNode 节点内存中均以一个对象形式... 福哥答案2020-08-24：[知乎答案](https://www.zhihu.com/question/417040766)1.小文件：小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。2.小文件问题：HDFS的小文件问题：（１）HDFS 中任何一个文件，目录或者数据块在 NameNode 节点内存中均以一个对象形式...
- 1，建立目录，解压软件清单mkdir -p /hadoop/{soft,nn,dn,tmp,zookeeper,jn}tar xvf hadoop-2.8.3.tar.gz -C /hadoop/softtar xvf zookeeper-3.4.12.tar.gz -C /hadoop/softtar -zxvf jdk-8u161-linux-x64.gz -C /hadoop/soft... 1，建立目录，解压软件清单mkdir -p /hadoop/{soft,nn,dn,tmp,zookeeper,jn}tar xvf hadoop-2.8.3.tar.gz -C /hadoop/softtar xvf zookeeper-3.4.12.tar.gz -C /hadoop/softtar -zxvf jdk-8u161-linux-x64.gz -C /hadoop/soft...
- 福哥答案2020-08-13：该项目包括以下模块：1.Common(公共工具)支持其他Hadoop模块的公共工具。2.HDFS（Hadoop分布式文件系统）提供对应用程序数据的高吞吐量访问的分布式文件系统。3.Mapreduce（分布式计算框架，地图还原）一个基于纱线的大数据集并行处理系统。4.Yarn(分布式资源管理器，纱线）一个用于作业调度和集群资源管理的框架。Apache的其他与Had... 福哥答案2020-08-13：该项目包括以下模块：1.Common(公共工具)支持其他Hadoop模块的公共工具。2.HDFS（Hadoop分布式文件系统）提供对应用程序数据的高吞吐量访问的分布式文件系统。3.Mapreduce（分布式计算框架，地图还原）一个基于纱线的大数据集并行处理系统。4.Yarn(分布式资源管理器，纱线）一个用于作业调度和集群资源管理的框架。Apache的其他与Had...
- 背景：HDFS： HDFS通过ACL控制文件访问权限，不能够提供更加复杂的权限规则。 ACL的控制没有可视化的界面操作，不便于用户权限管理，没有统一的权限管理框架。 Ranger的UI界面操作简单。Yarn： Yarn原来是通过Manager的租户管理界面新建Yarn的队列，然后可以通过将队列绑定给特定的用户来实现权限控制。另外Ranger对所有的访问提供了审计的能力... 背景：HDFS： HDFS通过ACL控制文件访问权限，不能够提供更加复杂的权限规则。 ACL的控制没有可视化的界面操作，不便于用户权限管理，没有统一的权限管理框架。 Ranger的UI界面操作简单。Yarn： Yarn原来是通过Manager的租户管理界面新建Yarn的队列，然后可以通过将队列绑定给特定的用户来实现权限控制。另外Ranger对所有的访问提供了审计的能力...
- Oozie（驭象者）是Yahoo开发的工作流引擎，主要用于管理Hadoop任务（支持MapReduce、Spark、Pig、Hive），把这些任务以DAG（有向无环图）方式串接起来。 Oozie（驭象者）是Yahoo开发的工作流引擎，主要用于管理Hadoop任务（支持MapReduce、Spark、Pig、Hive），把这些任务以DAG（有向无环图）方式串接起来。
- hive性能优化 hive性能优化
- 一. 简介：Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。二. 前置条件：1.节点上已经安装jdk1.82.由于利用先用hbase进行搭建所以集群已经部署安装hbase服务3.OS版本为 CentOS Linux release ... 一. 简介：Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。二. 前置条件：1.节点上已经安装jdk1.82.由于利用先用hbase进行搭建所以集群已经部署安装hbase服务3.OS版本为 CentOS Linux release ...
- 基于Docker搭建Hadoop集群将Hadoop打包到Docker镜像中，就可以快速的在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。Hadoop的master和slave分别运行在不同的Docker容器中，其中NameNode、ResourceManager运行在hadoop-master容器中，DataNode、NodeManager运行在hadoop-slave容器中。... 基于Docker搭建Hadoop集群将Hadoop打包到Docker镜像中，就可以快速的在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。Hadoop的master和slave分别运行在不同的Docker容器中，其中NameNode、ResourceManager运行在hadoop-master容器中，DataNode、NodeManager运行在hadoop-slave容器中。...
- 大数据：数据从GB (2的30次方byte) 急速增长到ZB (2的70次方byte)，需要通过分部署存储和分布式计算解决数据处理问题。 大数据：数据从GB (2的30次方byte) 急速增长到ZB (2的70次方byte)，需要通过分部署存储和分布式计算解决数据处理问题。
- 翻译https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html-----------------------------------------------------------------------------------------------数据复制HDFS主要用于集群中可靠存储大型文件。它将每个文件作为一个快序列存储起来；文件包含... 翻译https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html-----------------------------------------------------------------------------------------------数据复制HDFS主要用于集群中可靠存储大型文件。它将每个文件作为一个快序列存储起来；文件包含...
- 翻译https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html-----------------------------------------------------------------------------------------------NameNode 和 DataNodesHDFS是一个主备架构。一个HDFS集群包含一个Na... 翻译https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html-----------------------------------------------------------------------------------------------NameNode 和 DataNodesHDFS是一个主备架构。一个HDFS集群包含一个Na...
- 上周我们一起了解了下合并算法，这篇我们开始聊聊组件架构。 整体架构如下图所示：由原来的HDFS的NameNode、DataNode，与新增的组件中各个模块组成——Building TaskQueue（小文件队列）、File Merging Strategy（小文件合并）、Index File（索引文件）、Prefetching（预取）。 除了HDFS原... 上周我们一起了解了下合并算法，这篇我们开始聊聊组件架构。 整体架构如下图所示：由原来的HDFS的NameNode、DataNode，与新增的组件中各个模块组成——Building TaskQueue（小文件队列）、File Merging Strategy（小文件合并）、Index File（索引文件）、Prefetching（预取）。 除了HDFS原...
- 大数据分析平台以下面的格式存储设备文件：/var/work/${file type}/year/month/day，形象的图如下：比如/var/work/pcap/2018/10/02/file1，file2...... 大数据分析平台小文件合并算法是基于上述目录分层的，算法输入是上面的某个目录，比如/var/work/pcap/2018/10/02，算法输出是一个或者... 大数据分析平台以下面的格式存储设备文件：/var/work/${file type}/year/month/day，形象的图如下：比如/var/work/pcap/2018/10/02/file1，file2...... 大数据分析平台小文件合并算法是基于上述目录分层的，算法输入是上面的某个目录，比如/var/work/pcap/2018/10/02，算法输出是一个或者...
上滑加载中
推荐直播
-
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中 -
华为云码道全新升级，多会话并行与多智能体协作2026/05/08 周五 19:00-21:00
王一男-华为云码道产品专家；张嘉冉-华为云码道工程师；胡琦-华为云HCDE；程诗杰-华为云HCDG
华为云码道4月份版本全新升级，此次直播深度解读4月份产品特性，通过“特性解读+实操演示+实战案例+设计创新”的组合，全方位展现码道在多会话并行与多智能体协作方面的能力，赋能开发者提升效率
正在直播
热门标签