- Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用 程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： ● 能够快速处理OLAP工作负载 ● 支持与MapReduce，Spark和其他Hadoop生态系统组件集成 ● 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parq... Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用 程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： ● 能够快速处理OLAP工作负载 ● 支持与MapReduce，Spark和其他Hadoop生态系统组件集成 ● 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parq...
- 基本原理 简介 Flume是一个分布式、可靠和高可用的海量日志聚合系统，支持在系统中定制各类数 据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写入各种数据 接受方（可定制）的能力。Flume有如下几个特点： ● 收集、聚合事件流数据的分布式框架 ● 通常用于log数据 ... 基本原理 简介 Flume是一个分布式、可靠和高可用的海量日志聚合系统，支持在系统中定制各类数 据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写入各种数据 接受方（可定制）的能力。Flume有如下几个特点： ● 收集、聚合事件流数据的分布式框架 ● 通常用于log数据 ...
- 福哥答案2020-08-24：[知乎答案](https://www.zhihu.com/question/417040766)1.小文件：小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。2.小文件问题：HDFS的小文件问题：（１）HDFS 中任何一个文件，目录或者数据块在 NameNode 节点内存中均以一个对象形式... 福哥答案2020-08-24：[知乎答案](https://www.zhihu.com/question/417040766)1.小文件：小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。2.小文件问题：HDFS的小文件问题：（１）HDFS 中任何一个文件，目录或者数据块在 NameNode 节点内存中均以一个对象形式...
- 1，建立目录，解压软件清单mkdir -p /hadoop/{soft,nn,dn,tmp,zookeeper,jn}tar xvf hadoop-2.8.3.tar.gz -C /hadoop/softtar xvf zookeeper-3.4.12.tar.gz -C /hadoop/softtar -zxvf jdk-8u161-linux-x64.gz -C /hadoop/soft... 1，建立目录，解压软件清单mkdir -p /hadoop/{soft,nn,dn,tmp,zookeeper,jn}tar xvf hadoop-2.8.3.tar.gz -C /hadoop/softtar xvf zookeeper-3.4.12.tar.gz -C /hadoop/softtar -zxvf jdk-8u161-linux-x64.gz -C /hadoop/soft...
- 福哥答案2020-08-13：该项目包括以下模块：1.Common(公共工具)支持其他Hadoop模块的公共工具。2.HDFS（Hadoop分布式文件系统）提供对应用程序数据的高吞吐量访问的分布式文件系统。3.Mapreduce（分布式计算框架，地图还原）一个基于纱线的大数据集并行处理系统。4.Yarn(分布式资源管理器，纱线）一个用于作业调度和集群资源管理的框架。Apache的其他与Had... 福哥答案2020-08-13：该项目包括以下模块：1.Common(公共工具)支持其他Hadoop模块的公共工具。2.HDFS（Hadoop分布式文件系统）提供对应用程序数据的高吞吐量访问的分布式文件系统。3.Mapreduce（分布式计算框架，地图还原）一个基于纱线的大数据集并行处理系统。4.Yarn(分布式资源管理器，纱线）一个用于作业调度和集群资源管理的框架。Apache的其他与Had...
- 背景：HDFS： HDFS通过ACL控制文件访问权限，不能够提供更加复杂的权限规则。 ACL的控制没有可视化的界面操作，不便于用户权限管理，没有统一的权限管理框架。 Ranger的UI界面操作简单。Yarn： Yarn原来是通过Manager的租户管理界面新建Yarn的队列，然后可以通过将队列绑定给特定的用户来实现权限控制。另外Ranger对所有的访问提供了审计的能力... 背景：HDFS： HDFS通过ACL控制文件访问权限，不能够提供更加复杂的权限规则。 ACL的控制没有可视化的界面操作，不便于用户权限管理，没有统一的权限管理框架。 Ranger的UI界面操作简单。Yarn： Yarn原来是通过Manager的租户管理界面新建Yarn的队列，然后可以通过将队列绑定给特定的用户来实现权限控制。另外Ranger对所有的访问提供了审计的能力...
- Oozie（驭象者）是Yahoo开发的工作流引擎，主要用于管理Hadoop任务（支持MapReduce、Spark、Pig、Hive），把这些任务以DAG（有向无环图）方式串接起来。 Oozie（驭象者）是Yahoo开发的工作流引擎，主要用于管理Hadoop任务（支持MapReduce、Spark、Pig、Hive），把这些任务以DAG（有向无环图）方式串接起来。
- hive性能优化 hive性能优化
- 一. 简介：Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。二. 前置条件：1.节点上已经安装jdk1.82.由于利用先用hbase进行搭建所以集群已经部署安装hbase服务3.OS版本为 CentOS Linux release ... 一. 简介：Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。二. 前置条件：1.节点上已经安装jdk1.82.由于利用先用hbase进行搭建所以集群已经部署安装hbase服务3.OS版本为 CentOS Linux release ...
- 基于Docker搭建Hadoop集群将Hadoop打包到Docker镜像中，就可以快速的在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。Hadoop的master和slave分别运行在不同的Docker容器中，其中NameNode、ResourceManager运行在hadoop-master容器中，DataNode、NodeManager运行在hadoop-slave容器中。... 基于Docker搭建Hadoop集群将Hadoop打包到Docker镜像中，就可以快速的在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。Hadoop的master和slave分别运行在不同的Docker容器中，其中NameNode、ResourceManager运行在hadoop-master容器中，DataNode、NodeManager运行在hadoop-slave容器中。...
- 大数据：数据从GB (2的30次方byte) 急速增长到ZB (2的70次方byte)，需要通过分部署存储和分布式计算解决数据处理问题。 大数据：数据从GB (2的30次方byte) 急速增长到ZB (2的70次方byte)，需要通过分部署存储和分布式计算解决数据处理问题。
- 翻译https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html-----------------------------------------------------------------------------------------------数据复制HDFS主要用于集群中可靠存储大型文件。它将每个文件作为一个快序列存储起来；文件包含... 翻译https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html-----------------------------------------------------------------------------------------------数据复制HDFS主要用于集群中可靠存储大型文件。它将每个文件作为一个快序列存储起来；文件包含...
- 翻译https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html-----------------------------------------------------------------------------------------------NameNode 和 DataNodesHDFS是一个主备架构。一个HDFS集群包含一个Na... 翻译https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html-----------------------------------------------------------------------------------------------NameNode 和 DataNodesHDFS是一个主备架构。一个HDFS集群包含一个Na...
- 上周我们一起了解了下合并算法，这篇我们开始聊聊组件架构。 整体架构如下图所示：由原来的HDFS的NameNode、DataNode，与新增的组件中各个模块组成——Building TaskQueue（小文件队列）、File Merging Strategy（小文件合并）、Index File（索引文件）、Prefetching（预取）。 除了HDFS原... 上周我们一起了解了下合并算法，这篇我们开始聊聊组件架构。 整体架构如下图所示：由原来的HDFS的NameNode、DataNode，与新增的组件中各个模块组成——Building TaskQueue（小文件队列）、File Merging Strategy（小文件合并）、Index File（索引文件）、Prefetching（预取）。 除了HDFS原...
- 大数据分析平台以下面的格式存储设备文件：/var/work/${file type}/year/month/day，形象的图如下：比如/var/work/pcap/2018/10/02/file1，file2...... 大数据分析平台小文件合并算法是基于上述目录分层的，算法输入是上面的某个目录，比如/var/work/pcap/2018/10/02，算法输出是一个或者... 大数据分析平台以下面的格式存储设备文件：/var/work/${file type}/year/month/day，形象的图如下：比如/var/work/pcap/2018/10/02/file1，file2...... 大数据分析平台小文件合并算法是基于上述目录分层的，算法输入是上面的某个目录，比如/var/work/pcap/2018/10/02，算法输出是一个或者...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签