- 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.6节，作者是朱凯。 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.6节，作者是朱凯。
- 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.4.1节，作者是朱凯。 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.4.1节，作者是朱凯。
- 5分钟了解下HDFS 5分钟了解下HDFS
- HDFS常用命令总结 HDFS常用命令总结
- Hadoop即席查询引擎是构筑在Hive之上的，提供快速SQL查询接口的OLAP引擎。 Hadoop即席查询引擎是构筑在Hive之上的，提供快速SQL查询接口的OLAP引擎。
- 在已经把jdk1.8和hadoop2.8.2上传到虚拟机之后，是压缩包，不能直接使用；1． 安装jdk，安装的时候要解压2． 配置JAVA_HOME进入到profile文件，可以使用向下箭头到末尾，在unset之前插入下面两行代码，或者使用“shift+G”到最后。使用java -version查看jdk版本号3． 解压hadoop，并查看hadoop目录4. 配置hadoop下的JAVA_... 在已经把jdk1.8和hadoop2.8.2上传到虚拟机之后，是压缩包，不能直接使用；1． 安装jdk，安装的时候要解压2． 配置JAVA_HOME进入到profile文件，可以使用向下箭头到末尾，在unset之前插入下面两行代码，或者使用“shift+G”到最后。使用java -version查看jdk版本号3． 解压hadoop，并查看hadoop目录4. 配置hadoop下的JAVA_...
- hdfs dfs -ls和linux的命令差不多hdfs dfs -查看相关帮助命令hadoop dfs -ls /hadoop fs -ls /版本不同创建目录hdfs dfs -mkdir -p /aaa/01/02hdfs dfs -lsr /aaa会看到01 02二．使用dfs创建文件查看文件结果echo "hello,zhangChenguang">>localfilehdfs d... hdfs dfs -ls和linux的命令差不多hdfs dfs -查看相关帮助命令hadoop dfs -ls /hadoop fs -ls /版本不同创建目录hdfs dfs -mkdir -p /aaa/01/02hdfs dfs -lsr /aaa会看到01 02二．使用dfs创建文件查看文件结果echo "hello,zhangChenguang">>localfilehdfs d...
- 1． 配置每台节点的IP地址，测试其连通性。测试与外网是否连通2． 关闭节点的防火墙将”/etc/selinux/config”配置文件中的”SELINUX=enforcing”改为”SELINUX=disabled”3． 配置每台节点的hosts文件[root@localhost ~]# vi /etc/hosts4． 上传hadoop压缩包到你自己安装目录，然后解压tar -xzvf h... 1． 配置每台节点的IP地址，测试其连通性。测试与外网是否连通2． 关闭节点的防火墙将”/etc/selinux/config”配置文件中的”SELINUX=enforcing”改为”SELINUX=disabled”3． 配置每台节点的hosts文件[root@localhost ~]# vi /etc/hosts4． 上传hadoop压缩包到你自己安装目录，然后解压tar -xzvf h...
- 统计word统计，统计文件里面每一个文件出现的次数！一．先进入到hadoop-2.8.2目录2． 在当前目录下建立input目录3. 把etc/hadoop下的所有xml文件copy到input目录下. 这些xml就是我们要统计的文本。经过查看，发现input下文件已经过来了。使用ll或ls都可以查看一下。4. 执行hadoop下的MapReduce任务代码:hadoop jar share... 统计word统计，统计文件里面每一个文件出现的次数！一．先进入到hadoop-2.8.2目录2． 在当前目录下建立input目录3. 把etc/hadoop下的所有xml文件copy到input目录下. 这些xml就是我们要统计的文本。经过查看，发现input下文件已经过来了。使用ll或ls都可以查看一下。4. 执行hadoop下的MapReduce任务代码:hadoop jar share...
- 随着微服务的出现的，需要一个注册中心，注册微服务。hadoop黄色大象毛绒玩具叫做Hadoop• Zookeeper 可以被用作注册中心。• Zookeeper 是 Hadoop 生态系统的一员。• 构建 Zookeeper 集群的时候，使用的服务器最好是奇数台。这可能是把ZooKeeper概念讲的最清楚的一篇文章相信大家对 ZooKeeper 应该不算陌生，但是你真的了解 ZooKeepe... 随着微服务的出现的，需要一个注册中心，注册微服务。hadoop黄色大象毛绒玩具叫做Hadoop• Zookeeper 可以被用作注册中心。• Zookeeper 是 Hadoop 生态系统的一员。• 构建 Zookeeper 集群的时候，使用的服务器最好是奇数台。这可能是把ZooKeeper概念讲的最清楚的一篇文章相信大家对 ZooKeeper 应该不算陌生，但是你真的了解 ZooKeepe...
- DWS支持sql on hadoop（hdfs）能力，在8.0版本支持只读表，在8.1.1引入了只写外表（紧支持orc只写文件），同时也支持分区表的只写，本文测试验证只写外表的分区能力。 DWS支持sql on hadoop（hdfs）能力，在8.0版本支持只读表，在8.1.1引入了只写外表（紧支持orc只写文件），同时也支持分区表的只写，本文测试验证只写外表的分区能力。
- 一、Spark介绍1、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不... 一、Spark介绍1、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不...
- 在生产中，如果登录yarn页面，查看application任务日志，发现日志查看不了，该怎么办问题报错:问题原因:去显示的任务节点上查看nodemanager日志，发现是当前存储yarn日志的hdfs单个目录下文件数量已经达到最大值1048576，所以yarn日志聚合不了，导致查看不了yarn日志聚合:由于NodeManager将所有Container的运行日志保存到本地磁盘上，因此，随着时... 在生产中，如果登录yarn页面，查看application任务日志，发现日志查看不了，该怎么办问题报错:问题原因:去显示的任务节点上查看nodemanager日志，发现是当前存储yarn日志的hdfs单个目录下文件数量已经达到最大值1048576，所以yarn日志聚合不了，导致查看不了yarn日志聚合:由于NodeManager将所有Container的运行日志保存到本地磁盘上，因此，随着时...
- 谷歌这个名字就是“大规模"的同义词。Google正是改写自数学术语googol，意思是1后面带100个0。不论是关系数据库这种传统的存储系统，还是传统的命令式编程，都没有能力满足谷歌构建和搜索全网索引文档的超大规模需求。这种需求最终孕育出了谷歌文件系统（GFS)、MapReduce(MR)编程框架，以及Bigtable数据存储。GFS使用大量的标准硬件服务器来搭建集群，提供容错的分布式文件系... 谷歌这个名字就是“大规模"的同义词。Google正是改写自数学术语googol，意思是1后面带100个0。不论是关系数据库这种传统的存储系统，还是传统的命令式编程，都没有能力满足谷歌构建和搜索全网索引文档的超大规模需求。这种需求最终孕育出了谷歌文件系统（GFS)、MapReduce(MR)编程框架，以及Bigtable数据存储。GFS使用大量的标准硬件服务器来搭建集群，提供容错的分布式文件系...
- 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 1. 引言在现代的软件开发中，为了提高代码的可维护性、可扩展性以及降低代码的耦合度，使用设计模式和面向切面编程（AOP）成为了程序员们常用的技术手段。Spring作为一个优秀的Java开发框架，提供了I... 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 1. 引言在现代的软件开发中，为了提高代码的可维护性、可扩展性以及降低代码的耦合度，使用设计模式和面向切面编程（AOP）成为了程序员们常用的技术手段。Spring作为一个优秀的Java开发框架，提供了I...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签