- 期望：不用每次登录都输入密码，如果服务器太多，输入真的也很繁琐。 文章目录 原理配置 在hadoop102上可以直接登录hadoop上操作，如下： 原理 配置 由于h... 期望：不用每次登录都输入密码，如果服务器太多，输入真的也很繁琐。 文章目录 原理配置 在hadoop102上可以直接登录hadoop上操作，如下： 原理 配置 由于h...
- 报错： ERROR: ssh: connect to host hadoop103 port 22: No route to host 如下： 解决：其它博客都说是IP变了，我查看了下没... 报错： ERROR: ssh: connect to host hadoop103 port 22: No route to host 如下： 解决：其它博客都说是IP变了，我查看了下没...
- 文章目录 介绍现状优点应用国内国外总结 发行版本 介绍 现状 优点 应用 国内 国外 总结 发行版本 听课记录——黑马程序员 ... 文章目录 介绍现状优点应用国内国外总结 发行版本 介绍 现状 优点 应用 国内 国外 总结 发行版本 听课记录——黑马程序员 ...
- 文章目录 集群配置目标配置说明配置集群核心配置文件HDFS配置YARN配置MapReduce 配置 分发配置文件配置workers启动集群初始化启动集群ResourceManager... 文章目录 集群配置目标配置说明配置集群核心配置文件HDFS配置YARN配置MapReduce 配置 分发配置文件配置workers启动集群初始化启动集群ResourceManager...
- 一、如何设计微博点赞功能数据库？ 明星的一条微博的点赞数可能有几十万，甚至百万以上。那么这个「点赞功能」（会记录谁点了赞），新浪微博的数据库是如何设计的呢？ 网上说用到了 Redis，那么难道是直接用 Redis 保存的（指的是持久化保存）？还是说逻辑处理在 Redis 中，之后会定时同步/持久化到 MySQL 等磁... 一、如何设计微博点赞功能数据库？ 明星的一条微博的点赞数可能有几十万，甚至百万以上。那么这个「点赞功能」（会记录谁点了赞），新浪微博的数据库是如何设计的呢？ 网上说用到了 Redis，那么难道是直接用 Redis 保存的（指的是持久化保存）？还是说逻辑处理在 Redis 中，之后会定时同步/持久化到 MySQL 等磁...
- 文章目录 2 HDFS分布式文件系统和ZooKeeper2.1 HDFS概述以及应用场景HDFS概述HDFS应用场景HDFS不适合的场景 2.2 HDFS相关概念计算机集群结构基本系统架构块... 文章目录 2 HDFS分布式文件系统和ZooKeeper2.1 HDFS概述以及应用场景HDFS概述HDFS应用场景HDFS不适合的场景 2.2 HDFS相关概念计算机集群结构基本系统架构块...
- 文章目录 1 大数据概述1.1 什么是大数据1.2 大数据技术背后的核心思想1.2.1 把数据分发到多个节点1.2.2 把计算逻辑移到数据附近1.2.3 计算节点进行本地数据处理1.2.4 优选顺... 文章目录 1 大数据概述1.1 什么是大数据1.2 大数据技术背后的核心思想1.2.1 把数据分发到多个节点1.2.2 把计算逻辑移到数据附近1.2.3 计算节点进行本地数据处理1.2.4 优选顺...
- Spark官网：(https://spark.apache.org/) Spark是一个大数据领域统一的数据分析/计算/处理引擎 目录 环境配置 一、解压更名 二、配置环境变量 三、配置Spark参数 四、环境测试 五、提交任务 六、结果查看 七、查看spark任务web-ui ... Spark官网：(https://spark.apache.org/) Spark是一个大数据领域统一的数据分析/计算/处理引擎 目录 环境配置 一、解压更名 二、配置环境变量 三、配置Spark参数 四、环境测试 五、提交任务 六、结果查看 七、查看spark任务web-ui ...
- 你的点赞与评论是我最大的创作动力！ YARN定位 云计算三层服务： IaaS、PaaS、SaaS YARN属于PaaS层。 YARN设计目标 通用的统一资源管理系统 同时运行长应用程序和... 你的点赞与评论是我最大的创作动力！ YARN定位 云计算三层服务： IaaS、PaaS、SaaS YARN属于PaaS层。 YARN设计目标 通用的统一资源管理系统 同时运行长应用程序和...
- 一、删除 删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表进行删除，首先要考虑该表是内部表还是外部表。如果是外部表... 一、删除 删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表进行删除，首先要考虑该表是内部表还是外部表。如果是外部表...
- hadoop完全分布式安装与配置 在Hadoop集群模式的安装与配置中，Hadoop集群架构如图所示。 准备：共三台虚拟机，分别为master、slave1、slave2，完成如下配置操作。 1、修改hosts文件、存储主机名和... hadoop完全分布式安装与配置 在Hadoop集群模式的安装与配置中，Hadoop集群架构如图所示。 准备：共三台虚拟机，分别为master、slave1、slave2，完成如下配置操作。 1、修改hosts文件、存储主机名和...
- 前景连接： Hadoop HA部署（MINI版）https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501https://blog.csdn.net/m0_54925305/article/details/121566611?s... 前景连接： Hadoop HA部署（MINI版）https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501https://blog.csdn.net/m0_54925305/article/details/121566611?s...
- HDFS-HA集群配置 环境准备： 1. 将各个机器修改为静态IP，见主页第十四篇文章：Linux设置静态IP及Ping通百度 2. 修改主机名及主机名和IP地址的映射，见主页第十一篇文章：修改主机名，IP映射 3. 关闭防火墙，见... HDFS-HA集群配置 环境准备： 1. 将各个机器修改为静态IP，见主页第十四篇文章：Linux设置静态IP及Ping通百度 2. 修改主机名及主机名和IP地址的映射，见主页第十一篇文章：修改主机名，IP映射 3. 关闭防火墙，见...
- 你的点赞与评论是我最大的创作动力！ 优点： 一、高可靠性：hadoop一般都在成千的计算机集群之上，且可以搭建hadoop的高可靠集群，及内部容错功能优秀。 二、高扩展性：hadoop是在可用的计... 你的点赞与评论是我最大的创作动力！ 优点： 一、高可靠性：hadoop一般都在成千的计算机集群之上，且可以搭建hadoop的高可靠集群，及内部容错功能优秀。 二、高扩展性：hadoop是在可用的计...
- MapReduce概述： 1 、MapReduce定义 Mapredude是一个分布式运算程序的编程框架，是用户开发" 基于Hadoop 的数据分析应用" 的核心框架。 &nbs... MapReduce概述： 1 、MapReduce定义 Mapredude是一个分布式运算程序的编程框架，是用户开发" 基于Hadoop 的数据分析应用" 的核心框架。 &nbs...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
【仓颉社区】第36期WORKSHOP2025/09/02 周二 15:05-16:00
华为讲师团
本期仓颉编程语言社区技术沙龙即将开启，我们特邀三位资深专家，为大家带来硬核技术分享与实践经验解析！无论你是仓颉语言的初学者，还是资深开发者，本次直播都将为你带来新的启发和收获！
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中
热门标签