- 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答... 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答...
- 1、本人电脑是Win7 64位系统的： 2、JDK 版本： 3、Cygwin 版本： 官网自行下载 4、Hadoop 版本： 官网自行下载，下载稳定版的吧 下面就开始安装啦~~~~ 一、 安... 1、本人电脑是Win7 64位系统的： 2、JDK 版本： 3、Cygwin 版本： 官网自行下载 4、Hadoop 版本： 官网自行下载，下载稳定版的吧 下面就开始安装啦~~~~ 一、 安...
- 1. HDFS-16420 BUG 概述 HDFS3.X 的 EC 纠删码功能，近期被发现有个 BUG：该 BUG 会导致，以纠删码机制存放的目录和文件，在某些特殊情况下，会被系统误删，从而造成数据丢失。 目前 HADOOP 社区已经通过 HDFS-16420 在版本 3.4.0/3.2.3/ 3.3.2 中修复了该 BUG，... 1. HDFS-16420 BUG 概述 HDFS3.X 的 EC 纠删码功能，近期被发现有个 BUG：该 BUG 会导致，以纠删码机制存放的目录和文件，在某些特殊情况下，会被系统误删，从而造成数据丢失。 目前 HADOOP 社区已经通过 HDFS-16420 在版本 3.4.0/3.2.3/ 3.3.2 中修复了该 BUG，...
- 报错提示: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid 1 请在yarn-site.xml中添加 <pr... 报错提示: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid 1 请在yarn-site.xml中添加 <pr...
- 文章目录 一、命令查看二、实操2.1 前提2.2 help查看2.3 创建文件夹 三、上传文件3.1 moveFromLocal3.2 copyFromLocal3.3 put3.4 app... 文章目录 一、命令查看二、实操2.1 前提2.2 help查看2.3 创建文件夹 三、上传文件3.1 moveFromLocal3.2 copyFromLocal3.3 put3.4 app...
- 文章目录 一、集群启动与关闭1.1 DFS1.2 YARN 二、服务组件逐一启动/ 停止2.1 DFS2.2 YARN 一、集群启动与关闭 1.1 DFS 启动： st... 文章目录 一、集群启动与关闭1.1 DFS1.2 YARN 二、服务组件逐一启动/ 停止2.1 DFS2.2 YARN 一、集群启动与关闭 1.1 DFS 启动： st...
- 问题 常见情况： 某些文件不小心删了某些进程打不开了网页访问不了了 等等。。。。各种异常情况。 方案 处理方法： 关闭所有进程删除集群上所有服务器的data和logs格式（初始）化集群：hdf... 问题 常见情况： 某些文件不小心删了某些进程打不开了网页访问不了了 等等。。。。各种异常情况。 方案 处理方法： 关闭所有进程删除集群上所有服务器的data和logs格式（初始）化集群：hdf...
- 文章目录 一、上传文件到集群二、上传的文件存放位置2.1 拼接2.2 执行程序 一、上传文件到集群 hadoop103上传一个服务器的小文件： hadoop fs -mkdir... 文章目录 一、上传文件到集群二、上传的文件存放位置2.1 拼接2.2 执行程序 一、上传文件到集群 hadoop103上传一个服务器的小文件： hadoop fs -mkdir...
- 期望：不用每次登录都输入密码，如果服务器太多，输入真的也很繁琐。 文章目录 原理配置 在hadoop102上可以直接登录hadoop上操作，如下： 原理 配置 由于h... 期望：不用每次登录都输入密码，如果服务器太多，输入真的也很繁琐。 文章目录 原理配置 在hadoop102上可以直接登录hadoop上操作，如下： 原理 配置 由于h...
- 报错： ERROR: ssh: connect to host hadoop103 port 22: No route to host 如下： 解决：其它博客都说是IP变了，我查看了下没... 报错： ERROR: ssh: connect to host hadoop103 port 22: No route to host 如下： 解决：其它博客都说是IP变了，我查看了下没...
- 文章目录 介绍现状优点应用国内国外总结 发行版本 介绍 现状 优点 应用 国内 国外 总结 发行版本 听课记录——黑马程序员 ... 文章目录 介绍现状优点应用国内国外总结 发行版本 介绍 现状 优点 应用 国内 国外 总结 发行版本 听课记录——黑马程序员 ...
- 文章目录 集群配置目标配置说明配置集群核心配置文件HDFS配置YARN配置MapReduce 配置 分发配置文件配置workers启动集群初始化启动集群ResourceManager... 文章目录 集群配置目标配置说明配置集群核心配置文件HDFS配置YARN配置MapReduce 配置 分发配置文件配置workers启动集群初始化启动集群ResourceManager...
- 一、如何设计微博点赞功能数据库？ 明星的一条微博的点赞数可能有几十万，甚至百万以上。那么这个「点赞功能」（会记录谁点了赞），新浪微博的数据库是如何设计的呢？ 网上说用到了 Redis，那么难道是直接用 Redis 保存的（指的是持久化保存）？还是说逻辑处理在 Redis 中，之后会定时同步/持久化到 MySQL 等磁... 一、如何设计微博点赞功能数据库？ 明星的一条微博的点赞数可能有几十万，甚至百万以上。那么这个「点赞功能」（会记录谁点了赞），新浪微博的数据库是如何设计的呢？ 网上说用到了 Redis，那么难道是直接用 Redis 保存的（指的是持久化保存）？还是说逻辑处理在 Redis 中，之后会定时同步/持久化到 MySQL 等磁...
- 文章目录 2 HDFS分布式文件系统和ZooKeeper2.1 HDFS概述以及应用场景HDFS概述HDFS应用场景HDFS不适合的场景 2.2 HDFS相关概念计算机集群结构基本系统架构块... 文章目录 2 HDFS分布式文件系统和ZooKeeper2.1 HDFS概述以及应用场景HDFS概述HDFS应用场景HDFS不适合的场景 2.2 HDFS相关概念计算机集群结构基本系统架构块...
- 文章目录 1 大数据概述1.1 什么是大数据1.2 大数据技术背后的核心思想1.2.1 把数据分发到多个节点1.2.2 把计算逻辑移到数据附近1.2.3 计算节点进行本地数据处理1.2.4 优选顺... 文章目录 1 大数据概述1.1 什么是大数据1.2 大数据技术背后的核心思想1.2.1 把数据分发到多个节点1.2.2 把计算逻辑移到数据附近1.2.3 计算节点进行本地数据处理1.2.4 优选顺...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签