- 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据... 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据...
- vivo 互联网大数据团队-Lv Jia Hadoop 3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改进。 在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNo... vivo 互联网大数据团队-Lv Jia Hadoop 3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改进。 在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNo...
- 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答... 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答...
- 1、本人电脑是Win7 64位系统的： 2、JDK 版本： 3、Cygwin 版本： 官网自行下载 4、Hadoop 版本： 官网自行下载，下载稳定版的吧 下面就开始安装啦~~~~ 一、 安... 1、本人电脑是Win7 64位系统的： 2、JDK 版本： 3、Cygwin 版本： 官网自行下载 4、Hadoop 版本： 官网自行下载，下载稳定版的吧 下面就开始安装啦~~~~ 一、 安...
- 1. HDFS-16420 BUG 概述 HDFS3.X 的 EC 纠删码功能，近期被发现有个 BUG：该 BUG 会导致，以纠删码机制存放的目录和文件，在某些特殊情况下，会被系统误删，从而造成数据丢失。 目前 HADOOP 社区已经通过 HDFS-16420 在版本 3.4.0/3.2.3/ 3.3.2 中修复了该 BUG，... 1. HDFS-16420 BUG 概述 HDFS3.X 的 EC 纠删码功能，近期被发现有个 BUG：该 BUG 会导致，以纠删码机制存放的目录和文件，在某些特殊情况下，会被系统误删，从而造成数据丢失。 目前 HADOOP 社区已经通过 HDFS-16420 在版本 3.4.0/3.2.3/ 3.3.2 中修复了该 BUG，...
- 报错提示: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid 1 请在yarn-site.xml中添加 <pr... 报错提示: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid 1 请在yarn-site.xml中添加 <pr...
- 文章目录 一、命令查看二、实操2.1 前提2.2 help查看2.3 创建文件夹 三、上传文件3.1 moveFromLocal3.2 copyFromLocal3.3 put3.4 app... 文章目录 一、命令查看二、实操2.1 前提2.2 help查看2.3 创建文件夹 三、上传文件3.1 moveFromLocal3.2 copyFromLocal3.3 put3.4 app...
- 文章目录 一、集群启动与关闭1.1 DFS1.2 YARN 二、服务组件逐一启动/ 停止2.1 DFS2.2 YARN 一、集群启动与关闭 1.1 DFS 启动： st... 文章目录 一、集群启动与关闭1.1 DFS1.2 YARN 二、服务组件逐一启动/ 停止2.1 DFS2.2 YARN 一、集群启动与关闭 1.1 DFS 启动： st...
- 问题 常见情况： 某些文件不小心删了某些进程打不开了网页访问不了了 等等。。。。各种异常情况。 方案 处理方法： 关闭所有进程删除集群上所有服务器的data和logs格式（初始）化集群：hdf... 问题 常见情况： 某些文件不小心删了某些进程打不开了网页访问不了了 等等。。。。各种异常情况。 方案 处理方法： 关闭所有进程删除集群上所有服务器的data和logs格式（初始）化集群：hdf...
- 文章目录 一、上传文件到集群二、上传的文件存放位置2.1 拼接2.2 执行程序 一、上传文件到集群 hadoop103上传一个服务器的小文件： hadoop fs -mkdir... 文章目录 一、上传文件到集群二、上传的文件存放位置2.1 拼接2.2 执行程序 一、上传文件到集群 hadoop103上传一个服务器的小文件： hadoop fs -mkdir...
- 期望：不用每次登录都输入密码，如果服务器太多，输入真的也很繁琐。 文章目录 原理配置 在hadoop102上可以直接登录hadoop上操作，如下： 原理 配置 由于h... 期望：不用每次登录都输入密码，如果服务器太多，输入真的也很繁琐。 文章目录 原理配置 在hadoop102上可以直接登录hadoop上操作，如下： 原理 配置 由于h...
- 报错： ERROR: ssh: connect to host hadoop103 port 22: No route to host 如下： 解决：其它博客都说是IP变了，我查看了下没... 报错： ERROR: ssh: connect to host hadoop103 port 22: No route to host 如下： 解决：其它博客都说是IP变了，我查看了下没...
- 文章目录 介绍现状优点应用国内国外总结 发行版本 介绍 现状 优点 应用 国内 国外 总结 发行版本 听课记录——黑马程序员 ... 文章目录 介绍现状优点应用国内国外总结 发行版本 介绍 现状 优点 应用 国内 国外 总结 发行版本 听课记录——黑马程序员 ...
- 文章目录 集群配置目标配置说明配置集群核心配置文件HDFS配置YARN配置MapReduce 配置 分发配置文件配置workers启动集群初始化启动集群ResourceManager... 文章目录 集群配置目标配置说明配置集群核心配置文件HDFS配置YARN配置MapReduce 配置 分发配置文件配置workers启动集群初始化启动集群ResourceManager...
- 一、如何设计微博点赞功能数据库？ 明星的一条微博的点赞数可能有几十万，甚至百万以上。那么这个「点赞功能」（会记录谁点了赞），新浪微博的数据库是如何设计的呢？ 网上说用到了 Redis，那么难道是直接用 Redis 保存的（指的是持久化保存）？还是说逻辑处理在 Redis 中，之后会定时同步/持久化到 MySQL 等磁... 一、如何设计微博点赞功能数据库？ 明星的一条微博的点赞数可能有几十万，甚至百万以上。那么这个「点赞功能」（会记录谁点了赞），新浪微博的数据库是如何设计的呢？ 网上说用到了 Redis，那么难道是直接用 Redis 保存的（指的是持久化保存）？还是说逻辑处理在 Redis 中，之后会定时同步/持久化到 MySQL 等磁...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签