- 文章目录 2 HDFS分布式文件系统和ZooKeeper2.1 HDFS概述以及应用场景HDFS概述HDFS应用场景HDFS不适合的场景 2.2 HDFS相关概念计算机集群结构基本系统架构块... 文章目录 2 HDFS分布式文件系统和ZooKeeper2.1 HDFS概述以及应用场景HDFS概述HDFS应用场景HDFS不适合的场景 2.2 HDFS相关概念计算机集群结构基本系统架构块...
- 文章目录 1 大数据概述1.1 什么是大数据1.2 大数据技术背后的核心思想1.2.1 把数据分发到多个节点1.2.2 把计算逻辑移到数据附近1.2.3 计算节点进行本地数据处理1.2.4 优选顺... 文章目录 1 大数据概述1.1 什么是大数据1.2 大数据技术背后的核心思想1.2.1 把数据分发到多个节点1.2.2 把计算逻辑移到数据附近1.2.3 计算节点进行本地数据处理1.2.4 优选顺...
- Spark官网：(https://spark.apache.org/) Spark是一个大数据领域统一的数据分析/计算/处理引擎 目录 环境配置 一、解压更名 二、配置环境变量 三、配置Spark参数 四、环境测试 五、提交任务 六、结果查看 七、查看spark任务web-ui ... Spark官网：(https://spark.apache.org/) Spark是一个大数据领域统一的数据分析/计算/处理引擎 目录 环境配置 一、解压更名 二、配置环境变量 三、配置Spark参数 四、环境测试 五、提交任务 六、结果查看 七、查看spark任务web-ui ...
- 你的点赞与评论是我最大的创作动力！ YARN定位 云计算三层服务： IaaS、PaaS、SaaS YARN属于PaaS层。 YARN设计目标 通用的统一资源管理系统 同时运行长应用程序和... 你的点赞与评论是我最大的创作动力！ YARN定位 云计算三层服务： IaaS、PaaS、SaaS YARN属于PaaS层。 YARN设计目标 通用的统一资源管理系统 同时运行长应用程序和...
- 一、删除 删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表进行删除，首先要考虑该表是内部表还是外部表。如果是外部表... 一、删除 删除hive数据时，首先明确你使用删除数据还是连同表结构也要删除，如果只是要删除数据可以选择truncate来清空表中的数据，如果要对表进行删除，首先要考虑该表是内部表还是外部表。如果是外部表...
- hadoop完全分布式安装与配置 在Hadoop集群模式的安装与配置中，Hadoop集群架构如图所示。 准备：共三台虚拟机，分别为master、slave1、slave2，完成如下配置操作。 1、修改hosts文件、存储主机名和... hadoop完全分布式安装与配置 在Hadoop集群模式的安装与配置中，Hadoop集群架构如图所示。 准备：共三台虚拟机，分别为master、slave1、slave2，完成如下配置操作。 1、修改hosts文件、存储主机名和...
- 前景连接： Hadoop HA部署（MINI版）https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501https://blog.csdn.net/m0_54925305/article/details/121566611?s... 前景连接： Hadoop HA部署（MINI版）https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501https://blog.csdn.net/m0_54925305/article/details/121566611?s...
- HDFS-HA集群配置 环境准备： 1. 将各个机器修改为静态IP，见主页第十四篇文章：Linux设置静态IP及Ping通百度 2. 修改主机名及主机名和IP地址的映射，见主页第十一篇文章：修改主机名，IP映射 3. 关闭防火墙，见... HDFS-HA集群配置 环境准备： 1. 将各个机器修改为静态IP，见主页第十四篇文章：Linux设置静态IP及Ping通百度 2. 修改主机名及主机名和IP地址的映射，见主页第十一篇文章：修改主机名，IP映射 3. 关闭防火墙，见...
- 你的点赞与评论是我最大的创作动力！ 优点： 一、高可靠性：hadoop一般都在成千的计算机集群之上，且可以搭建hadoop的高可靠集群，及内部容错功能优秀。 二、高扩展性：hadoop是在可用的计... 你的点赞与评论是我最大的创作动力！ 优点： 一、高可靠性：hadoop一般都在成千的计算机集群之上，且可以搭建hadoop的高可靠集群，及内部容错功能优秀。 二、高扩展性：hadoop是在可用的计...
- MapReduce概述： 1 、MapReduce定义 Mapredude是一个分布式运算程序的编程框架，是用户开发" 基于Hadoop 的数据分析应用" 的核心框架。 &nbs... MapReduce概述： 1 、MapReduce定义 Mapredude是一个分布式运算程序的编程框架，是用户开发" 基于Hadoop 的数据分析应用" 的核心框架。 &nbs...
- 环境背景： Hadoop伪分布式已经搭建完成 Hadoop2.6.0 Hadoop伪分布搭建见： Hadoop伪分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118650350?spm=1001.2014.3001.5502https://blog.csdn.... 环境背景： Hadoop伪分布式已经搭建完成 Hadoop2.6.0 Hadoop伪分布搭建见： Hadoop伪分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118650350?spm=1001.2014.3001.5502https://blog.csdn....
- 你的点赞与评论是我最大的创作动力！ hadoop简介： hadoop平台是一个可靠的、可扩展的、可分布式计算的开源软件。 Apache Hadoop平台是一个框架，允许使用简单的编程模型。该平台被... 你的点赞与评论是我最大的创作动力！ hadoop简介： hadoop平台是一个可靠的、可扩展的、可分布式计算的开源软件。 Apache Hadoop平台是一个框架，允许使用简单的编程模型。该平台被...
- 环境准备： Hadoop2.6.0 IDEA maven3.5.4 案例分析： MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。本项目用到的便是俗称H... 环境准备： Hadoop2.6.0 IDEA maven3.5.4 案例分析： MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。本项目用到的便是俗称H...
- 1、创建一个名为hadoops的组 groupadd hadoops 查看所有组，新增组默认排在最后 cat /etc/group 2、创建一个名为hadoop的用户，并归到hadoops的组下 useradd -g hadoops hadoop 查看所有用户，新增用户默认排在最后 cat /etc/passwd ... 1、创建一个名为hadoops的组 groupadd hadoops 查看所有组，新增组默认排在最后 cat /etc/group 2、创建一个名为hadoop的用户，并归到hadoops的组下 useradd -g hadoops hadoop 查看所有用户，新增用户默认排在最后 cat /etc/passwd ...
- 文章目录 一、HDFS常用命令 （一）三种shell命令方式 1、hadoop fs 2、hadoop dfs ... 文章目录 一、HDFS常用命令 （一）三种shell命令方式 1、hadoop fs 2、hadoop dfs ...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签