- hdfs dfs命令是用来操作HDFS中的文件的，其包含如下参数：其中比较常用的命令有：ls使用方法：hdfs dfs -ls <args>如果是文件，则按照如下格式返回文件信息：权限 <副本数> 用户ID 组ID 文件大小 修改日期 修改时间 文件名如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：权限 <-> 用户ID 组ID 0 修改日期 修改时间... hdfs dfs命令是用来操作HDFS中的文件的，其包含如下参数：其中比较常用的命令有：ls使用方法：hdfs dfs -ls <args>如果是文件，则按照如下格式返回文件信息：权限 <副本数> 用户ID 组ID 文件大小 修改日期 修改时间 文件名如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：权限 <-> 用户ID 组ID 0 修改日期 修改时间...
- 一、构建Flink程序构建一个Flink程序有两种方式方式一：构建 maven 工程，导入流式应用依赖包<!-- 基础依赖 --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version}</version> ... 一、构建Flink程序构建一个Flink程序有两种方式方式一：构建 maven 工程，导入流式应用依赖包<!-- 基础依赖 --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version}</version> ...
- Hadoop快速入门——入门考试(伪分布式60+编码25+执行jar15)目录一、伪分布式搭建(60分)1、创建1台Linux虚拟机，并打开对应的网络连接(VMnet8)(5分)2、通过xshell正确连接Linux虚拟机(5分)3、在【/opt/】文件夹下上传【java】以及【hadoop】压缩包(5分)4、正确解压【java】以及【hadoop】的压缩文件(5分)5、修改【hado... Hadoop快速入门——入门考试(伪分布式60+编码25+执行jar15)目录一、伪分布式搭建(60分)1、创建1台Linux虚拟机，并打开对应的网络连接(VMnet8)(5分)2、通过xshell正确连接Linux虚拟机(5分)3、在【/opt/】文件夹下上传【java】以及【hadoop】压缩包(5分)4、正确解压【java】以及【hadoop】的压缩文件(5分)5、修改【hado...
- Hadoop快速入门——第三章、MapReduce案例目录 环境要求：1、项目创建：2、修改Maven3、编码4、本地文件测试5、修改【Action】文件(修改测试文件路径)6、导出jar包7、启动hadoop服务 8、上传【jar】包以及【info.txt】文件至【/opt/soft/hadoop/share/hadoop/mapreduce】 下9、创建存储文件的文件... Hadoop快速入门——第三章、MapReduce案例目录 环境要求：1、项目创建：2、修改Maven3、编码4、本地文件测试5、修改【Action】文件(修改测试文件路径)6、导出jar包7、启动hadoop服务 8、上传【jar】包以及【info.txt】文件至【/opt/soft/hadoop/share/hadoop/mapreduce】 下9、创建存储文件的文件...
- HDFS原理知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：张牙舞爪的人，往往是脆弱的。因为真正强大的人，是自信的，自信就会温和，温和就会坚定二、思考分布式文件系统那么多 为什么hadoop项目中还要开发一个hdfs文件系统？三、理论知识点存储模型架构设计角色功能元数据持久化安全模式 副本放置策略读写流程四、存储模型文件线性按字节切割成块(block)，具有o... HDFS原理知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：张牙舞爪的人，往往是脆弱的。因为真正强大的人，是自信的，自信就会温和，温和就会坚定二、思考分布式文件系统那么多 为什么hadoop项目中还要开发一个hdfs文件系统？三、理论知识点存储模型架构设计角色功能元数据持久化安全模式 副本放置策略读写流程四、存储模型文件线性按字节切割成块(block)，具有o...
- 大数据启蒙与入门知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：那日看雪，你从未看我，我从未看雪二、千里之行，始于足下启蒙很重要分治思想 单机处理大数据问题 集群分布式处理大数据的辩证三、分治思想需求： 我有一万个元素（比如数字或单词）需要存储？如果查找某一个元素，最简单的遍历方式复杂的是多少？如果我期望复杂度是O(4)呢？学习知识的时候要去搞明白它存在... 大数据启蒙与入门知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：那日看雪，你从未看我，我从未看雪二、千里之行，始于足下启蒙很重要分治思想 单机处理大数据问题 集群分布式处理大数据的辩证三、分治思想需求： 我有一万个元素（比如数字或单词）需要存储？如果查找某一个元素，最简单的遍历方式复杂的是多少？如果我期望复杂度是O(4)呢？学习知识的时候要去搞明白它存在...
- 技术场景大数据技术可分类如下：存储计算资源管理 HDFS最基本的存储技术。日常应用把通过各种渠道得到的数据，如关系数据库、日志、埋点、爬虫数据都存储到HDFS，供后续使用。 HBaseNoSQL英杰，可划分到存储类别，它的底层存储也用到HDFS。 主要用途某些场景代替MySQL数据存储访问，利用可伸缩特性，存储比MySQL多得多的数据量。比如滴滴司机每隔几s就将当前GPS数据上传，而滴滴司... 技术场景大数据技术可分类如下：存储计算资源管理 HDFS最基本的存储技术。日常应用把通过各种渠道得到的数据，如关系数据库、日志、埋点、爬虫数据都存储到HDFS，供后续使用。 HBaseNoSQL英杰，可划分到存储类别，它的底层存储也用到HDFS。 主要用途某些场景代替MySQL数据存储访问，利用可伸缩特性，存储比MySQL多得多的数据量。比如滴滴司机每隔几s就将当前GPS数据上传，而滴滴司...
- Hadoop快速入门——第二章、分布式集群引包：<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version></dependency>可以先安装一下【Big Data Tools】安装完成后需要重新启动一下。个人建议，先... Hadoop快速入门——第二章、分布式集群引包：<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version></dependency>可以先安装一下【Big Data Tools】安装完成后需要重新启动一下。个人建议，先...
- Hadoop快速入门——第二章、分布式集群HDFS概述:在 2002 年，Google 发表的论文 GFS 中提到希望构建一个能够运行于商业硬件集群上的以流式数据访问形式存储超大文件的文件系统，HDFS 就是为了实现这一目标HDFS 的设计特点如下超大文件流式数据访问商用硬件不能处理低时间延迟的数据访问不能存放大量小文件无法高效实现多用户写入或者任意修改文件在 HDFS 中有一些特殊的... Hadoop快速入门——第二章、分布式集群HDFS概述:在 2002 年，Google 发表的论文 GFS 中提到希望构建一个能够运行于商业硬件集群上的以流式数据访问形式存储超大文件的文件系统，HDFS 就是为了实现这一目标HDFS 的设计特点如下超大文件流式数据访问商用硬件不能处理低时间延迟的数据访问不能存放大量小文件无法高效实现多用户写入或者任意修改文件在 HDFS 中有一些特殊的...
- 1. 了解Hadoop配置文件1.1 当前所处位置，及内部文件如下[root@hadoop1 hadoop-2.7.4]# ll总用量 116drwxr-xr-x. 2 20415 101 194 8月 1 2017 bindrwxr-xr-x. 3 20415 101 20 8月 1 2017 etcdrwxr-xr-x. 2 20415 101 106 8月... 1. 了解Hadoop配置文件1.1 当前所处位置，及内部文件如下[root@hadoop1 hadoop-2.7.4]# ll总用量 116drwxr-xr-x. 2 20415 101 194 8月 1 2017 bindrwxr-xr-x. 3 20415 101 20 8月 1 2017 etcdrwxr-xr-x. 2 20415 101 106 8月...
- 一、搭建Java开发环境 1. 先查看安装后的镜像中是否存在Java[root@hadoop1 java]# java -versionopenjdk version "1.8.0_181"OpenJDK Runtime Environment (build 1.8.0_181-b13)OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mo... 一、搭建Java开发环境 1. 先查看安装后的镜像中是否存在Java[root@hadoop1 java]# java -versionopenjdk version "1.8.0_181"OpenJDK Runtime Environment (build 1.8.0_181-b13)OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mo...
- 目的熟练使用HBase操作常用的Shell命令；熟悉HBase操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本HBase版本：1.1.2或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求 Hbase数据库练习Shell练习根据下面给出的表格，用Hbase Shell模式设计学生表格，表名用自己姓名全拼。namesc... 目的熟练使用HBase操作常用的Shell命令；熟悉HBase操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本HBase版本：1.1.2或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求 Hbase数据库练习Shell练习根据下面给出的表格，用Hbase Shell模式设计学生表格，表名用自己姓名全拼。namesc...
- 目的理解HDFS在Hadoop体系结构中的角色；熟练使用HDFS操作常用的Shell命令；熟悉HDFS操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求HDFS理解含义：HDFS是hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。是基于流数据模式访问和处理超大文件... 目的理解HDFS在Hadoop体系结构中的角色；熟练使用HDFS操作常用的Shell命令；熟悉HDFS操作常用的Java API。 平台操作系统：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse 内容和要求HDFS理解含义：HDFS是hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。是基于流数据模式访问和处理超大文件...
- 目的安装Spark在spark-shell中运行代码编写Spark独立应用程序 基础环境Spark支持4种不同类型的部署方式，包括：Local模式：单机模式Standalone模式：使用Spark自带的简单集群管理器YARN模式：使用YARN作为集群管理器Mesos模式：使用Mesos作为集群管理器Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让... 目的安装Spark在spark-shell中运行代码编写Spark独立应用程序 基础环境Spark支持4种不同类型的部署方式，包括：Local模式：单机模式Standalone模式：使用Spark自带的简单集群管理器YARN模式：使用YARN作为集群管理器Mesos模式：使用Mesos作为集群管理器Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让...
- 本文是《Flink on Yarn三部曲》系列的第二篇，前面已经为部署做好了准备，现在可以一起来部署和启动Yarn环境了 本文是《Flink on Yarn三部曲》系列的第二篇，前面已经为部署做好了准备，现在可以一起来部署和启动Yarn环境了
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签