- Hadoop的安装有三种运行模式： 单机模式（Local (Standalone) Mode）：Hadoop的默认模式，0配置。Hadoop运行在一个Java进程中，使用本地文件系统，不使用HDFS，一般用于开发调试MapReduce程序的应用逻辑。伪分布式模式（Pseudo-Distributed Mode）：需简单配置，相当于只有... Hadoop的安装有三种运行模式： 单机模式（Local (Standalone) Mode）：Hadoop的默认模式，0配置。Hadoop运行在一个Java进程中，使用本地文件系统，不使用HDFS，一般用于开发调试MapReduce程序的应用逻辑。伪分布式模式（Pseudo-Distributed Mode）：需简单配置，相当于只有...
- 相信大家在看了《Hue的安装,配置,编译》之后,都已经成功把Hue安装好了。 &... 相信大家在看了《Hue的安装,配置,编译》之后,都已经成功把Hue安装好了。 &...
- 需求背景 每天产生3T（约2.5W个gz压缩文件）的DPI日志文件，因存储等各种问题，需要尽可能的节约存储。日志文件中有26个字段，根据业务需求需要提取6个字段。 解决方法 通过shell脚本通... 需求背景 每天产生3T（约2.5W个gz压缩文件）的DPI日志文件，因存储等各种问题，需要尽可能的节约存储。日志文件中有26个字段，根据业务需求需要提取6个字段。 解决方法 通过shell脚本通...
- CREATE TABLE OFFER_${day_id} ( OFFER_ID BIGINT, ATOM_ACTION_ID BIGINT, PARTY_ID BIGINT, OFFER_... CREATE TABLE OFFER_${day_id} ( OFFER_ID BIGINT, ATOM_ACTION_ID BIGINT, PARTY_ID BIGINT, OFFER_...
- 背景：DSG数据同步到hadoop平台，发现部分表中数据存在竖线分隔符（“|”）,导致hadoop平台数据不准确。 为解决此问题并避免出现内容带分隔符的可能情况，商定分隔符修改为CtrlA（ascii是... 背景：DSG数据同步到hadoop平台，发现部分表中数据存在竖线分隔符（“|”）,导致hadoop平台数据不准确。 为解决此问题并避免出现内容带分隔符的可能情况，商定分隔符修改为CtrlA（ascii是...
- 所需jar包路径： hadoop-2.8.5/share/hadoop/common hadoop-2.8.5/share/hadoop/common/bin hadoop-2.8.5/share/hadoop/hdfs hadoop-2.8.5/share/hadoop/hdfs/bin 12345 java代码实例 import org.apache.had... 所需jar包路径： hadoop-2.8.5/share/hadoop/common hadoop-2.8.5/share/hadoop/common/bin hadoop-2.8.5/share/hadoop/hdfs hadoop-2.8.5/share/hadoop/hdfs/bin 12345 java代码实例 import org.apache.had...
- [root@node01]# adduser hadoop [root@node01]# passwd hadoop 更改用户 hadoop 的密码 。 新的 密码： 重新输入新的 密码： passwd：所有的身份验证令牌已经成功更新。 [root@node01]# #添加hadoop授权 [root@node01]# chmod -v u+w /etc/sudoers... [root@node01]# adduser hadoop [root@node01]# passwd hadoop 更改用户 hadoop 的密码 。 新的 密码： 重新输入新的 密码： passwd：所有的身份验证令牌已经成功更新。 [root@node01]# #添加hadoop授权 [root@node01]# chmod -v u+w /etc/sudoers...
- @Author ： By Runsen @Date ： 2020/6/20 作者介绍：Runsen目前大三下学期，专业化学工程与工艺，大学沉迷日语，Python， Java和一系列数据分析软件。导致翘课严重，专业排名中下。.在大学60%的时间，都在CSDN。 在一月到四月都没怎么写博客，因为决定写书，结果出书方说大学生就是一个菜鸟，看我确实还是一个菜鸟，就更新到博客... @Author ： By Runsen @Date ： 2020/6/20 作者介绍：Runsen目前大三下学期，专业化学工程与工艺，大学沉迷日语，Python， Java和一系列数据分析软件。导致翘课严重，专业排名中下。.在大学60%的时间，都在CSDN。 在一月到四月都没怎么写博客，因为决定写书，结果出书方说大学生就是一个菜鸟，看我确实还是一个菜鸟，就更新到博客...
- 文章目录 概述 优点 缺点 基本结构 Block NameNode 元数据 持久化文件：edits和fsimage NameNode SecondaryNameNode DataNode 副本放置策略 机架感知策略 HDFS基本命令 其他命令 一、概述 二、配置 三、注意事项 ... 文章目录 概述 优点 缺点 基本结构 Block NameNode 元数据 持久化文件：edits和fsimage NameNode SecondaryNameNode DataNode 副本放置策略 机架感知策略 HDFS基本命令 其他命令 一、概述 二、配置 三、注意事项 ...
- @Author ： By Runsen @Date ： 2020/6/20 作者介绍：Runsen目前大三下学期，专业化学工程与工艺，大学沉迷日语，Python， Java和一系列数据分析软件。导致翘课严重，专业排名中下。.在大学60%的时间，都在CSDN。 在一月到四月都没怎么写博客，因为决定写书，结果出书方说大学生就是一个菜鸟，看我确实还是一个菜鸟，就更新到博客... @Author ： By Runsen @Date ： 2020/6/20 作者介绍：Runsen目前大三下学期，专业化学工程与工艺，大学沉迷日语，Python， Java和一系列数据分析软件。导致翘课严重，专业排名中下。.在大学60%的时间，都在CSDN。 在一月到四月都没怎么写博客，因为决定写书，结果出书方说大学生就是一个菜鸟，看我确实还是一个菜鸟，就更新到博客...
- 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS ... 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS ...
- 大数据系列文章，从技术能力、业务基础、分析思维三大板块来呈现，你将收获： ❖ 提升自信心，自如应对面试，顺利拿到实习岗位或offer； ❖ 掌握大数据的基础知识，与其他同事沟通无障碍； ❖ 具备一定的项目实战能力，对于大数据工作直接上手； 大数据系列文章，从技术能力、业务基础、分析思维三大板块来呈现，你将收获： ❖ 提升自信心，自如应对面试，顺利拿到实习岗位或offer； ❖ 掌握大数据的基础知识，与其他同事沟通无障碍； ❖ 具备一定的项目实战能力，对于大数据工作直接上手；
- 背景 随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本... 背景 随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本...
- 目录 1、OLAP和OLTP的区别 2、OLAP分类 3、OLAP基本操作 4、OLAP选型 1、olap和oltp的区别 OLTPOLAP对象业务开发人员分析决策人员功能日常事务处理面向分析决策模型关系模型多维模型数据量几条或几十条记录＞百万于万条记录操作类型增、删、查、改(CRUD)查询为主总体概括联机事务处理在线分析处理 2、OLAP分类 MOLAP，... 目录 1、OLAP和OLTP的区别 2、OLAP分类 3、OLAP基本操作 4、OLAP选型 1、olap和oltp的区别 OLTPOLAP对象业务开发人员分析决策人员功能日常事务处理面向分析决策模型关系模型多维模型数据量几条或几十条记录＞百万于万条记录操作类型增、删、查、改(CRUD)查询为主总体概括联机事务处理在线分析处理 2、OLAP分类 MOLAP，...
- 三更灯火五更鸡，正是男儿读书时。 小编整理了一些常用的大数据组件，使用场景及功能特性，希望对后浪有所帮助。 分类名称简介功能特点使用场景大数据存储HDFSHDFS是一个分布式的文件系统，它具有高度的容错，高吞吐量，弹性伸缩等优点。是高度容错性和高吞吐量的海量数据存储解决方案。高容错性 HDFS通过多方面保证数据的可靠性，多个副本... 三更灯火五更鸡，正是男儿读书时。 小编整理了一些常用的大数据组件，使用场景及功能特性，希望对后浪有所帮助。 分类名称简介功能特点使用场景大数据存储HDFSHDFS是一个分布式的文件系统，它具有高度的容错，高吞吐量，弹性伸缩等优点。是高度容错性和高吞吐量的海量数据存储解决方案。高容错性 HDFS通过多方面保证数据的可靠性，多个副本...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签