- HDFS初认识 HDFS初认识
- Hadoop完全分布式运行环境的搭建 Hadoop完全分布式运行环境的搭建 0. 写在前面 1. 模板虚拟机环境准备 安装模板虚拟机 hadoop01虚拟机配置要求如下 关闭防火墙，关闭防火墙开机自启 创建普通用户 配置新用户权限 修改所属主和所属组 卸载虚拟机自带的JDK 重启虚拟机 2. 克隆虚拟机 克隆三台虚拟机 修改克隆机IP 修改主机名 重启克隆机 修改映射文件 0. 写在前面L... Hadoop完全分布式运行环境的搭建 Hadoop完全分布式运行环境的搭建 0. 写在前面 1. 模板虚拟机环境准备 安装模板虚拟机 hadoop01虚拟机配置要求如下 关闭防火墙，关闭防火墙开机自启 创建普通用户 配置新用户权限 修改所属主和所属组 卸载虚拟机自带的JDK 重启虚拟机 2. 克隆虚拟机 克隆三台虚拟机 修改克隆机IP 修改主机名 重启克隆机 修改映射文件 0. 写在前面L...
- Kylin构建Cube算法Kylin中Cube的思想是用空间换时间， 通过预先的计算，把索引及结果存储起来，以换取查询时候的高性能。在Kylin v1.5以前，Kylin中的Cube只有一种算法：layered cubing，也称逐层算法，它是逐层由底向上，把所有组合算完的过程。Kylin v1.5以后，推出Fast Cubing，也称快速数据立方算法，是一个新的Cube算法。一、... Kylin构建Cube算法Kylin中Cube的思想是用空间换时间， 通过预先的计算，把索引及结果存储起来，以换取查询时候的高性能。在Kylin v1.5以前，Kylin中的Cube只有一种算法：layered cubing，也称逐层算法，它是逐层由底向上，把所有组合算完的过程。Kylin v1.5以后，推出Fast Cubing，也称快速数据立方算法，是一个新的Cube算法。一、...
- Hadoop集群之模板虚拟机的安装 Hadoop集群之模板虚拟机的安装
- 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr... 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr...
- Hive命令使用记录 Hive命令使用记录
- 关于Hadoop集群物理及虚拟内存的检测的设置说明 关于Hadoop集群物理及虚拟内存的检测的设置说明
- Hive on Tez 的安装配置 Hive on Tez 的安装配置
- MapReduce报错：「MKDirs failed to create file」 MapReduce报错：「MKDirs failed to create file」
- MapReduce关于类型转换报错记录 MapReduce关于类型转换报错记录
- 执行MapReduce报错：无法分配内存 (errno=12) 执行MapReduce报错：无法分配内存 (errno=12)
- 基于CDH6.3.1版本-Hadoop3.0.0集群部署注意：虚拟服务器要固定ip地址一、修改主机名在对应服务器分别执行：hostnamectl set-hostname ****-master1hostnamectl set-hostname ****-master2hostnamectl set-hostname ****-master3hostnamectl set-hostname ... 基于CDH6.3.1版本-Hadoop3.0.0集群部署注意：虚拟服务器要固定ip地址一、修改主机名在对应服务器分别执行：hostnamectl set-hostname ****-master1hostnamectl set-hostname ****-master2hostnamectl set-hostname ****-master3hostnamectl set-hostname ...
- 一 大数据价值和当前主要应用大数据的价值当前全球数据的生产速度急剧加快，海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理，为此急需有一套针对性的解决方案，Hadoop应运而生。当前大数据的行业应用大数据解决方案就是通过挖掘海量数据的价值，分析数据之间的联系，并最终为企业生产、经营决策等赋能。电信运营商行业1）基于海量生产数据/日志数据，提供历史清单类数据快速查询服务2）汇聚各应... 一 大数据价值和当前主要应用大数据的价值当前全球数据的生产速度急剧加快，海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理，为此急需有一套针对性的解决方案，Hadoop应运而生。当前大数据的行业应用大数据解决方案就是通过挖掘海量数据的价值，分析数据之间的联系，并最终为企业生产、经营决策等赋能。电信运营商行业1）基于海量生产数据/日志数据，提供历史清单类数据快速查询服务2）汇聚各应...
- 前言今天想在win 10上搭一个Hadoop的开发环境，希望能够直联Hadoop集群并提交MapReduce任务，这里给出相关的关键配置。 步骤关于maven以及idea的安装这里不再赘述，非常简单。在win 10上配置Hadoop将Hadoop 2.7.3直接解压到系统某个位置，以我的文件名称为例，解压到E:大数据平台hadoophadoop-2.7.3中配置HADOOP_HOME以及P... 前言今天想在win 10上搭一个Hadoop的开发环境，希望能够直联Hadoop集群并提交MapReduce任务，这里给出相关的关键配置。 步骤关于maven以及idea的安装这里不再赘述，非常简单。在win 10上配置Hadoop将Hadoop 2.7.3直接解压到系统某个位置，以我的文件名称为例，解压到E:大数据平台hadoophadoop-2.7.3中配置HADOOP_HOME以及P...
- 下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本 安装JDK解压jdk压缩包tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/jav... 下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本 安装JDK解压jdk压缩包tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/jav...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签