- 试验环境: 本地:MyEclipse 集群:Vmware 11+ 6台 Centos 6.5 Hadoop版本: 2.4.0(配置为自动HA)试验背景: 在正常测试MapReduce(下简称MR)程序4次之后,进行一次新的MR程序,MyEclipse的控制台信息卡住不动了,我通过远程连接NameNode查看系统目录也被卡住,这时候再看MyEclipse控制台,发现已经抛出异常如... 试验环境: 本地:MyEclipse 集群:Vmware 11+ 6台 Centos 6.5 Hadoop版本: 2.4.0(配置为自动HA)试验背景: 在正常测试MapReduce(下简称MR)程序4次之后,进行一次新的MR程序,MyEclipse的控制台信息卡住不动了,我通过远程连接NameNode查看系统目录也被卡住,这时候再看MyEclipse控制台,发现已经抛出异常如...
- 入门华为云服务需要了解的一些名词：MapReduce 、OBS、DLI、DSI、数据仓库、OpenTSDB时序数据库、 入门华为云服务需要了解的一些名词：MapReduce 、OBS、DLI、DSI、数据仓库、OpenTSDB时序数据库、
- Greenplum(4.3.8.2)使用GPHDFS协议创建外部表访问CDH5.7.0环境的HDFS文件系统 1. 环境CDH 5.7.0集成环境，其中Hadoop版本为2.6.0Greenplum版本为4.3.8.2 2. 安装部署第一步：所有segment，master和standby master节点都安装Java 1.6及以上版本(CDH5.7.0已经部署，... Greenplum(4.3.8.2)使用GPHDFS协议创建外部表访问CDH5.7.0环境的HDFS文件系统 1. 环境CDH 5.7.0集成环境，其中Hadoop版本为2.6.0Greenplum版本为4.3.8.2 2. 安装部署第一步：所有segment，master和standby master节点都安装Java 1.6及以上版本(CDH5.7.0已经部署，...
- HDFS基本原理的介绍 HDFS基本原理的介绍
- 常用命令- help功能:输出这个命令参数手册- ls功能:显示目录信息示例:hadoop fs -ls hdfs://hadoop-hello/备注:这些参数中,所有的hdfs路径都可以简写–>hadoop fs -ls /等同于上一条命令效果- mkdir功能:在hdfs上常见目录示例:hadoop fs -mkdir -p /aa/bb/cc- moveFromLocal功能:从本地剪... 常用命令- help功能:输出这个命令参数手册- ls功能:显示目录信息示例:hadoop fs -ls hdfs://hadoop-hello/备注:这些参数中,所有的hdfs路径都可以简写–>hadoop fs -ls /等同于上一条命令效果- mkdir功能:在hdfs上常见目录示例:hadoop fs -mkdir -p /aa/bb/cc- moveFromLocal功能:从本地剪...
- HDFS是Hadoop的组件之一,是一个分布式文件系统, 文件系统是一个抽象类,其中有很多的子实现类,例如:hdfs,file:\(本地磁盘),ftp文件系统,webHdfs(可通过浏览器的界面进行文件操作).1架构图(1)HDFSClient:客户端想要请求数据,首先对NameNode进行"询问",NameNode会将数据的存储信息返回给用户. (2) NameNode :保存HDFS... HDFS是Hadoop的组件之一,是一个分布式文件系统, 文件系统是一个抽象类,其中有很多的子实现类,例如:hdfs,file:\(本地磁盘),ftp文件系统,webHdfs(可通过浏览器的界面进行文件操作).1架构图(1)HDFSClient:客户端想要请求数据,首先对NameNode进行"询问",NameNode会将数据的存储信息返回给用户. (2) NameNode :保存HDFS...
- 输入文件address.txt factory.txt:1 Beijing Beijing Red Star 12 Guangzhou Shenzhen Thunder 33 Shenzhen Guangzhou Honda 24 Xian Beijing Rising 1 ... 输入文件address.txt factory.txt:1 Beijing Beijing Red Star 12 Guangzhou Shenzhen Thunder 33 Shenzhen Guangzhou Honda 24 Xian Beijing Rising 1 ...
- FLUME安装过程 FLUME安装过程
- 本文通过银行存款预测业务的案例应用，介绍了华为机器学习服务的工作流使用方法，用户可以通过本文快速掌握工作流的使用和机器学习建模的流程。 本文通过银行存款预测业务的案例应用，介绍了华为机器学习服务的工作流使用方法，用户可以通过本文快速掌握工作流的使用和机器学习建模的流程。
- 接上篇：【Free Style】Hadoop-Yarn之Resource Manager源码分析(三)https://portal.huaweicloud.cn/blogs/45e07b16c07311e7b8317ca23e93a891 4 算法介绍Yarn的调度器的作用主要是回答了如何选择一堆队列，在队列上如何选择一个应用的问题。Yarn Scheduler支持的调度机制包括：a) 接上篇：【Free Style】Hadoop-Yarn之Resource Manager源码分析(三)https://portal.huaweicloud.cn/blogs/45e07b16c07311e7b8317ca23e93a891 4 算法介绍Yarn的调度器的作用主要是回答了如何选择一堆队列，在队列上如何选择一个应用的问题。Yarn Scheduler支持的调度机制包括：a)
- 自从去年上半年做了一个涉及大数据的项目，就被认为是部门里的大数据第一人，其实万不敢当。在此之前所在部门的确对这方面毫无涉足，我们是部门内的先行者。但要说有多么了解大数据，其实也很汗颜，认真一点说，我们是想借助这个项目去大数据的海洋里试驾远航，可事实是我们赶在被真正的大数据的海浪打翻之前就已经回到岸边。 自从去年上半年做了一个涉及大数据的项目，就被认为是部门里的大数据第一人，其实万不敢当。在此之前所在部门的确对这方面毫无涉足，我们是部门内的先行者。但要说有多么了解大数据，其实也很汗颜，认真一点说，我们是想借助这个项目去大数据的海洋里试驾远航，可事实是我们赶在被真正的大数据的海浪打翻之前就已经回到岸边。
- 统一资源调度管理 统一资源调度管理
- 从时间节点上来看，每年的 3月、4月是一年中求职跳槽的黄金季！ 最近也收到很多小伙伴的后台留言 “有没有大数据学习资源，进阶学习路线，PDF，电子书，面试文档等等...” 一系列问题，这篇文章等于是针对以上的问题统一做回答了。 肝了一周，做了一些资源筛选，依照自己的学习经验和相关的资料做个整理，把一些我看过的精品视频，技术书籍... 从时间节点上来看，每年的 3月、4月是一年中求职跳槽的黄金季！ 最近也收到很多小伙伴的后台留言 “有没有大数据学习资源，进阶学习路线，PDF，电子书，面试文档等等...” 一系列问题，这篇文章等于是针对以上的问题统一做回答了。 肝了一周，做了一些资源筛选，依照自己的学习经验和相关的资料做个整理，把一些我看过的精品视频，技术书籍...
- 笔者遇到个突发问题，线上某cdh集群中 (cdh5.14)，cm server所在节点的/var/lib目录被人误删了，误删操作人员已经尝试了从cm agent节点cdh2中，拷贝/var/lib 目录到cm server节点cdh1的/var/lib目录下, 然后重启了cm ser... 笔者遇到个突发问题，线上某cdh集群中 (cdh5.14)，cm server所在节点的/var/lib目录被人误删了，误删操作人员已经尝试了从cm agent节点cdh2中，拷贝/var/lib 目录到cm server节点cdh1的/var/lib目录下, 然后重启了cm ser...
- 关于用户行为分析，很多互联网公司都有相关的需求，虽然业务不同，但是关于用户行为分析的方法和技术实现都是基本相同的。在此分享一下自己的一些心得。 一. 简介 用户行为分析主要关心的指标可以概括如下：哪个用户在什么时候做了什么操作在哪里做了什么操作，为什么要做这些操作，通过什么方式，用了多长时间等问题，总结出来就是WHO，WHE... 关于用户行为分析，很多互联网公司都有相关的需求，虽然业务不同，但是关于用户行为分析的方法和技术实现都是基本相同的。在此分享一下自己的一些心得。 一. 简介 用户行为分析主要关心的指标可以概括如下：哪个用户在什么时候做了什么操作在哪里做了什么操作，为什么要做这些操作，通过什么方式，用了多长时间等问题，总结出来就是WHO，WHE...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签