- 在阅读Hadoop源代码过程中，在org.apache.hadoop.security.UnixUserGroupInformation类中，需要获取到Unix系统的用户名和所属组的信息，就需要通过执行Shell命令得到相应的结果，这里，通过阅读Hadoop项目org.apache.hadoop.util包、org.apache... 在阅读Hadoop源代码过程中，在org.apache.hadoop.security.UnixUserGroupInformation类中，需要获取到Unix系统的用户名和所属组的信息，就需要通过执行Shell命令得到相应的结果，这里，通过阅读Hadoop项目org.apache.hadoop.util包、org.apache...
- 本例子是对原有数据所包含的信息的挖掘。根据孩子与父母的信息，获取孩子与祖父母，外祖父母的信息。由child-parent表求得grandchild-grandparent表 原始数据如下： family.txt： child parent Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Mar... 本例子是对原有数据所包含的信息的挖掘。根据孩子与父母的信息，获取孩子与祖父母，外祖父母的信息。由child-parent表求得grandchild-grandparent表 原始数据如下： family.txt： child parent Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Mar...
- 本文将本地的hadoop日志，加载到Hive数据仓库中，再过滤日志中有用的日志信息转存到Mysql数据库里。 环境：hive-0.12.0 + Hadoop1.2.1 1、日志格式 2014-04-17 22:53:30,621 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* add... 本文将本地的hadoop日志，加载到Hive数据仓库中，再过滤日志中有用的日志信息转存到Mysql数据库里。 环境：hive-0.12.0 + Hadoop1.2.1 1、日志格式 2014-04-17 22:53:30,621 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* add...
- 本例从多个表中提取出所需要的信息。 输入是2个文件，一个表示工厂表，包含工厂名和地址编号；另一个表示地址表，包含地址名和地址编号。根据2个表的信息输出工厂名-地址名表。 factory.txt: factoryname addressed Beijing Red Star 1 ... 本例从多个表中提取出所需要的信息。 输入是2个文件，一个表示工厂表，包含工厂名和地址编号；另一个表示地址表，包含地址名和地址编号。根据2个表的信息输出工厂名-地址名表。 factory.txt: factoryname addressed Beijing Red Star 1 ...
- 一. 配置机器名 配置/etc/hosts和/etc/sysconfig/network 注意：NameNode的hosts文件必须有其slaves指定的所有节点的机器名 二. ssh设置 （hadoop中需要在namenode 和 datanode 中直接连接集群内的机器，需要配置ssh） NameN... 一. 配置机器名 配置/etc/hosts和/etc/sysconfig/network 注意：NameNode的hosts文件必须有其slaves指定的所有节点的机器名 二. ssh设置 （hadoop中需要在namenode 和 datanode 中直接连接集群内的机器，需要配置ssh） NameN...
- 首先在运行贝叶斯算法程序之前，运行环境要求： 1、安装maven(书中没提到的) 2、安装mahout 3、安装hadoop 关于2，3的安装方式可以参考书本里或者网上的方法。 下面说说安装maven过程，网上很多是直接下载 tar包，然后解压出来。 http://apache.etoak.com//maven/bi... 首先在运行贝叶斯算法程序之前，运行环境要求： 1、安装maven(书中没提到的) 2、安装mahout 3、安装hadoop 关于2，3的安装方式可以参考书本里或者网上的方法。 下面说说安装maven过程，网上很多是直接下载 tar包，然后解压出来。 http://apache.etoak.com//maven/bi...
- 本例子介绍使用hadoop做聚类分析。通过mapreduce实现KMeans算法。 1、KMeans算法介绍： k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心... 本例子介绍使用hadoop做聚类分析。通过mapreduce实现KMeans算法。 1、KMeans算法介绍： k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心...
- HBase以表的形式存储数据，每个表由行和列组成，每个列属于一个特定的列族（Column Family）。表中由行列确定的存储单元称为一个元素（Cell），每个元素保存了同一份数据的多个版本，由时间戳来标识。 下面就从安装开始........... 1、下载与安装 选择一个 Apache 下载镜像，下载&nb... HBase以表的形式存储数据，每个表由行和列组成，每个列属于一个特定的列族（Column Family）。表中由行列确定的存储单元称为一个元素（Cell），每个元素保存了同一份数据的多个版本，由时间戳来标识。 下面就从安装开始........... 1、下载与安装 选择一个 Apache 下载镜像，下载&nb...
- 条件，假设你已经装好了hadoop集群，配好了hdfs并可以正常运行。 $hadoop dfs -ls /data/dw/explorer Found 1 items drwxrwxrwx - rsync ... 条件，假设你已经装好了hadoop集群，配好了hdfs并可以正常运行。 $hadoop dfs -ls /data/dw/explorer Found 1 items drwxrwxrwx - rsync ...
- Hadoop 在关机重启后，namenode启动报错： 2011-10-21 05:22:20,504 INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /tmp/hadoop-fzuir/dfs/name does not exist. &nb... Hadoop 在关机重启后，namenode启动报错： 2011-10-21 05:22:20,504 INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /tmp/hadoop-fzuir/dfs/name does not exist. &nb...
- 1、推荐系统概述 电子商务网站是推荐系统应用的重要领域之一，当当网的图书推荐，大众点评的美食推荐，QQ好友推荐等等，推荐无处不在。 从企业角度，推荐系统的应用可以增加销售额等等，对于用户而言，系统仿佛知道我们的喜好并给出推荐也是非常美妙的事情。 推荐算法分类： 按数据使用划分： 协同过滤算法：UserC... 1、推荐系统概述 电子商务网站是推荐系统应用的重要领域之一，当当网的图书推荐，大众点评的美食推荐，QQ好友推荐等等，推荐无处不在。 从企业角度，推荐系统的应用可以增加销售额等等，对于用户而言，系统仿佛知道我们的喜好并给出推荐也是非常美妙的事情。 推荐算法分类： 按数据使用划分： 协同过滤算法：UserC...
- 对输入文件中的数据进行排序，输入文件中每行为一个数字。输出的每行为2个间隔的数字，第一个代表序号，第二个代表原始数字。 输入： 2 7 5 1 7 6 8 7 输出： 1 1 2 2 3 5 4 6 5 7 6 7 7 7 8 8 1、设计思路 在map过程中就有排序，因此利用这个默认的排序。并将其作为key值输出。re... 对输入文件中的数据进行排序，输入文件中每行为一个数字。输出的每行为2个间隔的数字，第一个代表序号，第二个代表原始数字。 输入： 2 7 5 1 7 6 8 7 输出： 1 1 2 2 3 5 4 6 5 7 6 7 7 7 8 8 1、设计思路 在map过程中就有排序，因此利用这个默认的排序。并将其作为key值输出。re...
- 前言 之前根据Hadoop官方文档对HDFS、MapReduce的架构、配置管理等进行了学习，但某些地方官方文档讲解的比较模糊。做过开发的人都能够体会，官方文档有些类似业务规则或者要求，而真正的细节还是需要深入研究源代码的。基于以上的原因，决定深入学习Hadoop的源代码，虽然现在已经出现Hadoop-2.x的文档版本，但还是决定学习... 前言 之前根据Hadoop官方文档对HDFS、MapReduce的架构、配置管理等进行了学习，但某些地方官方文档讲解的比较模糊。做过开发的人都能够体会，官方文档有些类似业务规则或者要求，而真正的细节还是需要深入研究源代码的。基于以上的原因，决定深入学习Hadoop的源代码，虽然现在已经出现Hadoop-2.x的文档版本，但还是决定学习...
- 1、Web日志分析 从Web日志中，我们可以获取网站各类页面的PV值(PageView，页面访问量)，访问IP；或者是用户停留时间最长的页面等等，更复杂的，可以分析用户行为特征。 在Web日志中，每条日志都代表用户的一次访问行为，以下面的一条日志为例子： 60.208.6.156 - - [18/Sep/2013:06:49:48... 1、Web日志分析 从Web日志中，我们可以获取网站各类页面的PV值(PageView，页面访问量)，访问IP；或者是用户停留时间最长的页面等等，更复杂的，可以分析用户行为特征。 在Web日志中，每条日志都代表用户的一次访问行为，以下面的一条日志为例子： 60.208.6.156 - - [18/Sep/2013:06:49:48...
- 在通过WordCount的例子直观地了解了MapReduce框架的作业如何编写后，现在对MapReduce框架中的关键接口或者类进行深入地地探索和学习。主要讲解Hadoop1.x中的接口和类，也就是org.apache.hadoop.mapreduce包中的接口和类，上面介绍的WordCount作业也是实现了这个包中的接口和类。首先会介... 在通过WordCount的例子直观地了解了MapReduce框架的作业如何编写后，现在对MapReduce框架中的关键接口或者类进行深入地地探索和学习。主要讲解Hadoop1.x中的接口和类，也就是org.apache.hadoop.mapreduce包中的接口和类，上面介绍的WordCount作业也是实现了这个包中的接口和类。首先会介...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
【仓颉社区】第36期WORKSHOP2025/09/02 周二 15:05-16:00
华为讲师团
本期仓颉编程语言社区技术沙龙即将开启，我们特邀三位资深专家，为大家带来硬核技术分享与实践经验解析！无论你是仓颉语言的初学者，还是资深开发者，本次直播都将为你带来新的启发和收获！
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中
热门标签