- 首先在运行贝叶斯算法程序之前，运行环境要求： 1、安装maven(书中没提到的) 2、安装mahout 3、安装hadoop 关于2，3的安装方式可以参考书本里或者网上的方法。 下面说说安装maven过程，网上很多是直接下载 tar包，然后解压出来。 http://apache.etoak.com//maven/bi... 首先在运行贝叶斯算法程序之前，运行环境要求： 1、安装maven(书中没提到的) 2、安装mahout 3、安装hadoop 关于2，3的安装方式可以参考书本里或者网上的方法。 下面说说安装maven过程，网上很多是直接下载 tar包，然后解压出来。 http://apache.etoak.com//maven/bi...
- 本例子介绍使用hadoop做聚类分析。通过mapreduce实现KMeans算法。 1、KMeans算法介绍： k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心... 本例子介绍使用hadoop做聚类分析。通过mapreduce实现KMeans算法。 1、KMeans算法介绍： k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心...
- HBase以表的形式存储数据，每个表由行和列组成，每个列属于一个特定的列族（Column Family）。表中由行列确定的存储单元称为一个元素（Cell），每个元素保存了同一份数据的多个版本，由时间戳来标识。 下面就从安装开始........... 1、下载与安装 选择一个 Apache 下载镜像，下载&nb... HBase以表的形式存储数据，每个表由行和列组成，每个列属于一个特定的列族（Column Family）。表中由行列确定的存储单元称为一个元素（Cell），每个元素保存了同一份数据的多个版本，由时间戳来标识。 下面就从安装开始........... 1、下载与安装 选择一个 Apache 下载镜像，下载&nb...
- 条件，假设你已经装好了hadoop集群，配好了hdfs并可以正常运行。 $hadoop dfs -ls /data/dw/explorer Found 1 items drwxrwxrwx - rsync ... 条件，假设你已经装好了hadoop集群，配好了hdfs并可以正常运行。 $hadoop dfs -ls /data/dw/explorer Found 1 items drwxrwxrwx - rsync ...
- Hadoop 在关机重启后，namenode启动报错： 2011-10-21 05:22:20,504 INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /tmp/hadoop-fzuir/dfs/name does not exist. &nb... Hadoop 在关机重启后，namenode启动报错： 2011-10-21 05:22:20,504 INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /tmp/hadoop-fzuir/dfs/name does not exist. &nb...
- 1、推荐系统概述 电子商务网站是推荐系统应用的重要领域之一，当当网的图书推荐，大众点评的美食推荐，QQ好友推荐等等，推荐无处不在。 从企业角度，推荐系统的应用可以增加销售额等等，对于用户而言，系统仿佛知道我们的喜好并给出推荐也是非常美妙的事情。 推荐算法分类： 按数据使用划分： 协同过滤算法：UserC... 1、推荐系统概述 电子商务网站是推荐系统应用的重要领域之一，当当网的图书推荐，大众点评的美食推荐，QQ好友推荐等等，推荐无处不在。 从企业角度，推荐系统的应用可以增加销售额等等，对于用户而言，系统仿佛知道我们的喜好并给出推荐也是非常美妙的事情。 推荐算法分类： 按数据使用划分： 协同过滤算法：UserC...
- 对输入文件中的数据进行排序，输入文件中每行为一个数字。输出的每行为2个间隔的数字，第一个代表序号，第二个代表原始数字。 输入： 2 7 5 1 7 6 8 7 输出： 1 1 2 2 3 5 4 6 5 7 6 7 7 7 8 8 1、设计思路 在map过程中就有排序，因此利用这个默认的排序。并将其作为key值输出。re... 对输入文件中的数据进行排序，输入文件中每行为一个数字。输出的每行为2个间隔的数字，第一个代表序号，第二个代表原始数字。 输入： 2 7 5 1 7 6 8 7 输出： 1 1 2 2 3 5 4 6 5 7 6 7 7 7 8 8 1、设计思路 在map过程中就有排序，因此利用这个默认的排序。并将其作为key值输出。re...
- 前言 之前根据Hadoop官方文档对HDFS、MapReduce的架构、配置管理等进行了学习，但某些地方官方文档讲解的比较模糊。做过开发的人都能够体会，官方文档有些类似业务规则或者要求，而真正的细节还是需要深入研究源代码的。基于以上的原因，决定深入学习Hadoop的源代码，虽然现在已经出现Hadoop-2.x的文档版本，但还是决定学习... 前言 之前根据Hadoop官方文档对HDFS、MapReduce的架构、配置管理等进行了学习，但某些地方官方文档讲解的比较模糊。做过开发的人都能够体会，官方文档有些类似业务规则或者要求，而真正的细节还是需要深入研究源代码的。基于以上的原因，决定深入学习Hadoop的源代码，虽然现在已经出现Hadoop-2.x的文档版本，但还是决定学习...
- 1、Web日志分析 从Web日志中，我们可以获取网站各类页面的PV值(PageView，页面访问量)，访问IP；或者是用户停留时间最长的页面等等，更复杂的，可以分析用户行为特征。 在Web日志中，每条日志都代表用户的一次访问行为，以下面的一条日志为例子： 60.208.6.156 - - [18/Sep/2013:06:49:48... 1、Web日志分析 从Web日志中，我们可以获取网站各类页面的PV值(PageView，页面访问量)，访问IP；或者是用户停留时间最长的页面等等，更复杂的，可以分析用户行为特征。 在Web日志中，每条日志都代表用户的一次访问行为，以下面的一条日志为例子： 60.208.6.156 - - [18/Sep/2013:06:49:48...
- 在通过WordCount的例子直观地了解了MapReduce框架的作业如何编写后，现在对MapReduce框架中的关键接口或者类进行深入地地探索和学习。主要讲解Hadoop1.x中的接口和类，也就是org.apache.hadoop.mapreduce包中的接口和类，上面介绍的WordCount作业也是实现了这个包中的接口和类。首先会介... 在通过WordCount的例子直观地了解了MapReduce框架的作业如何编写后，现在对MapReduce框架中的关键接口或者类进行深入地地探索和学习。主要讲解Hadoop1.x中的接口和类，也就是org.apache.hadoop.mapreduce包中的接口和类，上面介绍的WordCount作业也是实现了这个包中的接口和类。首先会介...
- 文件的删除和恢复 和Linux系统的回收站设计一样，HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段... 文件的删除和恢复 和Linux系统的回收站设计一样，HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段...
- 之前手工成功编译Hadoop-1.2.1的Eclipse插件后，发现了若干问题，比如生成的Mapper和Reducer还在使用Hadoop-0.x版本的一些类，为了解决这些问题并使插件能够适应Hadoop-1.2.1的变化，决定修改插件的源代码后再重新编译。 首先需要确定要修改哪些类，在仔细观察了hadoop-1.2.1/src/co... 之前手工成功编译Hadoop-1.2.1的Eclipse插件后，发现了若干问题，比如生成的Mapper和Reducer还在使用Hadoop-0.x版本的一些类，为了解决这些问题并使插件能够适应Hadoop-1.2.1的变化，决定修改插件的源代码后再重新编译。 首先需要确定要修改哪些类，在仔细观察了hadoop-1.2.1/src/co...
- 最近在学习Hive的安装与使用，第一次使用还是遇到了很多问题。下面介绍下具体的过程。 开发环境： ubuntu10.04 jdk:1.7.0_40 Hadoop:1.2.1 1、下载安装包 首先从http://hive.apache.org/downloads.html下载并解压到一个目录下，笔者是/root/h... 最近在学习Hive的安装与使用，第一次使用还是遇到了很多问题。下面介绍下具体的过程。 开发环境： ubuntu10.04 jdk:1.7.0_40 Hadoop:1.2.1 1、下载安装包 首先从http://hive.apache.org/downloads.html下载并解压到一个目录下，笔者是/root/h...
- MapReduce在hadoop-0.23版本中进行了完全的检查修改，并发展为了现在称之为的MapReduce2.0（MRv2）或者YARN。YARN的基本想法是将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，目标是拥有一个全局ResourceManager (RM)和每个应用程序一个的Applicati... MapReduce在hadoop-0.23版本中进行了完全的检查修改，并发展为了现在称之为的MapReduce2.0（MRv2）或者YARN。YARN的基本想法是将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，目标是拥有一个全局ResourceManager (RM)和每个应用程序一个的Applicati...
- 题记 本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWare WorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间，完成虚拟机制作和Hadoop建立过程，总体比较顺利。 本次集群搭建过程中，主要遇到两个问题： （1）第一个是... 题记 本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWare WorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间，完成虚拟机制作和Hadoop建立过程，总体比较顺利。 本次集群搭建过程中，主要遇到两个问题： （1）第一个是...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签