- 大家好，我是一条~ 5小时推开Spark的大门，正式开始，第一个小时，我们主要学习以下内容： 什么是Spark？Spark和Hadoop什么关系？Spark有什么优点？Spark适合做什么？Spark... 大家好，我是一条~ 5小时推开Spark的大门，正式开始，第一个小时，我们主要学习以下内容： 什么是Spark？Spark和Hadoop什么关系？Spark有什么优点？Spark适合做什么？Spark...
- 摘 要 大数据技术随着互联网的发展及信息量爆炸增长的趋势应运而生。 面对异常庞 大的数据，多种分布式文件系统为大数据的存储提供了解决方案。 其中 Hadoop 由于 自身高扩展性、高可靠性等优点被业... 摘 要 大数据技术随着互联网的发展及信息量爆炸增长的趋势应运而生。 面对异常庞 大的数据，多种分布式文件系统为大数据的存储提供了解决方案。 其中 Hadoop 由于 自身高扩展性、高可靠性等优点被业...
- 第5章DML数据操作 5.1 数据导入—— 重要 5.1.1 向表中装载数据（Load）—— 关键 1．语法 hive> load data [local] inpath '/opt/mod... 第5章DML数据操作 5.1 数据导入—— 重要 5.1.1 向表中装载数据（Load）—— 关键 1．语法 hive> load data [local] inpath '/opt/mod...
- 文章目录 Hadoop hadoop的常用配置文件有哪些 启动hadoop集群会分别启动哪些进程,各自的作用 简述java序列化和 hadoop自... 文章目录 Hadoop hadoop的常用配置文件有哪些 启动hadoop集群会分别启动哪些进程,各自的作用 简述java序列化和 hadoop自...
- 忘的差不多了, 先补概念, 然后开始搭建集群实战 ... . 一 Hadoop版本 和 生态圈 1. Hadoop版本 (1) Apache Hadoop版本介绍 Apache的开源项目开发流程 : -- 主干分支 : 新功能都是在 主干分支(trunk)上开发; -- 特性独有分支 : 很多新特性稳定性很差, ... 忘的差不多了, 先补概念, 然后开始搭建集群实战 ... . 一 Hadoop版本 和 生态圈 1. Hadoop版本 (1) Apache Hadoop版本介绍 Apache的开源项目开发流程 : -- 主干分支 : 新功能都是在 主干分支(trunk)上开发; -- 特性独有分支 : 很多新特性稳定性很差, ...
- 在学习过了HDFS架构和Hadoop的配置管理后，现在学习MapReduce应用程序的编写和管理。首先简单介绍一下MapReduce框架。 MapReduce是一个易于编写程序的软件框架，这些应用程序以可靠的、容错的模式并行的运行在很大规模的商用硬件集群上（数以千计的节点），处理超大数量的数据（超过TB的数据集）。一个MapReduc... 在学习过了HDFS架构和Hadoop的配置管理后，现在学习MapReduce应用程序的编写和管理。首先简单介绍一下MapReduce框架。 MapReduce是一个易于编写程序的软件框架，这些应用程序以可靠的、容错的模式并行的运行在很大规模的商用硬件集群上（数以千计的节点），处理超大数量的数据（超过TB的数据集）。一个MapReduc...
- 倒排索引是文档搜索系统中常用的数据结构。它主要用来存储某个词组在一个或多个文档中的位置映射。通常情况下，倒排索引由词组以及相关的文档列表组成。如下表所示。 表1： 单词 文档列表 单词1 文档1 文档2 文档3 单词2 ... 倒排索引是文档搜索系统中常用的数据结构。它主要用来存储某个词组在一个或多个文档中的位置映射。通常情况下，倒排索引由词组以及相关的文档列表组成。如下表所示。 表1： 单词 文档列表 单词1 文档1 文档2 文档3 单词2 ...
- 求海量数据中最大的K个记录 来源于《hadoop实战》(hadoop in action)（美 拉姆）第4.7章节有关stream的习题。 数据源：apat63_99.txt 专利描述数据集，包含专利号、专利申请年份等等信息。可从美国国家经济研究局获得，网址为http://www.nber.org/patents ... 求海量数据中最大的K个记录 来源于《hadoop实战》(hadoop in action)（美 拉姆）第4.7章节有关stream的习题。 数据源：apat63_99.txt 专利描述数据集，包含专利号、专利申请年份等等信息。可从美国国家经济研究局获得，网址为http://www.nber.org/patents ...
- 在阅读Hadoop源代码过程中，在org.apache.hadoop.security.UnixUserGroupInformation类中，需要获取到Unix系统的用户名和所属组的信息，就需要通过执行Shell命令得到相应的结果，这里，通过阅读Hadoop项目org.apache.hadoop.util包、org.apache... 在阅读Hadoop源代码过程中，在org.apache.hadoop.security.UnixUserGroupInformation类中，需要获取到Unix系统的用户名和所属组的信息，就需要通过执行Shell命令得到相应的结果，这里，通过阅读Hadoop项目org.apache.hadoop.util包、org.apache...
- 本例子是对原有数据所包含的信息的挖掘。根据孩子与父母的信息，获取孩子与祖父母，外祖父母的信息。由child-parent表求得grandchild-grandparent表 原始数据如下： family.txt： child parent Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Mar... 本例子是对原有数据所包含的信息的挖掘。根据孩子与父母的信息，获取孩子与祖父母，外祖父母的信息。由child-parent表求得grandchild-grandparent表 原始数据如下： family.txt： child parent Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Mar...
- 本文将本地的hadoop日志，加载到Hive数据仓库中，再过滤日志中有用的日志信息转存到Mysql数据库里。 环境：hive-0.12.0 + Hadoop1.2.1 1、日志格式 2014-04-17 22:53:30,621 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* add... 本文将本地的hadoop日志，加载到Hive数据仓库中，再过滤日志中有用的日志信息转存到Mysql数据库里。 环境：hive-0.12.0 + Hadoop1.2.1 1、日志格式 2014-04-17 22:53:30,621 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* add...
- 本例从多个表中提取出所需要的信息。 输入是2个文件，一个表示工厂表，包含工厂名和地址编号；另一个表示地址表，包含地址名和地址编号。根据2个表的信息输出工厂名-地址名表。 factory.txt: factoryname addressed Beijing Red Star 1 ... 本例从多个表中提取出所需要的信息。 输入是2个文件，一个表示工厂表，包含工厂名和地址编号；另一个表示地址表，包含地址名和地址编号。根据2个表的信息输出工厂名-地址名表。 factory.txt: factoryname addressed Beijing Red Star 1 ...
- 一. 配置机器名 配置/etc/hosts和/etc/sysconfig/network 注意：NameNode的hosts文件必须有其slaves指定的所有节点的机器名 二. ssh设置 （hadoop中需要在namenode 和 datanode 中直接连接集群内的机器，需要配置ssh） NameN... 一. 配置机器名 配置/etc/hosts和/etc/sysconfig/network 注意：NameNode的hosts文件必须有其slaves指定的所有节点的机器名 二. ssh设置 （hadoop中需要在namenode 和 datanode 中直接连接集群内的机器，需要配置ssh） NameN...
- 首先在运行贝叶斯算法程序之前，运行环境要求： 1、安装maven(书中没提到的) 2、安装mahout 3、安装hadoop 关于2，3的安装方式可以参考书本里或者网上的方法。 下面说说安装maven过程，网上很多是直接下载 tar包，然后解压出来。 http://apache.etoak.com//maven/bi... 首先在运行贝叶斯算法程序之前，运行环境要求： 1、安装maven(书中没提到的) 2、安装mahout 3、安装hadoop 关于2，3的安装方式可以参考书本里或者网上的方法。 下面说说安装maven过程，网上很多是直接下载 tar包，然后解压出来。 http://apache.etoak.com//maven/bi...
- 本例子介绍使用hadoop做聚类分析。通过mapreduce实现KMeans算法。 1、KMeans算法介绍： k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心... 本例子介绍使用hadoop做聚类分析。通过mapreduce实现KMeans算法。 1、KMeans算法介绍： k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签