- 最近在学习Hive的安装与使用，第一次使用还是遇到了很多问题。下面介绍下具体的过程。 开发环境： ubuntu10.04 jdk:1.7.0_40 Hadoop:1.2.1 1、下载安装包 首先从http://hive.apache.org/downloads.html下载并解压到一个目录下，笔者是/root/h... 最近在学习Hive的安装与使用，第一次使用还是遇到了很多问题。下面介绍下具体的过程。 开发环境： ubuntu10.04 jdk:1.7.0_40 Hadoop:1.2.1 1、下载安装包 首先从http://hive.apache.org/downloads.html下载并解压到一个目录下，笔者是/root/h...
- MapReduce在hadoop-0.23版本中进行了完全的检查修改，并发展为了现在称之为的MapReduce2.0（MRv2）或者YARN。YARN的基本想法是将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，目标是拥有一个全局ResourceManager (RM)和每个应用程序一个的Applicati... MapReduce在hadoop-0.23版本中进行了完全的检查修改，并发展为了现在称之为的MapReduce2.0（MRv2）或者YARN。YARN的基本想法是将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，目标是拥有一个全局ResourceManager (RM)和每个应用程序一个的Applicati...
- 题记 本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWare WorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间，完成虚拟机制作和Hadoop建立过程，总体比较顺利。 本次集群搭建过程中，主要遇到两个问题： （1）第一个是... 题记 本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWare WorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间，完成虚拟机制作和Hadoop建立过程，总体比较顺利。 本次集群搭建过程中，主要遇到两个问题： （1）第一个是...
- 在这篇文章中主要关注MapReduce作业的输入和输出，由于Hadoop版本的变化及本人对这些变化了解的还不够深入，难免有描述不清楚的地方，会在进一步学习后更正不准确的地方。 作业输入 InputFormat描述了MapReduce作业的输入规范。MapReduce框架依靠作业的InputFormat实现： 1.&nb... 在这篇文章中主要关注MapReduce作业的输入和输出，由于Hadoop版本的变化及本人对这些变化了解的还不够深入，难免有描述不清楚的地方，会在进一步学习后更正不准确的地方。 作业输入 InputFormat描述了MapReduce作业的输入规范。MapReduce框架依靠作业的InputFormat实现： 1.&nb...
- G = f(x) x: big data f: cloud computing G: goal G = f(x) x: big data f: cloud computing G: goal
- HDFS是什么 HDFS设计特性和概念 HDFS，全称是Hadoop Distributed Filesystem，是一个分布式的文件系统，以流式数据访问模式来存储超大文件（一次写入、多次读取）。 HDFS具有如下设计特性： （1）处理超大文件，指的是GB、TB、PB级别的文件。百度、淘宝都... HDFS是什么 HDFS设计特性和概念 HDFS，全称是Hadoop Distributed Filesystem，是一个分布式的文件系统，以流式数据访问模式来存储超大文件（一次写入、多次读取）。 HDFS具有如下设计特性： （1）处理超大文件，指的是GB、TB、PB级别的文件。百度、淘宝都...
- 关于Hadoop2.2.0版本的改善 ①新的 Hadoop MapReduce框架 YARN ②HDFS 高可用性 ③HDFS Federation（HDFS联盟）：使得 HDFS支持多个命名空间，并且允许在 HDFS中同时存在多 关于Hadoop2.2.0版本的改善 ①新的 Hadoop MapReduce框架 YARN ②HDFS 高可用性 ③HDFS Federation（HDFS联盟）：使得 HDFS支持多个命名空间，并且允许在 HDFS中同时存在多
- Hadoop既可以以单机模式运行，也可以以伪分布模式运行，这两种模式都是为了使用者方便学习和调试Hadoop，要想发挥Hadoop分布式、并行处理的优势，还须以分布式模式来部署运行Hadoop。单机模式是指Hadoop在单个节点上以单个进程的方式运行，伪分布模式是指在单个节点上运行NameNode、DataNode、JobTracker... Hadoop既可以以单机模式运行，也可以以伪分布模式运行，这两种模式都是为了使用者方便学习和调试Hadoop，要想发挥Hadoop分布式、并行处理的优势，还须以分布式模式来部署运行Hadoop。单机模式是指Hadoop在单个节点上以单个进程的方式运行，伪分布模式是指在单个节点上运行NameNode、DataNode、JobTracker...
- Hadoop-2.2.0在Hadoop-1.x的基础上进行了重大改进，主要体现在HDFS和MapReduce上。下面大体介绍HDFS和MapReduce改进的地方。 首先是HDFS联合。众所周知，在Hadoop-1.x版本中，集群中只有一个NameNode节点，一旦该节点失效就不能自动切换到备用节点，这也是Hadoop-1.x被人诟病... Hadoop-2.2.0在Hadoop-1.x的基础上进行了重大改进，主要体现在HDFS和MapReduce上。下面大体介绍HDFS和MapReduce改进的地方。 首先是HDFS联合。众所周知，在Hadoop-1.x版本中，集群中只有一个NameNode节点，一旦该节点失效就不能自动切换到备用节点，这也是Hadoop-1.x被人诟病...
- 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基... 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基...
- 前面均在windows下进行，但是在安装hadoop过程中出了一些问题，先暂时切换到linux下，回头再补充windows下的安装。不过通过对比确实发现，在linux下的安装配置确实比较简单。 一.安装ubuntu 我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的，没错，是在虚拟机... 前面均在windows下进行，但是在安装hadoop过程中出了一些问题，先暂时切换到linux下，回头再补充windows下的安装。不过通过对比确实发现，在linux下的安装配置确实比较简单。 一.安装ubuntu 我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的，没错，是在虚拟机...
- 第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法... 第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法...
- 第一部分：数据完整性 数据完整性及其采用的技术 保证数据在传输过程中不损坏 ，常见的保证数据完整性采用的技术 A.奇偶校验技术 B.ECC校验纠错技术 第一部分：数据完整性 数据完整性及其采用的技术 保证数据在传输过程中不损坏 ，常见的保证数据完整性采用的技术 A.奇偶校验技术 B.ECC校验纠错技术
- 作业的提交和监控 Job为作业提交者提供了作业的视图，允许用户管理作业，提交作业，控制作业的执行和查询作业状态，比如跟踪map和reduce任务的执行进度。该类提供的set方法只有在作业已经被提交后才生效，否则将会抛出IllegalStateException异常。作业的提交过程包括： 1. &nbs... 作业的提交和监控 Job为作业提交者提供了作业的视图，允许用户管理作业，提交作业，控制作业的执行和查询作业状态，比如跟踪map和reduce任务的执行进度。该类提供的set方法只有在作业已经被提交后才生效，否则将会抛出IllegalStateException异常。作业的提交过程包括： 1. &nbs...
- 在学习Hadoop-2.x版本中的HDFS之前先看一下目前普遍使用中的Hadoop-1.x版本的HDFS结构，有助于更好地理解2.x版本中HDFS的变化所带来的好处。先看看2.x版本之前的HDFS结构图，如下所示。 从上面的结构可以看出，HDFS主要包括两层：Namespace（命名空间）和块存储（BlockStorage）。命... 在学习Hadoop-2.x版本中的HDFS之前先看一下目前普遍使用中的Hadoop-1.x版本的HDFS结构，有助于更好地理解2.x版本中HDFS的变化所带来的好处。先看看2.x版本之前的HDFS结构图，如下所示。 从上面的结构可以看出，HDFS主要包括两层：Namespace（命名空间）和块存储（BlockStorage）。命...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
“智能运维新视野”系列直播 —— 云监控技术深度实践2025/08/29 周五 15:00-16:00
星璇 华为云监控产品经理
本期直播深度解析全栈监控技术实践，揭秘华为云、头部企业如何通过智能监控实现业务零中断，分享高可用系统背后的“鹰眼系统”。即刻预约，解锁数字化转型的运维密码！
回顾中
热门标签