- 目录 一、HDFS常用操作命令 二、HDFS文件恢复机制 三、hadoop的window本地安装 四、mapreduce 单元测试、集成测试及验证 一、HDFS常用操作命令 查看根目录下的文件 hadoop fs -ls hdfs://master:9999/ 或 hadoop fs -ls / hadoop fs -ls -h... 目录 一、HDFS常用操作命令 二、HDFS文件恢复机制 三、hadoop的window本地安装 四、mapreduce 单元测试、集成测试及验证 一、HDFS常用操作命令 查看根目录下的文件 hadoop fs -ls hdfs://master:9999/ 或 hadoop fs -ls / hadoop fs -ls -h...
- 目录 一、HDFS HA 集群规划 二、修改hdfs-site 和 core-site 配置 三、同步namenode 的 EditsLog 数据 四、配置自动状态改变 五、杀死一个active状态的namenode进行验证 六、实现HA中的 zookeeper 的作用 七、清理垃圾数据 八、配置yarn（ResourceManager） 的集群 一、HD... 目录 一、HDFS HA 集群规划 二、修改hdfs-site 和 core-site 配置 三、同步namenode 的 EditsLog 数据 四、配置自动状态改变 五、杀死一个active状态的namenode进行验证 六、实现HA中的 zookeeper 的作用 七、清理垃圾数据 八、配置yarn（ResourceManager） 的集群 一、HD...
- 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ... 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ...
- 写在前面：博主是一只经过实战开发历练后投身培训事业的“小山猪”，昵称取自动画片《狮子王》中的“彭彭”，总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。同时，博主也想通过此次尝试打造一个完善的技术图书馆，任何与文章技术点有关的异常、错误、注... 写在前面：博主是一只经过实战开发历练后投身培训事业的“小山猪”，昵称取自动画片《狮子王》中的“彭彭”，总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。同时，博主也想通过此次尝试打造一个完善的技术图书馆，任何与文章技术点有关的异常、错误、注...
- 一、zookeeper 下载 安装 cdh 版本的 zookeeper 下载地址 http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz 解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz 配置环境变量 export ZK_HOME=/home/h... 一、zookeeper 下载 安装 cdh 版本的 zookeeper 下载地址 http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz 解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz 配置环境变量 export ZK_HOME=/home/h...
- 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1.... 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1....
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 一、下载 安装cdh 版本 hbase 下载地址 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz cd /opt/hbase-1.2.0-cdh5.7.0/conf 修改 hbase-env.sh配置文件... 一、下载 安装cdh 版本 hbase 下载地址 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz cd /opt/hbase-1.2.0-cdh5.7.0/conf 修改 hbase-env.sh配置文件...
- Flume 日志收集框架入门 一、 flume 简介 Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集，聚合和移动大量日志数据到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传... Flume 日志收集框架入门 一、 flume 简介 Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集，聚合和移动大量日志数据到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传...
- 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。针对学校传统考勤以及测温方式的效率低下、数据手动上传、疫情反应不及时等弊端，厦门云脉全力推出校园防疫系统，助力校园防疫工作，严防疫情向校园蔓延。云脉校园防疫系统以AI人脸检测技术和红外热成像仪测温技术为基础，可以实现智能测温门禁管控、人脸识别核验身份、健康自查、高温预警、数据汇总上报、校园考勤、轨迹检测、访客管理等功能... 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。针对学校传统考勤以及测温方式的效率低下、数据手动上传、疫情反应不及时等弊端，厦门云脉全力推出校园防疫系统，助力校园防疫工作，严防疫情向校园蔓延。云脉校园防疫系统以AI人脸检测技术和红外热成像仪测温技术为基础，可以实现智能测温门禁管控、人脸识别核验身份、健康自查、高温预警、数据汇总上报、校园考勤、轨迹检测、访客管理等功能...
- 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。为了方便学生尽快入校园复学，厦门云脉基于人脸识别技术及移动开发技术优势，推出了疫情防控神器。人脸识别通过刷脸更智能地识别学生身份，将学生现场采集的照片与数据库中存储的照片进行精准对比，判断非学生本人风险，在校园教学场所发挥快速入园提升效率的价值。访客人员管控，OCR证件识别针对校园外人员进入校园，需严格进行现场登记身份... 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。为了方便学生尽快入校园复学，厦门云脉基于人脸识别技术及移动开发技术优势，推出了疫情防控神器。人脸识别通过刷脸更智能地识别学生身份，将学生现场采集的照片与数据库中存储的照片进行精准对比，判断非学生本人风险，在校园教学场所发挥快速入园提升效率的价值。访客人员管控，OCR证件识别针对校园外人员进入校园，需严格进行现场登记身份...
- 新三板上市公司元鼎科技（831126）于4月15日披露了2015年度财务报告。依据财报，公司2015年实现营业收入1.73亿元，同比增长70.96%;实现归属于挂牌公司股东的净利润773.16万元，较上年同期增长102.4%。 元鼎科技2015年实现营收和利润双双大增的主要原因，一方面是公司在2015年加大了市场开拓力度，相继获得了联想集团、滴滴打车、内蒙古农村信用社等多个重要项目和新... 新三板上市公司元鼎科技（831126）于4月15日披露了2015年度财务报告。依据财报，公司2015年实现营业收入1.73亿元，同比增长70.96%;实现归属于挂牌公司股东的净利润773.16万元，较上年同期增长102.4%。 元鼎科技2015年实现营收和利润双双大增的主要原因，一方面是公司在2015年加大了市场开拓力度，相继获得了联想集团、滴滴打车、内蒙古农村信用社等多个重要项目和新...
- 一、社区应急系统, 助力疫情防控【背景】基于目前新型冠状病毒感染的肺炎疫情形势严峻，小区开展住户疫情防控排查登记工作。工作人员在小区门口设立疫情防控执勤点，将进出小区的住户拦下登记每个住户家庭成员的信息。由于小区住户较多，工作人员较少，时间紧，任务重，工作效率低。为提高工作进度，避免住户扎堆下来登记有交叉感染的风险，厦门云脉基于OCR技术及移动开发技术优势，推出社区出入管控产品。■人工登记，... 一、社区应急系统, 助力疫情防控【背景】基于目前新型冠状病毒感染的肺炎疫情形势严峻，小区开展住户疫情防控排查登记工作。工作人员在小区门口设立疫情防控执勤点，将进出小区的住户拦下登记每个住户家庭成员的信息。由于小区住户较多，工作人员较少，时间紧，任务重，工作效率低。为提高工作进度，避免住户扎堆下来登记有交叉感染的风险，厦门云脉基于OCR技术及移动开发技术优势，推出社区出入管控产品。■人工登记，...
- 摘要与邀擂：霍金写了《时间简史》，布莱森写了《万物简史》，格雷克写了《信息简史》…。这些简史真的好精彩哟！不但出神入化，而且还能改变读者的世界观！唉～，咱安全界，谁能出面也写部“外行不觉深，内行不觉浅”的《安全简史》来“为百姓明心，为专家见性；为安全写简史，为学科开通论”呀！可惜，论“文”，咱比不过“旅游文学作家”布莱森和“科普畅销书作家”格雷克；论“武”，更不敢比世界顶级科学家霍金。可是，... 摘要与邀擂：霍金写了《时间简史》，布莱森写了《万物简史》，格雷克写了《信息简史》…。这些简史真的好精彩哟！不但出神入化，而且还能改变读者的世界观！唉～，咱安全界，谁能出面也写部“外行不觉深，内行不觉浅”的《安全简史》来“为百姓明心，为专家见性；为安全写简史，为学科开通论”呀！可惜，论“文”，咱比不过“旅游文学作家”布莱森和“科普畅销书作家”格雷克；论“武”，更不敢比世界顶级科学家霍金。可是，...
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中
热门标签