- 目录 一、HDFS常用操作命令 二、HDFS文件恢复机制 三、hadoop的window本地安装 四、mapreduce 单元测试、集成测试及验证 一、HDFS常用操作命令 查看根目录下的文件 hadoop fs -ls hdfs://master:9999/ 或 hadoop fs -ls / hadoop fs -ls -h... 目录 一、HDFS常用操作命令 二、HDFS文件恢复机制 三、hadoop的window本地安装 四、mapreduce 单元测试、集成测试及验证 一、HDFS常用操作命令 查看根目录下的文件 hadoop fs -ls hdfs://master:9999/ 或 hadoop fs -ls / hadoop fs -ls -h...
- 目录 一、HDFS HA 集群规划 二、修改hdfs-site 和 core-site 配置 三、同步namenode 的 EditsLog 数据 四、配置自动状态改变 五、杀死一个active状态的namenode进行验证 六、实现HA中的 zookeeper 的作用 七、清理垃圾数据 八、配置yarn（ResourceManager） 的集群 一、HD... 目录 一、HDFS HA 集群规划 二、修改hdfs-site 和 core-site 配置 三、同步namenode 的 EditsLog 数据 四、配置自动状态改变 五、杀死一个active状态的namenode进行验证 六、实现HA中的 zookeeper 的作用 七、清理垃圾数据 八、配置yarn（ResourceManager） 的集群 一、HD...
- 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ... 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ...
- 写在前面：博主是一只经过实战开发历练后投身培训事业的“小山猪”，昵称取自动画片《狮子王》中的“彭彭”，总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。同时，博主也想通过此次尝试打造一个完善的技术图书馆，任何与文章技术点有关的异常、错误、注... 写在前面：博主是一只经过实战开发历练后投身培训事业的“小山猪”，昵称取自动画片《狮子王》中的“彭彭”，总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。同时，博主也想通过此次尝试打造一个完善的技术图书馆，任何与文章技术点有关的异常、错误、注...
- 一、zookeeper 下载 安装 cdh 版本的 zookeeper 下载地址 http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz 解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz 配置环境变量 export ZK_HOME=/home/h... 一、zookeeper 下载 安装 cdh 版本的 zookeeper 下载地址 http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz 解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz 配置环境变量 export ZK_HOME=/home/h...
- 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1.... 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1....
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 一、下载 安装cdh 版本 hbase 下载地址 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz cd /opt/hbase-1.2.0-cdh5.7.0/conf 修改 hbase-env.sh配置文件... 一、下载 安装cdh 版本 hbase 下载地址 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz cd /opt/hbase-1.2.0-cdh5.7.0/conf 修改 hbase-env.sh配置文件...
- Flume 日志收集框架入门 一、 flume 简介 Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集，聚合和移动大量日志数据到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传... Flume 日志收集框架入门 一、 flume 简介 Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集，聚合和移动大量日志数据到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传...
- 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。针对学校传统考勤以及测温方式的效率低下、数据手动上传、疫情反应不及时等弊端，厦门云脉全力推出校园防疫系统，助力校园防疫工作，严防疫情向校园蔓延。云脉校园防疫系统以AI人脸检测技术和红外热成像仪测温技术为基础，可以实现智能测温门禁管控、人脸识别核验身份、健康自查、高温预警、数据汇总上报、校园考勤、轨迹检测、访客管理等功能... 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。针对学校传统考勤以及测温方式的效率低下、数据手动上传、疫情反应不及时等弊端，厦门云脉全力推出校园防疫系统，助力校园防疫工作，严防疫情向校园蔓延。云脉校园防疫系统以AI人脸检测技术和红外热成像仪测温技术为基础，可以实现智能测温门禁管控、人脸识别核验身份、健康自查、高温预警、数据汇总上报、校园考勤、轨迹检测、访客管理等功能...
- 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。为了方便学生尽快入校园复学，厦门云脉基于人脸识别技术及移动开发技术优势，推出了疫情防控神器。人脸识别通过刷脸更智能地识别学生身份，将学生现场采集的照片与数据库中存储的照片进行精准对比，判断非学生本人风险，在校园教学场所发挥快速入园提升效率的价值。访客人员管控，OCR证件识别针对校园外人员进入校园，需严格进行现场登记身份... 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。为了方便学生尽快入校园复学，厦门云脉基于人脸识别技术及移动开发技术优势，推出了疫情防控神器。人脸识别通过刷脸更智能地识别学生身份，将学生现场采集的照片与数据库中存储的照片进行精准对比，判断非学生本人风险，在校园教学场所发挥快速入园提升效率的价值。访客人员管控，OCR证件识别针对校园外人员进入校园，需严格进行现场登记身份...
- 新三板上市公司元鼎科技（831126）于4月15日披露了2015年度财务报告。依据财报，公司2015年实现营业收入1.73亿元，同比增长70.96%;实现归属于挂牌公司股东的净利润773.16万元，较上年同期增长102.4%。 元鼎科技2015年实现营收和利润双双大增的主要原因，一方面是公司在2015年加大了市场开拓力度，相继获得了联想集团、滴滴打车、内蒙古农村信用社等多个重要项目和新... 新三板上市公司元鼎科技（831126）于4月15日披露了2015年度财务报告。依据财报，公司2015年实现营业收入1.73亿元，同比增长70.96%;实现归属于挂牌公司股东的净利润773.16万元，较上年同期增长102.4%。 元鼎科技2015年实现营收和利润双双大增的主要原因，一方面是公司在2015年加大了市场开拓力度，相继获得了联想集团、滴滴打车、内蒙古农村信用社等多个重要项目和新...
- 一、社区应急系统, 助力疫情防控【背景】基于目前新型冠状病毒感染的肺炎疫情形势严峻，小区开展住户疫情防控排查登记工作。工作人员在小区门口设立疫情防控执勤点，将进出小区的住户拦下登记每个住户家庭成员的信息。由于小区住户较多，工作人员较少，时间紧，任务重，工作效率低。为提高工作进度，避免住户扎堆下来登记有交叉感染的风险，厦门云脉基于OCR技术及移动开发技术优势，推出社区出入管控产品。■人工登记，... 一、社区应急系统, 助力疫情防控【背景】基于目前新型冠状病毒感染的肺炎疫情形势严峻，小区开展住户疫情防控排查登记工作。工作人员在小区门口设立疫情防控执勤点，将进出小区的住户拦下登记每个住户家庭成员的信息。由于小区住户较多，工作人员较少，时间紧，任务重，工作效率低。为提高工作进度，避免住户扎堆下来登记有交叉感染的风险，厦门云脉基于OCR技术及移动开发技术优势，推出社区出入管控产品。■人工登记，...
- 摘要与邀擂：霍金写了《时间简史》，布莱森写了《万物简史》，格雷克写了《信息简史》…。这些简史真的好精彩哟！不但出神入化，而且还能改变读者的世界观！唉～，咱安全界，谁能出面也写部“外行不觉深，内行不觉浅”的《安全简史》来“为百姓明心，为专家见性；为安全写简史，为学科开通论”呀！可惜，论“文”，咱比不过“旅游文学作家”布莱森和“科普畅销书作家”格雷克；论“武”，更不敢比世界顶级科学家霍金。可是，... 摘要与邀擂：霍金写了《时间简史》，布莱森写了《万物简史》，格雷克写了《信息简史》…。这些简史真的好精彩哟！不但出神入化，而且还能改变读者的世界观！唉～，咱安全界，谁能出面也写部“外行不觉深，内行不觉浅”的《安全简史》来“为百姓明心，为专家见性；为安全写简史，为学科开通论”呀！可惜，论“文”，咱比不过“旅游文学作家”布莱森和“科普畅销书作家”格雷克；论“武”，更不敢比世界顶级科学家霍金。可是，...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签