- C80迁移到651使用651集群资源方法 场景：c80迁移到651,需要使用651集群资源，c80集群配置了nodelabel C80迁移到651使用651集群资源方法 场景：c80迁移到651,需要使用651集群资源，c80集群配置了nodelabel
- 本文主要解析介绍Hive虚拟列INPUT__FILE__NAME相关源码 本文主要解析介绍Hive虚拟列INPUT__FILE__NAME相关源码
- 本文主要解析介绍Hive虚拟列相关源码 本文主要解析介绍Hive虚拟列相关源码
- 首先本篇不是讲数据被删除后如何恢复，而是讲表目录被删除，而表异常的处理方法误操作：删除hbase表，有的人不按照正常的处理方式（在hbase shell 先disable 再drop），而是直接在hbase目录下删除表目录的错误做法此种做法导致，shell中list能查到此表，实际上scan会报错，并且重启hbase后会导致region无法上线处理步骤：1.在任意RegionServer的目... 首先本篇不是讲数据被删除后如何恢复，而是讲表目录被删除，而表异常的处理方法误操作：删除hbase表，有的人不按照正常的处理方式（在hbase shell 先disable 再drop），而是直接在hbase目录下删除表目录的错误做法此种做法导致，shell中list能查到此表，实际上scan会报错，并且重启hbase后会导致region无法上线处理步骤：1.在任意RegionServer的目...
- Hadoop概述 Hadoop概述
- 经历了三个阶段大概三个月的学习，大数据全栈课程迎来了尾声，今天是大数据三阶段的最后一天，也是整个大数据课程的最后一天。这三个月的学习过程，并不是一帆风顺，而且一路荆棘。第一阶段：大数据入门篇 第一阶段的课程主要是大数据的入门知识，包括MySQL基本知识、各种概念和常用语句、JDBC的使用还有数据库事务等等，虽然是基础知识，但是非常实用，在开发中会经常用到，基本上就是对数据库的各... 经历了三个阶段大概三个月的学习，大数据全栈课程迎来了尾声，今天是大数据三阶段的最后一天，也是整个大数据课程的最后一天。这三个月的学习过程，并不是一帆风顺，而且一路荆棘。第一阶段：大数据入门篇 第一阶段的课程主要是大数据的入门知识，包括MySQL基本知识、各种概念和常用语句、JDBC的使用还有数据库事务等等，虽然是基础知识，但是非常实用，在开发中会经常用到，基本上就是对数据库的各...
- 1. Spark概述1.1. 什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spa... 1. Spark概述1.1. 什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spa...
- HBase提高写入速度参数配置-测试案例 HBase提高写入速度参数配置-测试案例
- 第二节：Hadoop优势Hadoop的优势（4高）1）高可靠性：Hadoop底层维护多个数据副本，所以即时Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度4）高容错性：能够自动将失败任务重新分配Hadoop1.x和2.x的区别Had... 第二节：Hadoop优势Hadoop的优势（4高）1）高可靠性：Hadoop底层维护多个数据副本，所以即时Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度4）高容错性：能够自动将失败任务重新分配Hadoop1.x和2.x的区别Had...
- 第一节：什么是Hadoop1）Hadoop是一个有Apache基金会所开发的分布式系统基础架构2）主要解决：海量数据的存储和海量数据的分析计算问题3）广义上来说，Hadoop通常是指一个更广泛的概念--Hadoop生态圈Hadoop发展史：1）Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括... 第一节：什么是Hadoop1）Hadoop是一个有Apache基金会所开发的分布式系统基础架构2）主要解决：海量数据的存储和海量数据的分析计算问题3）广义上来说，Hadoop通常是指一个更广泛的概念--Hadoop生态圈Hadoop发展史：1）Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括...
- 最近在 Win10 系统上配置了ubuntu-18.04.3，在配置集群的 ssh 无秘钥登录时，经常能碰到 ssh: connect to host master port 22: Connection timed out 的问题。 最近在 Win10 系统上配置了ubuntu-18.04.3，在配置集群的 ssh 无秘钥登录时，经常能碰到 ssh: connect to host master port 22: Connection timed out 的问题。
- 2020年8月27日，中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级，为期两周的升级过程突破了传统的离线升级模式，真正实现了业务无感的平滑滚动升级。全程集群作业无中断、性能无影响，为全行上百个应用、上千个场景、上万个作业保障了7*24小时不间断的数据服务。本次滚动升级对金融科技领域意义重大，中国工商银行为金融同业树立了大数据服务连续性上的建设标杆。 2020年8月27日，中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级，为期两周的升级过程突破了传统的离线升级模式，真正实现了业务无感的平滑滚动升级。全程集群作业无中断、性能无影响，为全行上百个应用、上千个场景、上万个作业保障了7*24小时不间断的数据服务。本次滚动升级对金融科技领域意义重大，中国工商银行为金融同业树立了大数据服务连续性上的建设标杆。
- 1.增加了Resourcemanager的HA,并进行测试 2.增加了Job History Serve的配置 3.增加HBase的搭建 1.增加了Resourcemanager的HA,并进行测试 2.增加了Job History Serve的配置 3.增加HBase的搭建
- 问题现象和分析过程：1、在hadoop-3.1.1-src目录中执行 mvn package -DskipTests -Pdist,native -Dtar -Dmaven.javadoc.skip=true 过 程中提示“rpc/types.h:No such file or directory”hadoop-3.1.1-src/hadoop-tools/hadoop-pipes/src/... 问题现象和分析过程：1、在hadoop-3.1.1-src目录中执行 mvn package -DskipTests -Pdist,native -Dtar -Dmaven.javadoc.skip=true 过 程中提示“rpc/types.h:No such file or directory”hadoop-3.1.1-src/hadoop-tools/hadoop-pipes/src/...
- HDFS 就是Hadoop 分布式文件系统，也是Hadoop的三大重要组件之一,它主要是处理大数据场景下数据的增、删、改、查，因此它的场景特点有：数据量非常大、一般适合存储读写大文件、对于文件数据的可靠性要求较高。HDFS主要的三大组件分别是Client、Namenode、Datanode;其中Client作为HDFS对外提供服务的一个接口，能否让用户的分布式操作和在一台主机操作一样的方便，... HDFS 就是Hadoop 分布式文件系统，也是Hadoop的三大重要组件之一,它主要是处理大数据场景下数据的增、删、改、查，因此它的场景特点有：数据量非常大、一般适合存储读写大文件、对于文件数据的可靠性要求较高。HDFS主要的三大组件分别是Client、Namenode、Datanode;其中Client作为HDFS对外提供服务的一个接口，能否让用户的分布式操作和在一台主机操作一样的方便，...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签