- 适用版本6.5.x。问题背景与现象DataNode 实例状态异常，查看日志发现无法访问磁盘上某些文件。使用“ll 文件名”命令查看文件的属性为“??”。其他非HDFS文件读取失败，文件属性为“??”也可以参考此案例执行。可能原因对应DataNode节点的磁盘有坏道。原因分析进入服务实例，确认故障的节点使用PuTTY登录该节点，执行如下命令（这里/export/data1目录是DataNode... 适用版本6.5.x。问题背景与现象DataNode 实例状态异常，查看日志发现无法访问磁盘上某些文件。使用“ll 文件名”命令查看文件的属性为“??”。其他非HDFS文件读取失败，文件属性为“??”也可以参考此案例执行。可能原因对应DataNode节点的磁盘有坏道。原因分析进入服务实例，确认故障的节点使用PuTTY登录该节点，执行如下命令（这里/export/data1目录是DataNode...
- DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。
- 前言大家好，我是程序员manor。作为一名大数据专业学生、爱好者，深知面试重要性，正值金三银四的春招接下来我准备用30天时间，基于大数据开发岗面试中的高频面试题，以每日5题的形式，带你过一遍常见面试题及恰如其分的解答。相信只要一路走来，日积月累，我们终会在最高处见。以古人的话共勉：道阻且长，行则将至；行而不辍，未来可期！ Hadoop相关总结1.2.1 Hadoop常用端口号dfs.na... 前言大家好，我是程序员manor。作为一名大数据专业学生、爱好者，深知面试重要性，正值金三银四的春招接下来我准备用30天时间，基于大数据开发岗面试中的高频面试题，以每日5题的形式，带你过一遍常见面试题及恰如其分的解答。相信只要一路走来，日积月累，我们终会在最高处见。以古人的话共勉：道阻且长，行则将至；行而不辍，未来可期！ Hadoop相关总结1.2.1 Hadoop常用端口号dfs.na...
- 银行每一天都有大量的转账、交易需要保存、处理。用户每进行一笔交易或者转账，银行都需要将用户转账的所有相关信息保存下来。四大银行：银行有非常多的用户，四大银行拥有数10亿的用户。要保存的数据量可想而知。如果说有的数据，都同等对待，为了保证使用数据的性能，采用的是高性能存储，这将是一笔不小的资源浪费。实际上，超过一定时间的数据，数据访问的频率要低得多。例如：用户查询5年前的转账记录、要比查询1年... 银行每一天都有大量的转账、交易需要保存、处理。用户每进行一笔交易或者转账，银行都需要将用户转账的所有相关信息保存下来。四大银行：银行有非常多的用户，四大银行拥有数10亿的用户。要保存的数据量可想而知。如果说有的数据，都同等对待，为了保证使用数据的性能，采用的是高性能存储，这将是一笔不小的资源浪费。实际上，超过一定时间的数据，数据访问的频率要低得多。例如：用户查询5年前的转账记录、要比查询1年...
- 目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！ 目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！
- RDD有哪些特点顾名思义，从字面理解RDD就是 Resillient Distributed Dataset，即弹性分布式数据集。它是Spark提供的核心抽象。RDD在抽象上来讲是一种抽象的分布式的数据集。它是被分区的，每个分区分布在集群中的不同的节点上。从而可以让数据进行并行的计算rdd 分布式弹性数据集，简单的理解成一种数据结构，是 spark 框架上的通用货币。所有算子都是基于 rd... RDD有哪些特点顾名思义，从字面理解RDD就是 Resillient Distributed Dataset，即弹性分布式数据集。它是Spark提供的核心抽象。RDD在抽象上来讲是一种抽象的分布式的数据集。它是被分区的，每个分区分布在集群中的不同的节点上。从而可以让数据进行并行的计算rdd 分布式弹性数据集，简单的理解成一种数据结构，是 spark 框架上的通用货币。所有算子都是基于 rd...
- 1，系统环境变量配置export JAVA_HOME=/opt/jdk1.8.0_40export HADOOP_HOME=/opt/hadoop-3.3.0export PATH=$PATH:$JAVA_HOME/binexport PATH=$PATH:/opt/hadoop-3.3.0/bin/:/opt/hadoop-3.3.0/sbin2，配置hadoop，使用hadoop用户//... 1，系统环境变量配置export JAVA_HOME=/opt/jdk1.8.0_40export HADOOP_HOME=/opt/hadoop-3.3.0export PATH=$PATH:$JAVA_HOME/binexport PATH=$PATH:/opt/hadoop-3.3.0/bin/:/opt/hadoop-3.3.0/sbin2，配置hadoop，使用hadoop用户//...
- 大数据（BigData）的特点数据量大，数据类型复杂，数据处理快，数据真实性高。大数据的生态软件工具包含：Hadoop，Spark，MapReduce，HDFS，Hive，HBase，Zookeeper，Flume，Kafka，Yarn，Storm，Oozie，Pig，Mahout等。 大数据（BigData）的特点数据量大，数据类型复杂，数据处理快，数据真实性高。大数据的生态软件工具包含：Hadoop，Spark，MapReduce，HDFS，Hive，HBase，Zookeeper，Flume，Kafka，Yarn，Storm，Oozie，Pig，Mahout等。
- hdfs单节点安装配置参考：https://bbs.huaweicloud.cn/blogs/315874新建用户tdsql,并解压hadoop软件：#地址修改hdfs 的地址。修改配置文件：（core-site.xml）<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://1... hdfs单节点安装配置参考：https://bbs.huaweicloud.cn/blogs/315874新建用户tdsql,并解压hadoop软件：#地址修改hdfs 的地址。修改配置文件：（core-site.xml）<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://1...
- Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。 Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。
- Power BI工具对接HetuEngine1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Power BI工具包（exe）已下载至本地，软件下载地址：https://powerbi.microsoft.com/zh-cn/getting-started-with-power-bi/ 下载连接HetuEngine驱动包，下载地址：https... Power BI工具对接HetuEngine1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Power BI工具包（exe）已下载至本地，软件下载地址：https://powerbi.microsoft.com/zh-cn/getting-started-with-power-bi/ 下载连接HetuEngine驱动包，下载地址：https...
- C80迁移到651使用651集群资源方法 场景：c80迁移到651,需要使用651集群资源，c80集群配置了nodelabel C80迁移到651使用651集群资源方法 场景：c80迁移到651,需要使用651集群资源，c80集群配置了nodelabel
- 本文主要解析介绍Hive虚拟列INPUT__FILE__NAME相关源码 本文主要解析介绍Hive虚拟列INPUT__FILE__NAME相关源码
- 本文主要解析介绍Hive虚拟列相关源码 本文主要解析介绍Hive虚拟列相关源码
- 首先本篇不是讲数据被删除后如何恢复，而是讲表目录被删除，而表异常的处理方法误操作：删除hbase表，有的人不按照正常的处理方式（在hbase shell 先disable 再drop），而是直接在hbase目录下删除表目录的错误做法此种做法导致，shell中list能查到此表，实际上scan会报错，并且重启hbase后会导致region无法上线处理步骤：1.在任意RegionServer的目... 首先本篇不是讲数据被删除后如何恢复，而是讲表目录被删除，而表异常的处理方法误操作：删除hbase表，有的人不按照正常的处理方式（在hbase shell 先disable 再drop），而是直接在hbase目录下删除表目录的错误做法此种做法导致，shell中list能查到此表，实际上scan会报错，并且重启hbase后会导致region无法上线处理步骤：1.在任意RegionServer的目...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签