- 获取spark 或hadoop运行日志https://bbs.huaweicloud.cn/forum/forum.php?mod=viewthread&tid=103786#实现代码https://ld246.com/article/1588084878671 #获取日志https://blog.csdn.net/qq_37927069/article/details/108660347 获取spark 或hadoop运行日志https://bbs.huaweicloud.cn/forum/forum.php?mod=viewthread&tid=103786#实现代码https://ld246.com/article/1588084878671 #获取日志https://blog.csdn.net/qq_37927069/article/details/108660347
- 各位进阶中的开发者们，大数据全栈成长计划第二阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中介绍1-100名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：第一阶段积... 各位进阶中的开发者们，大数据全栈成长计划第二阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中介绍1-100名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：第一阶段积...
- 我们在第一节中详细介绍了该如何安装Hadoop及其配置细节。接下来我们来看看如何运行第一个HelloWorld文件呢。我们可以在命令行输入以下命令：$mkdir input$cd input$echo "hello world">test1.txt$echo "hello hadoop">test2.txt$cd ..$bin/hadoop dfs -put input in$bin/had... 我们在第一节中详细介绍了该如何安装Hadoop及其配置细节。接下来我们来看看如何运行第一个HelloWorld文件呢。我们可以在命令行输入以下命令：$mkdir input$cd input$echo "hello world">test1.txt$echo "hello hadoop">test2.txt$cd ..$bin/hadoop dfs -put input in$bin/had...
- 与之前的文章一样，还是先介绍一下什么是Hadoop吧！Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cos... 与之前的文章一样，还是先介绍一下什么是Hadoop吧！Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cos...
- 【Hadoop】【Yarn】Yarn中的资源隔离（转载） 【Hadoop】【Yarn】Yarn中的资源隔离（转载）
- Hive on Tez常用调优参数 Hive on Tez常用调优参数
- hdfs执行balance均衡时间预估假设原有10个节点数据量347T；现扩容3节点3.7T数据大约要迁移170T数据出去假设带宽设置20M一直不变170*1024*1024=178257920M数据量/（带宽*节点数），节点数按照新老节点较小值计算数据迁移的时间为178257920M/20/3/60/60约等于825小时 hdfs执行balance均衡时间预估假设原有10个节点数据量347T；现扩容3节点3.7T数据大约要迁移170T数据出去假设带宽设置20M一直不变170*1024*1024=178257920M数据量/（带宽*节点数），节点数按照新老节点较小值计算数据迁移的时间为178257920M/20/3/60/60约等于825小时
- 文章目录 一、准备工作 1、由CentOS7克隆三个虚拟机 2、设置虚拟机主机名 （1）设置虚拟机master主机名 ... 文章目录 一、准备工作 1、由CentOS7克隆三个虚拟机 2、设置虚拟机主机名 （1）设置虚拟机master主机名 ...
- 背景以前写spark都没有读取过hdfs文件，而是读取本地文件，今天试了一下读取公司服务器的文件，做一个简单的word count结果出问题了。Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer... 背景以前写spark都没有读取过hdfs文件，而是读取本地文件，今天试了一下读取公司服务器的文件，做一个简单的word count结果出问题了。Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer...
- 环境信息： 1.1 软件环境 软件名称版本 TBaseTBase_V2.15.10.1 JDK1.8.0_40 Hadoop3.3.0 1.2 硬件环境 节点IP端口 CN1 协调节点 ( 主 )172.21.64.411379 CN2 协调节点 ( 主 )172.21.64.1411379 CN1 协调节点 ( 备 )172.21.64.1411300 CN2 协... 环境信息： 1.1 软件环境 软件名称版本 TBaseTBase_V2.15.10.1 JDK1.8.0_40 Hadoop3.3.0 1.2 硬件环境 节点IP端口 CN1 协调节点 ( 主 )172.21.64.411379 CN2 协调节点 ( 主 )172.21.64.1411379 CN1 协调节点 ( 备 )172.21.64.1411300 CN2 协...
- 1. 弹性分布式数据集RDD1.1. RDD概述1.1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，... 1. 弹性分布式数据集RDD1.1. RDD概述1.1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，...
- Hadoop MapReduce实现从海量数字信息中获取最大值在大数据处理领域，Hadoop是一个非常重要的工具。它通过MapReduce编程模型来处理和生成大规模数据集。本文将介绍如何利用Hadoop的MapReduce框架从海量数字信息中找出最大值。1. 环境准备1.1 安装Hadoop确保你的环境中已经安装了Hadoop。如果还没有安装，可以参考官方文档进行安装配置：下载地址：Ap... Hadoop MapReduce实现从海量数字信息中获取最大值在大数据处理领域，Hadoop是一个非常重要的工具。它通过MapReduce编程模型来处理和生成大规模数据集。本文将介绍如何利用Hadoop的MapReduce框架从海量数字信息中找出最大值。1. 环境准备1.1 安装Hadoop确保你的环境中已经安装了Hadoop。如果还没有安装，可以参考官方文档进行安装配置：下载地址：Ap...
- Hadoop命令行运行时指定参数在大数据处理领域，Hadoop是一个广泛使用的开源框架，它允许用户轻松地处理和分析大量数据。Hadoop的核心是HDFS（Hadoop分布式文件系统）和MapReduce编程模型。本文将重点介绍如何在Hadoop命令行中通过指定参数来优化作业的执行。1. 基本命令结构Hadoop命令行工具提供了丰富的命令集来管理HDFS、提交MapReduce作业等。基本的命... Hadoop命令行运行时指定参数在大数据处理领域，Hadoop是一个广泛使用的开源框架，它允许用户轻松地处理和分析大量数据。Hadoop的核心是HDFS（Hadoop分布式文件系统）和MapReduce编程模型。本文将重点介绍如何在Hadoop命令行中通过指定参数来优化作业的执行。1. 基本命令结构Hadoop命令行工具提供了丰富的命令集来管理HDFS、提交MapReduce作业等。基本的命...
- Hive索引在大数据处理领域，Apache Hive 是一个广泛使用的数据仓库工具，它允许用户使用类似于 SQL 的查询语言（称为 HiveQL）来查询存储在 Hadoop 分布式文件系统（HDFS）中的数据。为了提高查询性能，Hive 提供了多种优化技术，其中索引是一个重要的功能。本文将探讨 Hive 索引的类型、创建方法及其应用场景。1. 索引的基本概念索引是一种数据结构，用于提高数据库... Hive索引在大数据处理领域，Apache Hive 是一个广泛使用的数据仓库工具，它允许用户使用类似于 SQL 的查询语言（称为 HiveQL）来查询存储在 Hadoop 分布式文件系统（HDFS）中的数据。为了提高查询性能，Hive 提供了多种优化技术，其中索引是一个重要的功能。本文将探讨 Hive 索引的类型、创建方法及其应用场景。1. 索引的基本概念索引是一种数据结构，用于提高数据库...
- Hadoop下配置文件说明Hadoop 是一个开源框架，用于处理大规模数据集的存储和计算。它主要由两个核心组件组成：HDFS（Hadoop Distributed File System）和 MapReduce。Hadoop 的配置文件对于集群的正确运行至关重要。本文将详细介绍 Hadoop 中几个重要的配置文件及其用途。1. core-site.xmlcore-site.xml... Hadoop下配置文件说明Hadoop 是一个开源框架，用于处理大规模数据集的存储和计算。它主要由两个核心组件组成：HDFS（Hadoop Distributed File System）和 MapReduce。Hadoop 的配置文件对于集群的正确运行至关重要。本文将详细介绍 Hadoop 中几个重要的配置文件及其用途。1. core-site.xmlcore-site.xml...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签