- spark ml性能优化思路 spark ml性能优化思路
- 使用https://github.com/colinmarc/hdfs/库，代码见附件前提需要安装MRS客户端代码会读取环境变量中的HADOOP_HOME下的配置，所以需要先source bigdata_envkerberos认证用的是cache文件，所以需要执行kinit生成krb5，cache文件执行上面两步骤后，执行附件代码（先导入依赖） 使用https://github.com/colinmarc/hdfs/库，代码见附件前提需要安装MRS客户端代码会读取环境变量中的HADOOP_HOME下的配置，所以需要先source bigdata_envkerberos认证用的是cache文件，所以需要执行kinit生成krb5，cache文件执行上面两步骤后，执行附件代码（先导入依赖）
- pydoop pydoop
- 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。
- 获取spark 或hadoop运行日志https://bbs.huaweicloud.cn/forum/forum.php?mod=viewthread&tid=103786#实现代码https://ld246.com/article/1588084878671 #获取日志https://blog.csdn.net/qq_37927069/article/details/108660347 获取spark 或hadoop运行日志https://bbs.huaweicloud.cn/forum/forum.php?mod=viewthread&tid=103786#实现代码https://ld246.com/article/1588084878671 #获取日志https://blog.csdn.net/qq_37927069/article/details/108660347
- 各位进阶中的开发者们，大数据全栈成长计划第二阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中介绍1-100名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：第一阶段积... 各位进阶中的开发者们，大数据全栈成长计划第二阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中介绍1-100名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：第一阶段积...
- 我们在第一节中详细介绍了该如何安装Hadoop及其配置细节。接下来我们来看看如何运行第一个HelloWorld文件呢。我们可以在命令行输入以下命令：$mkdir input$cd input$echo "hello world">test1.txt$echo "hello hadoop">test2.txt$cd ..$bin/hadoop dfs -put input in$bin/had... 我们在第一节中详细介绍了该如何安装Hadoop及其配置细节。接下来我们来看看如何运行第一个HelloWorld文件呢。我们可以在命令行输入以下命令：$mkdir input$cd input$echo "hello world">test1.txt$echo "hello hadoop">test2.txt$cd ..$bin/hadoop dfs -put input in$bin/had...
- 与之前的文章一样，还是先介绍一下什么是Hadoop吧！Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cos... 与之前的文章一样，还是先介绍一下什么是Hadoop吧！Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cos...
- 【Hadoop】【Yarn】Yarn中的资源隔离（转载） 【Hadoop】【Yarn】Yarn中的资源隔离（转载）
- Hive on Tez常用调优参数 Hive on Tez常用调优参数
- hdfs执行balance均衡时间预估假设原有10个节点数据量347T；现扩容3节点3.7T数据大约要迁移170T数据出去假设带宽设置20M一直不变170*1024*1024=178257920M数据量/（带宽*节点数），节点数按照新老节点较小值计算数据迁移的时间为178257920M/20/3/60/60约等于825小时 hdfs执行balance均衡时间预估假设原有10个节点数据量347T；现扩容3节点3.7T数据大约要迁移170T数据出去假设带宽设置20M一直不变170*1024*1024=178257920M数据量/（带宽*节点数），节点数按照新老节点较小值计算数据迁移的时间为178257920M/20/3/60/60约等于825小时
- 文章目录 一、准备工作 1、由CentOS7克隆三个虚拟机 2、设置虚拟机主机名 （1）设置虚拟机master主机名 ... 文章目录 一、准备工作 1、由CentOS7克隆三个虚拟机 2、设置虚拟机主机名 （1）设置虚拟机master主机名 ...
- 背景以前写spark都没有读取过hdfs文件，而是读取本地文件，今天试了一下读取公司服务器的文件，做一个简单的word count结果出问题了。Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer... 背景以前写spark都没有读取过hdfs文件，而是读取本地文件，今天试了一下读取公司服务器的文件，做一个简单的word count结果出问题了。Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer...
- 环境信息： 1.1 软件环境 软件名称版本 TBaseTBase_V2.15.10.1 JDK1.8.0_40 Hadoop3.3.0 1.2 硬件环境 节点IP端口 CN1 协调节点 ( 主 )172.21.64.411379 CN2 协调节点 ( 主 )172.21.64.1411379 CN1 协调节点 ( 备 )172.21.64.1411300 CN2 协... 环境信息： 1.1 软件环境 软件名称版本 TBaseTBase_V2.15.10.1 JDK1.8.0_40 Hadoop3.3.0 1.2 硬件环境 节点IP端口 CN1 协调节点 ( 主 )172.21.64.411379 CN2 协调节点 ( 主 )172.21.64.1411379 CN1 协调节点 ( 备 )172.21.64.1411300 CN2 协...
- 1. 弹性分布式数据集RDD1.1. RDD概述1.1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，... 1. 弹性分布式数据集RDD1.1. RDD概述1.1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签