- spark ml性能优化思路 spark ml性能优化思路
- 使用https://github.com/colinmarc/hdfs/库，代码见附件前提需要安装MRS客户端代码会读取环境变量中的HADOOP_HOME下的配置，所以需要先source bigdata_envkerberos认证用的是cache文件，所以需要执行kinit生成krb5，cache文件执行上面两步骤后，执行附件代码（先导入依赖） 使用https://github.com/colinmarc/hdfs/库，代码见附件前提需要安装MRS客户端代码会读取环境变量中的HADOOP_HOME下的配置，所以需要先source bigdata_envkerberos认证用的是cache文件，所以需要执行kinit生成krb5，cache文件执行上面两步骤后，执行附件代码（先导入依赖）
- pydoop pydoop
- 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。
- 获取spark 或hadoop运行日志https://bbs.huaweicloud.cn/forum/forum.php?mod=viewthread&tid=103786#实现代码https://ld246.com/article/1588084878671 #获取日志https://blog.csdn.net/qq_37927069/article/details/108660347 获取spark 或hadoop运行日志https://bbs.huaweicloud.cn/forum/forum.php?mod=viewthread&tid=103786#实现代码https://ld246.com/article/1588084878671 #获取日志https://blog.csdn.net/qq_37927069/article/details/108660347
- 各位进阶中的开发者们，大数据全栈成长计划第二阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中介绍1-100名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：第一阶段积... 各位进阶中的开发者们，大数据全栈成长计划第二阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中介绍1-100名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：第一阶段积...
- 我们在第一节中详细介绍了该如何安装Hadoop及其配置细节。接下来我们来看看如何运行第一个HelloWorld文件呢。我们可以在命令行输入以下命令：$mkdir input$cd input$echo "hello world">test1.txt$echo "hello hadoop">test2.txt$cd ..$bin/hadoop dfs -put input in$bin/had... 我们在第一节中详细介绍了该如何安装Hadoop及其配置细节。接下来我们来看看如何运行第一个HelloWorld文件呢。我们可以在命令行输入以下命令：$mkdir input$cd input$echo "hello world">test1.txt$echo "hello hadoop">test2.txt$cd ..$bin/hadoop dfs -put input in$bin/had...
- 与之前的文章一样，还是先介绍一下什么是Hadoop吧！Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cos... 与之前的文章一样，还是先介绍一下什么是Hadoop吧！Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cos...
- 【Hadoop】【Yarn】Yarn中的资源隔离（转载） 【Hadoop】【Yarn】Yarn中的资源隔离（转载）
- Hive on Tez常用调优参数 Hive on Tez常用调优参数
- hdfs执行balance均衡时间预估假设原有10个节点数据量347T；现扩容3节点3.7T数据大约要迁移170T数据出去假设带宽设置20M一直不变170*1024*1024=178257920M数据量/（带宽*节点数），节点数按照新老节点较小值计算数据迁移的时间为178257920M/20/3/60/60约等于825小时 hdfs执行balance均衡时间预估假设原有10个节点数据量347T；现扩容3节点3.7T数据大约要迁移170T数据出去假设带宽设置20M一直不变170*1024*1024=178257920M数据量/（带宽*节点数），节点数按照新老节点较小值计算数据迁移的时间为178257920M/20/3/60/60约等于825小时
- 文章目录 一、准备工作 1、由CentOS7克隆三个虚拟机 2、设置虚拟机主机名 （1）设置虚拟机master主机名 ... 文章目录 一、准备工作 1、由CentOS7克隆三个虚拟机 2、设置虚拟机主机名 （1）设置虚拟机master主机名 ...
- 背景以前写spark都没有读取过hdfs文件，而是读取本地文件，今天试了一下读取公司服务器的文件，做一个简单的word count结果出问题了。Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer... 背景以前写spark都没有读取过hdfs文件，而是读取本地文件，今天试了一下读取公司服务器的文件，做一个简单的word count结果出问题了。Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer...
- 环境信息： 1.1 软件环境 软件名称版本 TBaseTBase_V2.15.10.1 JDK1.8.0_40 Hadoop3.3.0 1.2 硬件环境 节点IP端口 CN1 协调节点 ( 主 )172.21.64.411379 CN2 协调节点 ( 主 )172.21.64.1411379 CN1 协调节点 ( 备 )172.21.64.1411300 CN2 协... 环境信息： 1.1 软件环境 软件名称版本 TBaseTBase_V2.15.10.1 JDK1.8.0_40 Hadoop3.3.0 1.2 硬件环境 节点IP端口 CN1 协调节点 ( 主 )172.21.64.411379 CN2 协调节点 ( 主 )172.21.64.1411379 CN1 协调节点 ( 备 )172.21.64.1411300 CN2 协...
- 1. 弹性分布式数据集RDD1.1. RDD概述1.1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，... 1. 弹性分布式数据集RDD1.1. RDD概述1.1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签