- 本文通过银行存款预测业务的案例应用，介绍了华为机器学习服务的工作流使用方法，用户可以通过本文快速掌握工作流的使用和机器学习建模的流程。 本文通过银行存款预测业务的案例应用，介绍了华为机器学习服务的工作流使用方法，用户可以通过本文快速掌握工作流的使用和机器学习建模的流程。
- 接上篇：【Free Style】Hadoop-Yarn之Resource Manager源码分析(三)https://portal.huaweicloud.cn/blogs/45e07b16c07311e7b8317ca23e93a891 4 算法介绍Yarn的调度器的作用主要是回答了如何选择一堆队列，在队列上如何选择一个应用的问题。Yarn Scheduler支持的调度机制包括：a) 接上篇：【Free Style】Hadoop-Yarn之Resource Manager源码分析(三)https://portal.huaweicloud.cn/blogs/45e07b16c07311e7b8317ca23e93a891 4 算法介绍Yarn的调度器的作用主要是回答了如何选择一堆队列，在队列上如何选择一个应用的问题。Yarn Scheduler支持的调度机制包括：a)
- 自从去年上半年做了一个涉及大数据的项目，就被认为是部门里的大数据第一人，其实万不敢当。在此之前所在部门的确对这方面毫无涉足，我们是部门内的先行者。但要说有多么了解大数据，其实也很汗颜，认真一点说，我们是想借助这个项目去大数据的海洋里试驾远航，可事实是我们赶在被真正的大数据的海浪打翻之前就已经回到岸边。 自从去年上半年做了一个涉及大数据的项目，就被认为是部门里的大数据第一人，其实万不敢当。在此之前所在部门的确对这方面毫无涉足，我们是部门内的先行者。但要说有多么了解大数据，其实也很汗颜，认真一点说，我们是想借助这个项目去大数据的海洋里试驾远航，可事实是我们赶在被真正的大数据的海浪打翻之前就已经回到岸边。
- 统一资源调度管理 统一资源调度管理
- 从时间节点上来看，每年的 3月、4月是一年中求职跳槽的黄金季！ 最近也收到很多小伙伴的后台留言 “有没有大数据学习资源，进阶学习路线，PDF，电子书，面试文档等等...” 一系列问题，这篇文章等于是针对以上的问题统一做回答了。 肝了一周，做了一些资源筛选，依照自己的学习经验和相关的资料做个整理，把一些我看过的精品视频，技术书籍... 从时间节点上来看，每年的 3月、4月是一年中求职跳槽的黄金季！ 最近也收到很多小伙伴的后台留言 “有没有大数据学习资源，进阶学习路线，PDF，电子书，面试文档等等...” 一系列问题，这篇文章等于是针对以上的问题统一做回答了。 肝了一周，做了一些资源筛选，依照自己的学习经验和相关的资料做个整理，把一些我看过的精品视频，技术书籍...
- 笔者遇到个突发问题，线上某cdh集群中 (cdh5.14)，cm server所在节点的/var/lib目录被人误删了，误删操作人员已经尝试了从cm agent节点cdh2中，拷贝/var/lib 目录到cm server节点cdh1的/var/lib目录下, 然后重启了cm ser... 笔者遇到个突发问题，线上某cdh集群中 (cdh5.14)，cm server所在节点的/var/lib目录被人误删了，误删操作人员已经尝试了从cm agent节点cdh2中，拷贝/var/lib 目录到cm server节点cdh1的/var/lib目录下, 然后重启了cm ser...
- 关于用户行为分析，很多互联网公司都有相关的需求，虽然业务不同，但是关于用户行为分析的方法和技术实现都是基本相同的。在此分享一下自己的一些心得。 一. 简介 用户行为分析主要关心的指标可以概括如下：哪个用户在什么时候做了什么操作在哪里做了什么操作，为什么要做这些操作，通过什么方式，用了多长时间等问题，总结出来就是WHO，WHE... 关于用户行为分析，很多互联网公司都有相关的需求，虽然业务不同，但是关于用户行为分析的方法和技术实现都是基本相同的。在此分享一下自己的一些心得。 一. 简介 用户行为分析主要关心的指标可以概括如下：哪个用户在什么时候做了什么操作在哪里做了什么操作，为什么要做这些操作，通过什么方式，用了多长时间等问题，总结出来就是WHO，WHE...
- 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据... 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据...
- vivo 互联网大数据团队-Lv Jia Hadoop 3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改进。 在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNo... vivo 互联网大数据团队-Lv Jia Hadoop 3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改进。 在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNo...
- 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答... 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答...
- 1、本人电脑是Win7 64位系统的： 2、JDK 版本： 3、Cygwin 版本： 官网自行下载 4、Hadoop 版本： 官网自行下载，下载稳定版的吧 下面就开始安装啦~~~~ 一、 安... 1、本人电脑是Win7 64位系统的： 2、JDK 版本： 3、Cygwin 版本： 官网自行下载 4、Hadoop 版本： 官网自行下载，下载稳定版的吧 下面就开始安装啦~~~~ 一、 安...
- 1. HDFS-16420 BUG 概述 HDFS3.X 的 EC 纠删码功能，近期被发现有个 BUG：该 BUG 会导致，以纠删码机制存放的目录和文件，在某些特殊情况下，会被系统误删，从而造成数据丢失。 目前 HADOOP 社区已经通过 HDFS-16420 在版本 3.4.0/3.2.3/ 3.3.2 中修复了该 BUG，... 1. HDFS-16420 BUG 概述 HDFS3.X 的 EC 纠删码功能，近期被发现有个 BUG：该 BUG 会导致，以纠删码机制存放的目录和文件，在某些特殊情况下，会被系统误删，从而造成数据丢失。 目前 HADOOP 社区已经通过 HDFS-16420 在版本 3.4.0/3.2.3/ 3.3.2 中修复了该 BUG，...
- 报错提示: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid 1 请在yarn-site.xml中添加 <pr... 报错提示: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid 1 请在yarn-site.xml中添加 <pr...
- 文章目录 一、命令查看二、实操2.1 前提2.2 help查看2.3 创建文件夹 三、上传文件3.1 moveFromLocal3.2 copyFromLocal3.3 put3.4 app... 文章目录 一、命令查看二、实操2.1 前提2.2 help查看2.3 创建文件夹 三、上传文件3.1 moveFromLocal3.2 copyFromLocal3.3 put3.4 app...
- 文章目录 一、集群启动与关闭1.1 DFS1.2 YARN 二、服务组件逐一启动/ 停止2.1 DFS2.2 YARN 一、集群启动与关闭 1.1 DFS 启动： st... 文章目录 一、集群启动与关闭1.1 DFS1.2 YARN 二、服务组件逐一启动/ 停止2.1 DFS2.2 YARN 一、集群启动与关闭 1.1 DFS 启动： st...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
即将直播
热门标签