- 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.cn/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F... 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.cn/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F...
- 本文将介绍如何通过在Linux的机器上，执行kettle脚本，在MRS集群中，运行Spark程序。 本文将介绍如何通过在Linux的机器上，执行kettle脚本，在MRS集群中，运行Spark程序。
- 如果我们安装了python3.7版本来运行spark，并且用到了RDD的take函数，就会报错：RuntimeError: generator raised StopIteration。本文介绍了问题的原因和处理方法。 如果我们安装了python3.7版本来运行spark，并且用到了RDD的take函数，就会报错：RuntimeError: generator raised StopIteration。本文介绍了问题的原因和处理方法。
- 如果能配合jupyter notebook使用pyspark，无论是机器学习，数据探索，还是ETL应用的开发，开发效率直接起飞。本文就来介绍配合jupyter notebook来使用pyspark。 如果能配合jupyter notebook使用pyspark，无论是机器学习，数据探索，还是ETL应用的开发，开发效率直接起飞。本文就来介绍配合jupyter notebook来使用pyspark。
- 使用python3运行pyspark，需要做两步：1. 在mrs集群的所有core节点，以及提交任务的节点（通常为mrs的master节点），均安装python3；2. 指定pyspark使用的python路径。 使用python3运行pyspark，需要做两步：1. 在mrs集群的所有core节点，以及提交任务的节点（通常为mrs的master节点），均安装python3；2. 指定pyspark使用的python路径。
- MRS服务的ECS对用户开放，但是都是内网地址，用户访问十分困难，给调试带来很多不便，故该本文提供在ECS上搭建vpn服务，通过本地连接vpn，进而可以利用一个弹性ip即可访问整个MRS服务内的所有节点，为用户开发者在MRS服务进行业务开发提供访问便利。本文提供两种方法搭建vpn，开源代码见附件，也可自行在github下载。 MRS服务的ECS对用户开放，但是都是内网地址，用户访问十分困难，给调试带来很多不便，故该本文提供在ECS上搭建vpn服务，通过本地连接vpn，进而可以利用一个弹性ip即可访问整个MRS服务内的所有节点，为用户开发者在MRS服务进行业务开发提供访问便利。本文提供两种方法搭建vpn，开源代码见附件，也可自行在github下载。
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签