- 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。
- 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物... 一. 为什么要支持自动刷新物化视图？HetuEngine 3.1.3版本支持物化视图的创建和自动使用物化视图对查询SQL进行改写优化能力。使用物化视图提供的预计算能力能极大地提高查询效率，但是预计算也同时带来了数据的一致性问题。为了保证物化视图数据和源数据的一致性，物化视图需要被定时刷新。为了提升物化视图的易用性，减少需要定期刷新物化视图的麻烦，HetuEngine支持创建自动定期刷新的物...
- 操作场景本章节指导用户在HSConsole界面添加HBase数据源。前提条件数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。已创建HetuEngine计算实例。数据源所在集群与HetuEngine所在集群上ZooKeeper的SSL通信加密配置需保持一致。FusionInsight Manager 8.1.2之前的版本，SSL通... 操作场景本章节指导用户在HSConsole界面添加HBase数据源。前提条件数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。已创建HetuEngine计算实例。数据源所在集群与HetuEngine所在集群上ZooKeeper的SSL通信加密配置需保持一致。FusionInsight Manager 8.1.2之前的版本，SSL通...
- 技术背景随着互联网高速的发展，云计算、大数据、人工智能AI、物联网等前沿技术已然成为当今时代主流的高新技术，诸如电商网站、人脸识别、无人驾驶、智能家居、智慧城市等等，不仅方面方便了人们的衣食住行，背后更是时时刻刻有大量的数据在经过各种各样的系统平台的采集、清晰、分析，而保证数据的低时延、高吞吐、安全性就显得尤为重要，Apache Avro本身通过Schema的方式序列化后进行二进制传输，一方... 技术背景随着互联网高速的发展，云计算、大数据、人工智能AI、物联网等前沿技术已然成为当今时代主流的高新技术，诸如电商网站、人脸识别、无人驾驶、智能家居、智慧城市等等，不仅方面方便了人们的衣食住行，背后更是时时刻刻有大量的数据在经过各种各样的系统平台的采集、清晰、分析，而保证数据的低时延、高吞吐、安全性就显得尤为重要，Apache Avro本身通过Schema的方式序列化后进行二进制传输，一方...
- 华为Flink可视化开发平台FlinkServer作为自研服务，能够提供比原生flinksql接口更强的企业级特性，比如任务的集中管理，可视化开发，多数据源配置等。本文将对比介绍体现flinkserver的优势。 华为Flink可视化开发平台FlinkServer作为自研服务，能够提供比原生flinksql接口更强的企业级特性，比如任务的集中管理，可视化开发，多数据源配置等。本文将对比介绍体现flinkserver的优势。
- 本文学习如何使用flinksql语法解析复杂嵌套的json格式内容。 本文学习如何使用flinksql语法解析复杂嵌套的json格式内容。
- 本文学习如何使用rest接口访问FusionInsight MRS 组件界面信息。 本文学习如何使用rest接口访问FusionInsight MRS 组件界面信息。
- FusionInsight Manager是集群的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。本文学习使用基本的rest接口访问manager。 FusionInsight Manager是集群的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。本文学习使用基本的rest接口访问manager。
- 1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Tableau工具包（TableauDesktop-64bit-2021-3-3.exe）已下载至本地，软件下载地址：https://www.tableau.com/zh-cn/trial/tableau-software 下载连接HetuEngine驱动包，下载地址：https://mirr... 1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Tableau工具包（TableauDesktop-64bit-2021-3-3.exe）已下载至本地，软件下载地址：https://www.tableau.com/zh-cn/trial/tableau-software 下载连接HetuEngine驱动包，下载地址：https://mirr...
- Hudi的Compaction作用Hudi的Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，Merge-On-Read表可减少数据摄入延迟，更新被记录到增量文件，但是随着行式数据的不断增长，为加快分析效率，需要对列式文件和行式文件的合并（compaction）生成新版本的列式文件，提升数据访问的性能。因而进行Compaction很有意义。Compactio... Hudi的Compaction作用Hudi的Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，Merge-On-Read表可减少数据摄入延迟，更新被记录到增量文件，但是随着行式数据的不断增长，为加快分析效率，需要对列式文件和行式文件的合并（compaction）生成新版本的列式文件，提升数据访问的性能。因而进行Compaction很有意义。Compactio...
- 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。
- CPU使用率高的一般排查思路Top命令查看CPU使用率高的进程su - omm切换到omm用户，jstack -l 进程pid >> 文件路径top -H -p 进程pid，查看CPU使用率高的线程"printf "%x\n" 线程号"，将CPU高的线程号转换成16进制在jstack文件中搜索16进制的线程号查看具体的导致CPU高的线程来进一步分析Kafka CPU高的常见原因及解决办法集群... CPU使用率高的一般排查思路Top命令查看CPU使用率高的进程su - omm切换到omm用户，jstack -l 进程pid >> 文件路径top -H -p 进程pid，查看CPU使用率高的线程"printf "%x\n" 线程号"，将CPU高的线程号转换成16进制在jstack文件中搜索16进制的线程号查看具体的导致CPU高的线程来进一步分析Kafka CPU高的常见原因及解决办法集群...
- 本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同 1.PythonRunner对于运行与 JVM 上的程序（即Scala、Java程序），Spark 提供了 PythonRunner 类。只需要调用PythonRunner 的main方法，就可以在Scala或Java程序中调用Python脚本。在实现上，PythonRun... 本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同 1.PythonRunner对于运行与 JVM 上的程序（即Scala、Java程序），Spark 提供了 PythonRunner 类。只需要调用PythonRunner 的main方法，就可以在Scala或Java程序中调用Python脚本。在实现上，PythonRun...
- 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。
- 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。
上滑加载中
推荐直播
-
华为云软件开发生产线（CodeArts）1月&2月新特性解读2025/03/18 周二 19:00-20:00
阿星 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线1月&2月发布的新特性，并在直播过程中为您答疑解惑。
回顾中 -
基于能力图谱的openGauss项目闯关2025/03/20 周四 19:00-20:30
华为开发者布道师
想成为顶级数据库开发者吗？本次直播将从银行业务系统的数据库设计出发，带你逐步掌握openGauss的建库表、数据封装、密态技术、性能调优及AI应用。通过实战案例，全面展示openGauss的强大功能，助你提升技能，为未来的职业发展打下坚实基础。立即报名，开启你的数据库进阶之旅！
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中
热门标签