- 本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同 1.PythonRunner对于运行与 JVM 上的程序（即Scala、Java程序），Spark 提供了 PythonRunner 类。只需要调用PythonRunner 的main方法，就可以在Scala或Java程序中调用Python脚本。在实现上，PythonRun... 本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同 1.PythonRunner对于运行与 JVM 上的程序（即Scala、Java程序），Spark 提供了 PythonRunner 类。只需要调用PythonRunner 的main方法，就可以在Scala或Java程序中调用Python脚本。在实现上，PythonRun...
- 跨逻辑集群复制表是为了满足客户公共维表跨逻辑集群同步需求。客户可以将公共维表设计为复制表，复制表的数据可以包含多个逻辑集群节点。这样其他表和这些复制表进行关联时则不需要跨DN节点数据迁移，可以有效提升查询效率。 跨逻辑集群复制表是为了满足客户公共维表跨逻辑集群同步需求。客户可以将公共维表设计为复制表，复制表的数据可以包含多个逻辑集群节点。这样其他表和这些复制表进行关联时则不需要跨DN节点数据迁移，可以有效提升查询效率。
- 如何通过租户面告警分析问题 如何通过租户面告警分析问题
- 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。
- 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。 为了方便业务开发人员开发FlinkSQL作业、提交FlinkJar作业，以及方便运维人员对Flink作业的管理，FusionInsight MRS研发了FlinkServer可视化开发平台。
- 合理的表结构可以带来稳定和高效的性能，怎么设计和优化一张表呢？GaussDB(DWS)带你一起来学习调优表的关键技巧。 合理的表结构可以带来稳定和高效的性能，怎么设计和优化一张表呢？GaussDB(DWS)带你一起来学习调优表的关键技巧。
- 本文的内容是平安在 ICDAR 2021表格识别比赛中的解决方案。在此解决方案中把表格识别分成了四个部分：表格结构序列识别、文字检测、文字识别、单元格和文字框对齐。其中表格结构序列识别用到的模型是基于Master修改的，文字检测模型用到的是PSENet，文字识别用到的是Master模型。最终结果取得了此赛道的亚军。 本文的内容是平安在 ICDAR 2021表格识别比赛中的解决方案。在此解决方案中把表格识别分成了四个部分：表格结构序列识别、文字检测、文字识别、单元格和文字框对齐。其中表格结构序列识别用到的模型是基于Master修改的，文字检测模型用到的是PSENet，文字识别用到的是Master模型。最终结果取得了此赛道的亚军。
- 本文介绍数据库智能监控系统告警框架的实现，以及对如何使用进行简单介绍。 本文介绍数据库智能监控系统告警框架的实现，以及对如何使用进行简单介绍。
- 本文章主要介绍 GaussDB(DWS) 中DDL设计时的几点建议及其基本原理。 本文章主要介绍 GaussDB(DWS) 中DDL设计时的几点建议及其基本原理。
- 安全认证可以保证建立安全的数据库连接，而建立连接后的安全访问保护则是基于角色的对象访问控制。对象访问控制保证了仅当用户对此对象拥有进行合法操作的权限时，该用户才能对此对象执行相应操作。 安全认证可以保证建立安全的数据库连接，而建立连接后的安全访问保护则是基于角色的对象访问控制。对象访问控制保证了仅当用户对此对象拥有进行合法操作的权限时，该用户才能对此对象执行相应操作。
- clickhouse是一款非常优秀的OLAP数据库系统，2016年刚开源的时候就因为卓越的性能表现得到大家的关注，而近两年国内互联网公司的大规模应用和推广，使得它在业内声名鹊起，且受到了大家一致的认可。从网络上公开分享的资料和客户使用的案例总结来看，clickhouse主要是应用在实时数仓和离线加速两个场景，其中有些实时业务为了追求极致的性能会上全ssd的配置，考虑到实时数据集的有限规模，这. clickhouse是一款非常优秀的OLAP数据库系统，2016年刚开源的时候就因为卓越的性能表现得到大家的关注，而近两年国内互联网公司的大规模应用和推广，使得它在业内声名鹊起，且受到了大家一致的认可。从网络上公开分享的资料和客户使用的案例总结来看，clickhouse主要是应用在实时数仓和离线加速两个场景，其中有些实时业务为了追求极致的性能会上全ssd的配置，考虑到实时数据集的有限规模，这.
- Google 2021 本文研究了文本行识别问题。与大多数针对特定领域（如场景文本或手写文档）的方法不同，本文针对通用问题研究了一个通用体系结构，该体系结构可以从任何图像中提取文本，而不管图像源或输入模式如何。本文对两种解码器（CTC和Transformer）和三个编码器模块（双向LSTM、自我注意和GRCL）进行研究并进行广泛的实验，以比较它们在广泛使用的场景和手写数据集上的准确性和性能。 Google 2021 本文研究了文本行识别问题。与大多数针对特定领域（如场景文本或手写文档）的方法不同，本文针对通用问题研究了一个通用体系结构，该体系结构可以从任何图像中提取文本，而不管图像源或输入模式如何。本文对两种解码器（CTC和Transformer）和三个编码器模块（双向LSTM、自我注意和GRCL）进行研究并进行广泛的实验，以比较它们在广泛使用的场景和手写数据集上的准确性和性能。
- Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎，是针对企业客户融合资源池，多租户的业务诉求而设计的高性能企业级调度器。Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相较于开源调度器，Superior Scheduler在企业级多租户调度策略、租... Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎，是针对企业客户融合资源池，多租户的业务诉求而设计的高性能企业级调度器。Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相较于开源调度器，Superior Scheduler在企业级多租户调度策略、租...
- 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足不同主机之间的通信能够尽量发生在同一个机架之内，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上这两个要求 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足不同主机之间的通信能够尽量发生在同一个机架之内，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上这两个要求
- Hudi 的Payload是一种可扩展的数据处理机制，通过不同的Payload我们可以实现复杂场景的定制化数据写入方式，大大增加了数据处理的灵活性。Hudi Payload在写入和读取Hudi表时对数据进行去重、过滤、合并等操作的工具类，通过使用参数 "hoodie.datasource.write.payload.class"指定我们需要使用的Payload class。 Hudi 的Payload是一种可扩展的数据处理机制，通过不同的Payload我们可以实现复杂场景的定制化数据写入方式，大大增加了数据处理的灵活性。Hudi Payload在写入和读取Hudi表时对数据进行去重、过滤、合并等操作的工具类，通过使用参数 "hoodie.datasource.write.payload.class"指定我们需要使用的Payload class。
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签