- 获取spark 或hadoop运行日志https://bbs.huaweicloud.cn/forum/forum.php?mod=viewthread&tid=103786#实现代码https://ld246.com/article/1588084878671 #获取日志https://blog.csdn.net/qq_37927069/article/details/108660347 获取spark 或hadoop运行日志https://bbs.huaweicloud.cn/forum/forum.php?mod=viewthread&tid=103786#实现代码https://ld246.com/article/1588084878671 #获取日志https://blog.csdn.net/qq_37927069/article/details/108660347
- 在项目交付中经常会遇到各种异构数据库间的迁移替换，该场景重度依赖迁移工具完成同步。目前华为云上没有现成的数据迁移工具能够支持Clickhouse到GaussDB(DWS)的迁移，本文提供一种思路，通过Spark代码完成ClickHouse中表数据读取，并写入到GaussDB(DWS)中完成迁移。 在项目交付中经常会遇到各种异构数据库间的迁移替换，该场景重度依赖迁移工具完成同步。目前华为云上没有现成的数据迁移工具能够支持Clickhouse到GaussDB(DWS)的迁移，本文提供一种思路，通过Spark代码完成ClickHouse中表数据读取，并写入到GaussDB(DWS)中完成迁移。
- 在当今数字化时代，公司流量监控成为保障业务稳健运行的不可或缺的一环。本文将介绍如何使用Rust语言结合先进的技术，开发高性能的流量监控软件模块，以确保对大数据的高效处理。引言随着业务的不断发展，公司所面临的数据规模也在不断膨胀。为了更好地处理这些海量数据，我们选择了Rust作为开发语言，以其出色的性能和并发处理能力而著称。Rust语言与高性能Rust是一种系统级编程语言，其独特的所有权系统使... 在当今数字化时代，公司流量监控成为保障业务稳健运行的不可或缺的一环。本文将介绍如何使用Rust语言结合先进的技术，开发高性能的流量监控软件模块，以确保对大数据的高效处理。引言随着业务的不断发展，公司所面临的数据规模也在不断膨胀。为了更好地处理这些海量数据，我们选择了Rust作为开发语言，以其出色的性能和并发处理能力而著称。Rust语言与高性能Rust是一种系统级编程语言，其独特的所有权系统使...
- Spark Mlib建模流程 在Jupyter Notebook中导入pyspark、数据处理numpy等相关包import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport sklearnimport osfrom pyspark.sql import Spar... Spark Mlib建模流程 在Jupyter Notebook中导入pyspark、数据处理numpy等相关包import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport sklearnimport osfrom pyspark.sql import Spar...
- 1. 弹性分布式数据集RDD1.1. RDD概述1.1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，... 1. 弹性分布式数据集RDD1.1. RDD概述1.1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，...
- 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.5.7节，作者是朱凯。 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.5.7节，作者是朱凯。
- 某制造企业的夜间离线作业跑在 YARN 上，每天凌晨把当天的订单与生产数据做一次宽表关联。作业跑了两个多月一直正常，某天数据量涨了三成之后，开始隔三岔五失败。Spark 界面里看，失败任务的堆内存用得并不满，GC 也没有长时间停顿，可驱动器日志里反复出现同一行：ExecutorLostFailure (executor 7 exited caused by one of the runnin... 某制造企业的夜间离线作业跑在 YARN 上，每天凌晨把当天的订单与生产数据做一次宽表关联。作业跑了两个多月一直正常，某天数据量涨了三成之后，开始隔三岔五失败。Spark 界面里看，失败任务的堆内存用得并不满，GC 也没有长时间停顿，可驱动器日志里反复出现同一行：ExecutorLostFailure (executor 7 exited caused by one of the runnin...
- 讲解 Catalyst 优化器、逻辑计划与物理计划的转换，说明 DataFrame 的 schema 与列式执行优势，分析 join 策略选择，并给出利用统计信息优化查询的方法。 文章从技术背景和发展历程入手，帮助读者理解该技术的产生原因和演进脉络。通过对比不同版本的特性变化，分析技术选型的考量因素，为读者提供全面的技术视野。 结合实际项目中的真实场景，详细讲解技术的核心概念和关键实现。通过... 讲解 Catalyst 优化器、逻辑计划与物理计划的转换，说明 DataFrame 的 schema 与列式执行优势，分析 join 策略选择，并给出利用统计信息优化查询的方法。 文章从技术背景和发展历程入手，帮助读者理解该技术的产生原因和演进脉络。通过对比不同版本的特性变化，分析技术选型的考量因素，为读者提供全面的技术视野。 结合实际项目中的真实场景，详细讲解技术的核心概念和关键实现。通过...
- 某制造企业的日终汇总作业最近越跑越不对劲：数据量没有明显增长，跑批时间却从十几分钟拖到半小时以上，下游一查输出目录，几百个几十 KB 的小文件躺在那里。开发第一反应是加资源、加并行度，结果越调越慢。真正的问题不在资源上，而在一个几乎没人动过的默认值上：Spark SQL 的 shuffle 分区数。 默认 200 分区，对谁都一样只要 SQL 里出现聚合、去重或者 Join，Spark 就会... 某制造企业的日终汇总作业最近越跑越不对劲：数据量没有明显增长，跑批时间却从十几分钟拖到半小时以上，下游一查输出目录，几百个几十 KB 的小文件躺在那里。开发第一反应是加资源、加并行度，结果越调越慢。真正的问题不在资源上，而在一个几乎没人动过的默认值上：Spark SQL 的 shuffle 分区数。 默认 200 分区，对谁都一样只要 SQL 里出现聚合、去重或者 Join，Spark 就会...
- Databricks 于 2026 年 11 月 5 日发布文章介绍 Apache Spark 4.3，并称其已在 Databricks Runtime 19 中提供。本文聚焦 Real-Time Mode 的有状态处理，拆解低于 150 毫秒的基准结果、执行机制与工程边界，并给出升级前可执行的选型和验证清单。 Databricks 于 2026 年 11 月 5 日发布文章介绍 Apache Spark 4.3，并称其已在 Databricks Runtime 19 中提供。本文聚焦 Real-Time Mode 的有状态处理，拆解低于 150 毫秒的基准结果、执行机制与工程边界，并给出升级前可执行的选型和验证清单。
- Databricks于北京时间2026年10月30日宣布，Spark Declarative Pipelines（SDP）实时模式正式GA，目标是把低延迟流处理纳入既有管道框架。本文拆解其执行方式、写入链路与厂商性能主张，并给出适用条件、风险边界和可执行的验证清单。 Databricks于北京时间2026年10月30日宣布，Spark Declarative Pipelines（SDP）实时模式正式GA，目标是把低延迟流处理纳入既有管道框架。本文拆解其执行方式、写入链路与厂商性能主张，并给出适用条件、风险边界和可执行的验证清单。
- 先说一个常见场景每天凌晨跑一张订单汇总：事实表按日期过滤后只剩几十万行，再按商品类目、渠道分组求和。数据不大，集群也不忙，可作业还是要跑好几分钟。打开 Spark UI 看 Stage 详情，会发现一个很典型的画面：聚合那一步起了 200 个任务，大部分任务只处理几 MB 数据、几秒就结束，整个 Stage 却要等最慢的那几个任务收尾，CPU 利用率始终上不去。问题往往不在 SQL 写得对... 先说一个常见场景每天凌晨跑一张订单汇总：事实表按日期过滤后只剩几十万行，再按商品类目、渠道分组求和。数据不大，集群也不忙，可作业还是要跑好几分钟。打开 Spark UI 看 Stage 详情，会发现一个很典型的画面：聚合那一步起了 200 个任务，大部分任务只处理几 MB 数据、几秒就结束，整个 Stage 却要等最慢的那几个任务收尾，CPU 利用率始终上不去。问题往往不在 SQL 写得对...
- 简介距离 Spark-X2.5 发布已过去一个多月。在 AI 智能体飞速演进的今天，这足以让我们重新思考、持续打磨，并将能力边界推向更远处。基于 Spark-X2.5-4B，我们推出了 Spark-X2.6-4B——面向端侧部署的紧凑型通用语言模型的最新一代产品。Spark-X2.6-4B 与 Spark-X2.5-4B 保持完全相同的架构，通过改进的后训练实现能力提升。它在编程、智能体、长... 简介距离 Spark-X2.5 发布已过去一个多月。在 AI 智能体飞速演进的今天，这足以让我们重新思考、持续打磨，并将能力边界推向更远处。基于 Spark-X2.5-4B，我们推出了 Spark-X2.6-4B——面向端侧部署的紧凑型通用语言模型的最新一代产品。Spark-X2.6-4B 与 Spark-X2.5-4B 保持完全相同的架构，通过改进的后训练实现能力提升。它在编程、智能体、长...
- 2026 年 10 月 16 日，NVIDIA RTX Spark 笔记本全球开售。这台 1.79kg、最薄 12.9mm 的轻薄本，塞进了一颗 20 核 ARM CPU + Blackwell GPU + 128GB 统一内存，号称能在本地直接跑起千亿参数大模型。华硕 ProArt 创16（128G 版）京东售价 37999 元，开售几分钟被抢空。这不是一篇"云评测"，是一篇能照着复现的本... 2026 年 10 月 16 日，NVIDIA RTX Spark 笔记本全球开售。这台 1.79kg、最薄 12.9mm 的轻薄本，塞进了一颗 20 核 ARM CPU + Blackwell GPU + 128GB 统一内存，号称能在本地直接跑起千亿参数大模型。华硕 ProArt 创16（128G 版）京东售价 37999 元，开售几分钟被抢空。这不是一篇"云评测"，是一篇能照着复现的本...
- 40亿参数的AI，瘦到22.1GB，直接塞进笔记本！就在刚刚，英伟达开放了Nemotron 3.5 Bolt的模型权重。原本约148GB，一口气砍掉约85%，瞄准24GB级本地部署。看图、写代码、调用工具，这回笔记本也能接活了。 40亿参数的AI，瘦到22.1GB，直接塞进笔记本！就在刚刚，英伟达开放了Nemotron 3.5 Bolt的模型权重。原本约148GB，一口气砍掉约85%，瞄准24GB级本地部署。看图、写代码、调用工具，这回笔记本也能接活了。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签