- 基于Pycharm专业版构建开发板python开发运行环境 基于Pycharm专业版构建开发板python开发运行环境
- 为Atlas200DK配置wifi外挂模块 为Atlas200DK配置wifi外挂模块
- 简单的配置开发板联网的方法 简单的配置开发板联网的方法
- 为完成一个神经网络应用的实现和执行,昇腾AI软件栈在深度学习框架到昇腾AI处理器之间架起了一座桥梁,为神经网络从原始模型,到中间计算图表征,再到独立执行的离线模型提供了快速转化的捷径。昇腾AI软件栈围绕离线模型的生成、加载和执行,聚集了流程编排器、数字视觉预处理模块、张量加速引擎、框架管理器、运行管理器和任务调度器等功能块形成了一个完整的功能集群。流程编排器负责完成神经网络在昇腾AI处理器上... 为完成一个神经网络应用的实现和执行,昇腾AI软件栈在深度学习框架到昇腾AI处理器之间架起了一座桥梁,为神经网络从原始模型,到中间计算图表征,再到独立执行的离线模型提供了快速转化的捷径。昇腾AI软件栈围绕离线模型的生成、加载和执行,聚集了流程编排器、数字视觉预处理模块、张量加速引擎、框架管理器、运行管理器和任务调度器等功能块形成了一个完整的功能集群。流程编排器负责完成神经网络在昇腾AI处理器上...
- 在达芬奇架构下,控制单元为整个计算过程提供了指令控制,相当于AI Core的司令部,负责整个AI Core的运行,起到了至关重要的作用。控制单元的主要组成部分为系统控制模块、指令缓存、标量指令处理队列、指令发射模块、矩阵运算队列、向量运算队列、存储转换队列和事件同步模块,如图3-13中加粗所示。在指令执行过程中,可以提前预取后续指令,并一次读入多条指令进入缓存,提升指令执行效率。多条指令从系... 在达芬奇架构下,控制单元为整个计算过程提供了指令控制,相当于AI Core的司令部,负责整个AI Core的运行,起到了至关重要的作用。控制单元的主要组成部分为系统控制模块、指令缓存、标量指令处理队列、指令发射模块、矩阵运算队列、向量运算队列、存储转换队列和事件同步模块,如图3-13中加粗所示。在指令执行过程中,可以提前预取后续指令,并一次读入多条指令进入缓存,提升指令执行效率。多条指令从系...
- 计算单元是AI Core中提供强大算力的核心单元,相当于AI Core的主力军。AI Core计算单元主要包含矩阵计算单元、向量计算单元、标量计算单元和累加器,矩阵计算单元和累加器主要完成与矩阵相关的运算,向量计算单元负责执行向量运算,标量计算单元主要负责各类型的标量数据运算和程序的流程控制。矩阵计算单元上图表示一个矩阵A和另一个矩阵B之间的乘法运算C=A*B,其中M表示矩阵A的行数,K表示... 计算单元是AI Core中提供强大算力的核心单元,相当于AI Core的主力军。AI Core计算单元主要包含矩阵计算单元、向量计算单元、标量计算单元和累加器,矩阵计算单元和累加器主要完成与矩阵相关的运算,向量计算单元负责执行向量运算,标量计算单元主要负责各类型的标量数据运算和程序的流程控制。矩阵计算单元上图表示一个矩阵A和另一个矩阵B之间的乘法运算C=A*B,其中M表示矩阵A的行数,K表示...
- 不同于传统的支持通用计算的CPU和GPU,也不同于专用于某种特定算法的专用芯片ASIC,达芬奇架构本质上是为了适应某个特定领域中的常见的应用和算法,通常称之为“特定域架构(Domain Specific Architecture,DSA)”芯片。昇腾AI芯片的计算核心主要由AI Core构成,负责执行标量、向量和张量相关的计算密集型算子。AI Core采用了达芬奇架构,其基本结构如图3-2所... 不同于传统的支持通用计算的CPU和GPU,也不同于专用于某种特定算法的专用芯片ASIC,达芬奇架构本质上是为了适应某个特定领域中的常见的应用和算法,通常称之为“特定域架构(Domain Specific Architecture,DSA)”芯片。昇腾AI芯片的计算核心主要由AI Core构成,负责执行标量、向量和张量相关的计算密集型算子。AI Core采用了达芬奇架构,其基本结构如图3-2所...
- 昇腾AI软件栈提供了计算资源、性能调优的运行框架以及功能多样的配套工具,是一套完整的解决方案,可以使昇腾AI处理器发挥出极佳的性能。昇腾AI软件栈可以分为神经网络相关软件模块、工具链以及其它软件模块。· 神经网络软件主要包含了流程编排器(Matrix),框架管理器(Framework),运行管理器(Runtime)、数字视觉预处理模块(Digital Vision Pre-P... 昇腾AI软件栈提供了计算资源、性能调优的运行框架以及功能多样的配套工具,是一套完整的解决方案,可以使昇腾AI处理器发挥出极佳的性能。昇腾AI软件栈可以分为神经网络相关软件模块、工具链以及其它软件模块。· 神经网络软件主要包含了流程编排器(Matrix),框架管理器(Framework),运行管理器(Runtime)、数字视觉预处理模块(Digital Vision Pre-P...
- Atlas 200 DK安装python的hiai库以及opencv Atlas 200 DK安装python的hiai库以及opencv
- vLLM 休眠模式让模型扩容近乎零成本,但每个休眠模型都要常驻一份 GPU 上下文,24 个模型吃掉 27 GB 显存。本文翻译上海交大论文 PhOSv1:用守护进程共享 CUDA 上下文、对内核二进制去重,显存占用降 98.1%,平均首 token 时延降 87%。 vLLM 休眠模式让模型扩容近乎零成本,但每个休眠模型都要常驻一份 GPU 上下文,24 个模型吃掉 27 GB 显存。本文翻译上海交大论文 PhOSv1:用守护进程共享 CUDA 上下文、对内核二进制去重,显存占用降 98.1%,平均首 token 时延降 87%。
- 1 简介本文对模型训练Ascend(华为 DaVinci / Ascend 系列 NPU)能用的场景 做系统化、分层的分析,平替哪些场景适配度高、为什么合适、实际落地时要注意的工程/生态限制?以及给出决策建议与快速评估要点,关键事实均标注来源,便于进一步验证。 2、按场景逐项详述(为什么适合 / 需要注意什么)大规模训练数据中心(分布式训练、超大模型)适配度:高(数据中心级 Ascend ... 1 简介本文对模型训练Ascend(华为 DaVinci / Ascend 系列 NPU)能用的场景 做系统化、分层的分析,平替哪些场景适配度高、为什么合适、实际落地时要注意的工程/生态限制?以及给出决策建议与快速评估要点,关键事实均标注来源,便于进一步验证。 2、按场景逐项详述(为什么适合 / 需要注意什么)大规模训练数据中心(分布式训练、超大模型)适配度:高(数据中心级 Ascend ...
- 1 简介云计算项目开发过程中,技术选型通常既要看“算力/性能”也要看“生态/工程成本”的基本逻辑。本文从以下几个方面介绍AI模型训练:对 CANN(Huawei Ascend 软件栈)的初步评价;为什么在生态成熟度上仍落后于 CUDA+NVIDIA;对工程决策的实务建议(短期需投入的项、风险与缓解策略、检查表)。 2 对 Huawei CANN 的初步分析CANN定位与功能:CANN(Co... 1 简介云计算项目开发过程中,技术选型通常既要看“算力/性能”也要看“生态/工程成本”的基本逻辑。本文从以下几个方面介绍AI模型训练:对 CANN(Huawei Ascend 软件栈)的初步评价;为什么在生态成熟度上仍落后于 CUDA+NVIDIA;对工程决策的实务建议(短期需投入的项、风险与缓解策略、检查表)。 2 对 Huawei CANN 的初步分析CANN定位与功能:CANN(Co...
- 在昇腾 A2 上给一个 Qwen 系模型启用投机解码,预期是 Decode 阶段吞吐提升,实际压测结果却是开了比不开还慢。第一反应是 NPU 利用率或显存带宽出了问题,但 npu-smi 显示利用率正常,显存水位也没有异常。折腾了大半天才定位到根因:草稿模型和目标模型的分布偏移导致接受率回退,投机解码退化成了“每步只确认 1 个 token”的纯开销。一、 先理解投机解码的收益来源投机解码的... 在昇腾 A2 上给一个 Qwen 系模型启用投机解码,预期是 Decode 阶段吞吐提升,实际压测结果却是开了比不开还慢。第一反应是 NPU 利用率或显存带宽出了问题,但 npu-smi 显示利用率正常,显存水位也没有异常。折腾了大半天才定位到根因:草稿模型和目标模型的分布偏移导致接受率回退,投机解码退化成了“每步只确认 1 个 token”的纯开销。一、 先理解投机解码的收益来源投机解码的...
- 在 910B 上用 KIVI(Tuning-Free Asymmetric 2bit Quantization for KV Cache)做长上下文推理的显存压缩,量化后的显存占用确实降下来了,短序列上的输出也正常。但上下文一过 8K,模型开始出现重复生成和逻辑断裂,人工评测的连贯性明显下降。排查了一圈,问题不在校准数据,也不在昇腾算子实现,而在 KIVI 的核心假设被“平均化”使用了:Ke... 在 910B 上用 KIVI(Tuning-Free Asymmetric 2bit Quantization for KV Cache)做长上下文推理的显存压缩,量化后的显存占用确实降下来了,短序列上的输出也正常。但上下文一过 8K,模型开始出现重复生成和逻辑断裂,人工评测的连贯性明显下降。排查了一圈,问题不在校准数据,也不在昇腾算子实现,而在 KIVI 的核心假设被“平均化”使用了:Ke...
- 在昇腾 910B 上用 vLLM-ascend 部署一个多轮对话服务,看到官方推荐“多轮对话场景命中率 60% 以上时 Prefix Caching 收益明显”,就直接打开了 enable_prefix_caching。结果 TTFT(首 token 延迟)不但没降,反而比关闭时高了约 15%,显存占用还涨了一截。排查后发现,Prefix Caching 在昇腾上的收益有三个硬约束,任何一个... 在昇腾 910B 上用 vLLM-ascend 部署一个多轮对话服务,看到官方推荐“多轮对话场景命中率 60% 以上时 Prefix Caching 收益明显”,就直接打开了 enable_prefix_caching。结果 TTFT(首 token 延迟)不但没降,反而比关闭时高了约 15%,显存占用还涨了一截。排查后发现,Prefix Caching 在昇腾上的收益有三个硬约束,任何一个...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签