- 在达芬奇架构下,控制单元为整个计算过程提供了指令控制,相当于AI Core的司令部,负责整个AI Core的运行,起到了至关重要的作用。控制单元的主要组成部分为系统控制模块、指令缓存、标量指令处理队列、指令发射模块、矩阵运算队列、向量运算队列、存储转换队列和事件同步模块,如图3-13中加粗所示。在指令执行过程中,可以提前预取后续指令,并一次读入多条指令进入缓存,提升指令执行效率。多条指令从系... 在达芬奇架构下,控制单元为整个计算过程提供了指令控制,相当于AI Core的司令部,负责整个AI Core的运行,起到了至关重要的作用。控制单元的主要组成部分为系统控制模块、指令缓存、标量指令处理队列、指令发射模块、矩阵运算队列、向量运算队列、存储转换队列和事件同步模块,如图3-13中加粗所示。在指令执行过程中,可以提前预取后续指令,并一次读入多条指令进入缓存,提升指令执行效率。多条指令从系...
- 计算单元是AI Core中提供强大算力的核心单元,相当于AI Core的主力军。AI Core计算单元主要包含矩阵计算单元、向量计算单元、标量计算单元和累加器,矩阵计算单元和累加器主要完成与矩阵相关的运算,向量计算单元负责执行向量运算,标量计算单元主要负责各类型的标量数据运算和程序的流程控制。矩阵计算单元上图表示一个矩阵A和另一个矩阵B之间的乘法运算C=A*B,其中M表示矩阵A的行数,K表示... 计算单元是AI Core中提供强大算力的核心单元,相当于AI Core的主力军。AI Core计算单元主要包含矩阵计算单元、向量计算单元、标量计算单元和累加器,矩阵计算单元和累加器主要完成与矩阵相关的运算,向量计算单元负责执行向量运算,标量计算单元主要负责各类型的标量数据运算和程序的流程控制。矩阵计算单元上图表示一个矩阵A和另一个矩阵B之间的乘法运算C=A*B,其中M表示矩阵A的行数,K表示...
- 不同于传统的支持通用计算的CPU和GPU,也不同于专用于某种特定算法的专用芯片ASIC,达芬奇架构本质上是为了适应某个特定领域中的常见的应用和算法,通常称之为“特定域架构(Domain Specific Architecture,DSA)”芯片。昇腾AI芯片的计算核心主要由AI Core构成,负责执行标量、向量和张量相关的计算密集型算子。AI Core采用了达芬奇架构,其基本结构如图3-2所... 不同于传统的支持通用计算的CPU和GPU,也不同于专用于某种特定算法的专用芯片ASIC,达芬奇架构本质上是为了适应某个特定领域中的常见的应用和算法,通常称之为“特定域架构(Domain Specific Architecture,DSA)”芯片。昇腾AI芯片的计算核心主要由AI Core构成,负责执行标量、向量和张量相关的计算密集型算子。AI Core采用了达芬奇架构,其基本结构如图3-2所...
- 昇腾AI软件栈提供了计算资源、性能调优的运行框架以及功能多样的配套工具,是一套完整的解决方案,可以使昇腾AI处理器发挥出极佳的性能。昇腾AI软件栈可以分为神经网络相关软件模块、工具链以及其它软件模块。· 神经网络软件主要包含了流程编排器(Matrix),框架管理器(Framework),运行管理器(Runtime)、数字视觉预处理模块(Digital Vision Pre-P... 昇腾AI软件栈提供了计算资源、性能调优的运行框架以及功能多样的配套工具,是一套完整的解决方案,可以使昇腾AI处理器发挥出极佳的性能。昇腾AI软件栈可以分为神经网络相关软件模块、工具链以及其它软件模块。· 神经网络软件主要包含了流程编排器(Matrix),框架管理器(Framework),运行管理器(Runtime)、数字视觉预处理模块(Digital Vision Pre-P...
- Atlas 200 DK安装python的hiai库以及opencv Atlas 200 DK安装python的hiai库以及opencv
- 1 简介本文对模型训练Ascend(华为 DaVinci / Ascend 系列 NPU)能用的场景 做系统化、分层的分析,平替哪些场景适配度高、为什么合适、实际落地时要注意的工程/生态限制?以及给出决策建议与快速评估要点,关键事实均标注来源,便于进一步验证。 2、按场景逐项详述(为什么适合 / 需要注意什么)大规模训练数据中心(分布式训练、超大模型)适配度:高(数据中心级 Ascend ... 1 简介本文对模型训练Ascend(华为 DaVinci / Ascend 系列 NPU)能用的场景 做系统化、分层的分析,平替哪些场景适配度高、为什么合适、实际落地时要注意的工程/生态限制?以及给出决策建议与快速评估要点,关键事实均标注来源,便于进一步验证。 2、按场景逐项详述(为什么适合 / 需要注意什么)大规模训练数据中心(分布式训练、超大模型)适配度:高(数据中心级 Ascend ...
- 1 简介云计算项目开发过程中,技术选型通常既要看“算力/性能”也要看“生态/工程成本”的基本逻辑。本文从以下几个方面介绍AI模型训练:对 CANN(Huawei Ascend 软件栈)的初步评价;为什么在生态成熟度上仍落后于 CUDA+NVIDIA;对工程决策的实务建议(短期需投入的项、风险与缓解策略、检查表)。 2 对 Huawei CANN 的初步分析CANN定位与功能:CANN(Co... 1 简介云计算项目开发过程中,技术选型通常既要看“算力/性能”也要看“生态/工程成本”的基本逻辑。本文从以下几个方面介绍AI模型训练:对 CANN(Huawei Ascend 软件栈)的初步评价;为什么在生态成熟度上仍落后于 CUDA+NVIDIA;对工程决策的实务建议(短期需投入的项、风险与缓解策略、检查表)。 2 对 Huawei CANN 的初步分析CANN定位与功能:CANN(Co...
- 慧眼柔巡-基于昇腾AI的多场景线缆异常检测系统,该项目获得2024年度华为开发者大赛全国总决赛·学生赛道银奖。 慧眼柔巡-基于昇腾AI的多场景线缆异常检测系统,该项目获得2024年度华为开发者大赛全国总决赛·学生赛道银奖。
- “挑战杯”丨 2025年中国青年“揭榜挂帅”华为赛道擂主:707token/秒,挑战顶级硬件极限——基于昇腾NPU的训推一体加速优化方案 “挑战杯”丨 2025年中国青年“揭榜挂帅”华为赛道擂主:707token/秒,挑战顶级硬件极限——基于昇腾NPU的训推一体加速优化方案
- 面向眼科临床与基层筛查的真实需求,本项目构建“云-边-端一体化”的眼底医学影像分析全栈系统,依托昇腾算力与MindSpore生态,打通数据、训练、部署、应用闭环,实现从高质量数据集发布到轻量化模型落地再到多模态智能服务的系统化创新,该项目在2024年华为开发者大赛全国总决赛学生赛道中获得银奖。 面向眼科临床与基层筛查的真实需求,本项目构建“云-边-端一体化”的眼底医学影像分析全栈系统,依托昇腾算力与MindSpore生态,打通数据、训练、部署、应用闭环,实现从高质量数据集发布到轻量化模型落地再到多模态智能服务的系统化创新,该项目在2024年华为开发者大赛全国总决赛学生赛道中获得银奖。
- 本文详解昇腾流水线优化技术,涵盖NPU与GPU侧多级流水实现。通过Stage划分、异步调度与计算通信重叠,提升训练吞吐与硬件利用率。NPU基于Rec SDK实现五阶段流水,支持动态换入换出;GPU则利用CUDA Stream构建StagedTrainPipeline,实现高效prefetch与梯度更新协同。 本文详解昇腾流水线优化技术,涵盖NPU与GPU侧多级流水实现。通过Stage划分、异步调度与计算通信重叠,提升训练吞吐与硬件利用率。NPU基于Rec SDK实现五阶段流水,支持动态换入换出;GPU则利用CUDA Stream构建StagedTrainPipeline,实现高效prefetch与梯度更新协同。
- 单双层架构互补共存:单层追求极致性能,适用于小规模特征;双层突破内存瓶颈,支持大规模扩展。结合动态扩容、准入淘汰与高效查表,实现推荐系统大规模稀疏参数的高效训练与管理。 单双层架构互补共存:单层追求极致性能,适用于小规模特征;双层突破内存瓶颈,支持大规模扩展。结合动态扩容、准入淘汰与高效查表,实现推荐系统大规模稀疏参数的高效训练与管理。
- 昇腾推荐系统架构解析:嵌入表存储到多级缓存的全链路设计 1. 昇腾 A2 处理器架构与 Embedding 优化策略昇腾 A2 处理器采用独特的达芬奇架构,具备完整的片上多级缓存系统。其缓存体系并非“以 CPU 为中心的多级缓存替代方案”,而是基于自身架构理念设计了高效的多级缓存机制,与 NVIDIA GPU 在缓存策略上存在差异,但具备相当的高效缓存能力。在整体架构上,多个 AI 节点通... 昇腾推荐系统架构解析:嵌入表存储到多级缓存的全链路设计 1. 昇腾 A2 处理器架构与 Embedding 优化策略昇腾 A2 处理器采用独特的达芬奇架构,具备完整的片上多级缓存系统。其缓存体系并非“以 CPU 为中心的多级缓存替代方案”,而是基于自身架构理念设计了高效的多级缓存机制,与 NVIDIA GPU 在缓存策略上存在差异,但具备相当的高效缓存能力。在整体架构上,多个 AI 节点通...
- 使用torch+mindspeed训练时,可能出现类似“wait socket establish timeout, role[0] rank[1] timeout[120]”的报错,plog日志内容如下:上图中给出以下信息:1,本端device id(5)、本端rank(1)、对端rank(2)。本端rank和对端rank表示的是在通信域内的rank编号,如果是子通信域,需要注意devic... 使用torch+mindspeed训练时,可能出现类似“wait socket establish timeout, role[0] rank[1] timeout[120]”的报错,plog日志内容如下:上图中给出以下信息:1,本端device id(5)、本端rank(1)、对端rank(2)。本端rank和对端rank表示的是在通信域内的rank编号,如果是子通信域,需要注意devic...
- MindIE是昇腾自研推理框架,本实验手册可指导小白用户快速掌握MindIE在LLM(large language model)场景的基本功能,包括:大模型推理功能测试、大模型性能测试、大模型精度测试、服务化推理部署、benchmark测试等。 1 实验准备 1.1 软硬件环境本实验使用的设备是800I A2服务器,已经参考官网文档(安装驱动和固件-MindIE安装指南-环境准备-MindI... MindIE是昇腾自研推理框架,本实验手册可指导小白用户快速掌握MindIE在LLM(large language model)场景的基本功能,包括:大模型推理功能测试、大模型性能测试、大模型精度测试、服务化推理部署、benchmark测试等。 1 实验准备 1.1 软硬件环境本实验使用的设备是800I A2服务器,已经参考官网文档(安装驱动和固件-MindIE安装指南-环境准备-MindI...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签