- 训练系统的可用性,决定着智能化的速度。无法解决资源利用率低、系统稳定性差、通信带宽瓶颈的传统AI集群,已经不符合大模型的创新趋势。 训练系统的可用性,决定着智能化的速度。无法解决资源利用率低、系统稳定性差、通信带宽瓶颈的传统AI集群,已经不符合大模型的创新趋势。
- 精度对齐说明精度对齐旨在确保模型在训练一定轮次后,其损失(LOSS)或评分能够与原硬件训练的结果基本相符。 精度对齐标准下图所示为在原硬件GPU上的训练精度:迁移到NPU上后要求与GPU训练精度相差在千分之五左右,若精度误差过大则需要通过前向、反向对齐操作定位问题算子。 精度对齐思路一旦精度出现偏差,首先确认环境变量配置(例如,NPU私有格式环境变量是否关闭export FLAGS_npu... 精度对齐说明精度对齐旨在确保模型在训练一定轮次后,其损失(LOSS)或评分能够与原硬件训练的结果基本相符。 精度对齐标准下图所示为在原硬件GPU上的训练精度:迁移到NPU上后要求与GPU训练精度相差在千分之五左右,若精度误差过大则需要通过前向、反向对齐操作定位问题算子。 精度对齐思路一旦精度出现偏差,首先确认环境变量配置(例如,NPU私有格式环境变量是否关闭export FLAGS_npu...
- 本次案例以PaddleOCRv4的模型为例,介绍将模型迁移到NPU上的流程。迁移过程要保证原模型的功能在新的硬件上不会出现错误,可以借助各种日志辅助定位,此处尤其需要注意的是偶发性错误与长跑时才会出现的错误。 安装PaddleOCR套件# 下载 PaddleOCR 套件源码git clone https://github.com/PaddlePaddle/PaddleOCR# 进入 Padd... 本次案例以PaddleOCRv4的模型为例,介绍将模型迁移到NPU上的流程。迁移过程要保证原模型的功能在新的硬件上不会出现错误,可以借助各种日志辅助定位,此处尤其需要注意的是偶发性错误与长跑时才会出现的错误。 安装PaddleOCR套件# 下载 PaddleOCR 套件源码git clone https://github.com/PaddlePaddle/PaddleOCR# 进入 Padd...
- 训练常用环境变量本节介绍的环境变量建议在训练前提前设置好。 NPU私有格式0为关闭,建议关闭:export FLAGS_npu_storage_format=0 NPU在线编译false为关闭,建议小模型关闭,大模型打开:export FLAGS_npu_jit_compile=false aclnn_scale在大模型场景设置False性能更好,小模型场景设置True性能更好:expor... 训练常用环境变量本节介绍的环境变量建议在训练前提前设置好。 NPU私有格式0为关闭,建议关闭:export FLAGS_npu_storage_format=0 NPU在线编译false为关闭,建议小模型关闭,大模型打开:export FLAGS_npu_jit_compile=false aclnn_scale在大模型场景设置False性能更好,小模型场景设置True性能更好:expor...
- CANN环境准备 CANN镜像加载镜像下载完成后,使用 docker load 命令将下载好的镜像导入到昇腾主机上:docker load -i paddle-npu_cann80RC1-ubuntu20-aarch64-gcc84-py39.tar导入成功后,使用 docker images 查看镜像名称与标签:registry.baidubce.com/device/paddle-np... CANN环境准备 CANN镜像加载镜像下载完成后,使用 docker load 命令将下载好的镜像导入到昇腾主机上:docker load -i paddle-npu_cann80RC1-ubuntu20-aarch64-gcc84-py39.tar导入成功后,使用 docker images 查看镜像名称与标签:registry.baidubce.com/device/paddle-np...
- 全文给出三种模型的代码示例,以GraphSage为例主要讲解 GraphSage因为昇腾暂时还不支持PyG的torch_scatter,torch_sparse等加速库,所以还不能使用mini-batch方式训练GNN,此处都是in-memory的全图训练方式。首先构建一个GraphSAGE网络以下代码是一个两层的GraphSAGE网络,利用PyG提供的SAGEConv进行构建。class ... 全文给出三种模型的代码示例,以GraphSage为例主要讲解 GraphSage因为昇腾暂时还不支持PyG的torch_scatter,torch_sparse等加速库,所以还不能使用mini-batch方式训练GNN,此处都是in-memory的全图训练方式。首先构建一个GraphSAGE网络以下代码是一个两层的GraphSAGE网络,利用PyG提供的SAGEConv进行构建。class ...
- 环境昊算平台910b NPUdocker容器 下载中心Ascend/pytorch安装torch_npu插件-安装步骤-配置与安装-开发文档-昇腾社区 安装流程查阅所需的对应版本PyTorch Extension版本号采用{PyTorch版本}-{昇腾版本}命名规则,前者为PyTorch Extension匹配的PyTorch版本,后者用于匹配CANN版本,详细匹配如下:CANN版本支持的... 环境昊算平台910b NPUdocker容器 下载中心Ascend/pytorch安装torch_npu插件-安装步骤-配置与安装-开发文档-昇腾社区 安装流程查阅所需的对应版本PyTorch Extension版本号采用{PyTorch版本}-{昇腾版本}命名规则,前者为PyTorch Extension匹配的PyTorch版本,后者用于匹配CANN版本,详细匹配如下:CANN版本支持的...
- 环境昊算平台910b NPUdocker容器 安装步骤安装依赖-安装CANN(物理机场景)-软件安装-开发文档-昇腾社区apt安装miniconda安装 Apt首先进行换源,参考昇腾NPU容器内 apt 换源 Miniconda安装minicondamkdir -p ~/miniconda3wget https://repo.anaconda.com/miniconda/Miniconda... 环境昊算平台910b NPUdocker容器 安装步骤安装依赖-安装CANN(物理机场景)-软件安装-开发文档-昇腾社区apt安装miniconda安装 Apt首先进行换源,参考昇腾NPU容器内 apt 换源 Miniconda安装minicondamkdir -p ~/miniconda3wget https://repo.anaconda.com/miniconda/Miniconda...
- 环境昊算平台910b NPUdocker容器 下载中心社区版资源下载-资源下载中心-昇腾社区资源下载 安装流程此处以8.0.0.beta1为例下载对应版本Toolkithttps://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.0.0/Ascend-cann-toolkit_8.0.0_linux-aarch64.ru... 环境昊算平台910b NPUdocker容器 下载中心社区版资源下载-资源下载中心-昇腾社区资源下载 安装流程此处以8.0.0.beta1为例下载对应版本Toolkithttps://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.0.0/Ascend-cann-toolkit_8.0.0_linux-aarch64.ru...
- 环境昊算NPU云910b 问题缺少vim等,同时无法apt安装新的依赖 解决办法使用vi修改/etc/apt/sources.list.d/debian.sourcesTypes: debURIs: http://deb.debian.org/debianSuites: bookworm bookworm-updates bookworm-backportsComponents: main... 环境昊算NPU云910b 问题缺少vim等,同时无法apt安装新的依赖 解决办法使用vi修改/etc/apt/sources.list.d/debian.sourcesTypes: debURIs: http://deb.debian.org/debianSuites: bookworm bookworm-updates bookworm-backportsComponents: main...
- 环境昊算npu云910b 报错情况终端输入npu-smi info后报错:npu-smi: error while loading shared libraries: libc_sec.so: cannot open shared object file: No such file or directory 解决方案调用ldd /usr/local/bin/npu-smi查看缺少哪些文件r... 环境昊算npu云910b 报错情况终端输入npu-smi info后报错:npu-smi: error while loading shared libraries: libc_sec.so: cannot open shared object file: No such file or directory 解决方案调用ldd /usr/local/bin/npu-smi查看缺少哪些文件r...
- 前言本文重点介绍Paddle与NPU的适配工作,PaddlePaddle是一个深度学习框架,类似于pytorch;PaddleCustomDeviece是适配层代码,类似于pytorch adapter;模型侧代码根据领域分为PaddleNLP、PaddleMix、PaddleClas、PaddleOCR等。 前言本文重点介绍Paddle与NPU的适配工作,PaddlePaddle是一个深度学习框架,类似于pytorch;PaddleCustomDeviece是适配层代码,类似于pytorch adapter;模型侧代码根据领域分为PaddleNLP、PaddleMix、PaddleClas、PaddleOCR等。
- 开源for Huawei(参考:https://developer.huaweicloud.cn/programs/opensource/contributing/) 通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。 开源for Huawei(参考:https://developer.huaweicloud.cn/programs/opensource/contributing/) 通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。
- DeepSeek模型MOE结构代码详解;TinyVue v3.22.0 正式发布;基于昇腾服务器微调glm4-9b-chat案例。 DeepSeek模型MOE结构代码详解;TinyVue v3.22.0 正式发布;基于昇腾服务器微调glm4-9b-chat案例。
- 在自然语言处理领域,模型微调是一种强大的技术,可以让预训练模型适应特定的任务和数据集。本文将详细介绍如何使用 昇腾LLM分布式训练框架MindSpeed-LLM 进行 ChatGLM3-6B 模型的微调迁移,并结合工具进行性能分析和数据解析。 一、迁移准备 参考文档主要参考 昇腾LLM分布式训练框架MindSpeed-LLM 中的使用方式和流程进行迁移。 二、迁移步骤首先需要在安装好相关组件... 在自然语言处理领域,模型微调是一种强大的技术,可以让预训练模型适应特定的任务和数据集。本文将详细介绍如何使用 昇腾LLM分布式训练框架MindSpeed-LLM 进行 ChatGLM3-6B 模型的微调迁移,并结合工具进行性能分析和数据解析。 一、迁移准备 参考文档主要参考 昇腾LLM分布式训练框架MindSpeed-LLM 中的使用方式和流程进行迁移。 二、迁移步骤首先需要在安装好相关组件...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw,在线养虾2026/03/11 周三 19:00-21:00
刘昱,华为云高级工程师/谈心,华为云技术专家/李海仑,上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈,华为云码道最新推出 Skill ——开发者只需输入一句口令,即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道,玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中
热门标签