- 在自然语言处理领域，模型微调是一种强大的技术，可以让预训练模型适应特定的任务和数据集。本文将详细介绍如何使用 昇腾LLM分布式训练框架MindSpeed-LLM 进行 ChatGLM3-6B 模型的微调迁移，并结合工具进行性能分析和数据解析。 一、迁移准备 参考文档主要参考 昇腾LLM分布式训练框架MindSpeed-LLM 中的使用方式和流程进行迁移。 二、迁移步骤首先需要在安装好相关组件... 在自然语言处理领域，模型微调是一种强大的技术，可以让预训练模型适应特定的任务和数据集。本文将详细介绍如何使用 昇腾LLM分布式训练框架MindSpeed-LLM 进行 ChatGLM3-6B 模型的微调迁移，并结合工具进行性能分析和数据解析。 一、迁移准备 参考文档主要参考 昇腾LLM分布式训练框架MindSpeed-LLM 中的使用方式和流程进行迁移。 二、迁移步骤首先需要在安装好相关组件...
- 一、华为Ascend 310B与PyTorch兼容性1. 硬件与软件支持华为Ascend 310B是一款专为AI推理设计的高能效、高集成度的AI处理器，主要用于边缘计算场景。虽然Ascend 310B本身没有直接运行PyTorch的原生能力，但借助华为的异构计算架构（CANN）和相关工具，用户可以在Ascend 310B上运行PyTorch模型。2. 模型转换与环境配置在Ascend 310... 一、华为Ascend 310B与PyTorch兼容性1. 硬件与软件支持华为Ascend 310B是一款专为AI推理设计的高能效、高集成度的AI处理器，主要用于边缘计算场景。虽然Ascend 310B本身没有直接运行PyTorch的原生能力，但借助华为的异构计算架构（CANN）和相关工具，用户可以在Ascend 310B上运行PyTorch模型。2. 模型转换与环境配置在Ascend 310...
- 服务化性能调优 前置准备完成MindIE环境的安装，参考链接下载好要调优的模型权重下载好性能测试数据集 调优流程下面以Llama3-8B为例，讲解调优全流程 1.查看模型权重大小Llama3-8B权重为15GB 2.计算npuMemSize计算公式为：Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数]，系数取值为0.8单卡空闲显存：61GB空闲占用：约3GBnpuMemSize... 服务化性能调优 前置准备完成MindIE环境的安装，参考链接下载好要调优的模型权重下载好性能测试数据集 调优流程下面以Llama3-8B为例，讲解调优全流程 1.查看模型权重大小Llama3-8B权重为15GB 2.计算npuMemSize计算公式为：Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数]，系数取值为0.8单卡空闲显存：61GB空闲占用：约3GBnpuMemSize...
- MindIE Torch整体介绍 整体架构 推理迁移工作流 关键特性 特性1：配合torch_npu实现子图+单算子混合执行 特性2：支持C++和Python编程 特性3：支持TorchScript、ExportedProgram多种模式 特性4：支持静态Shape、动态Shape模型编译 MindIE Torch demo开发 MindIE Torch整体介绍 整体架构 推理迁移工作流 ... MindIE Torch整体介绍 整体架构 推理迁移工作流 关键特性 特性1：配合torch_npu实现子图+单算子混合执行 特性2：支持C++和Python编程 特性3：支持TorchScript、ExportedProgram多种模式 特性4：支持静态Shape、动态Shape模型编译 MindIE Torch demo开发 MindIE Torch整体介绍 整体架构 推理迁移工作流 ...
- 报名CANN训练营赢多重好礼！ 报名CANN训练营赢多重好礼！
- 登录昇腾社区参与直播互动，好礼送不停 登录昇腾社区参与直播互动，好礼送不停
- 海量学习资源，丰富实操挑战，多种大奖轻松拿 海量学习资源，丰富实操挑战，多种大奖轻松拿
- “2025云领未来系列沙龙：当 AI 遇见可观测，如何颠覆传统运维模式？”活动在中关村发展大厦顺利召；openGauss 7.0.0-RC1 版本正式发布；昇腾CANN算子共建仓已经正式上线... “2025云领未来系列沙龙：当 AI 遇见可观测，如何颠覆传统运维模式？”活动在中关村发展大厦顺利召；openGauss 7.0.0-RC1 版本正式发布；昇腾CANN算子共建仓已经正式上线...
- 打造“开发者共同驱动”的AI创新平台 打造“开发者共同驱动”的AI创新平台
- 昇腾与科大讯飞等行业领跑者，正在各个维度开放合作，验证大模型的落地应用进程，持续向千行百业输出新质生产力，有望形成“模型越强、落地越多、用户越广、算力越大”的增长飞轮，掀起一股不可逆的产业革命。 昇腾与科大讯飞等行业领跑者，正在各个维度开放合作，验证大模型的落地应用进程，持续向千行百业输出新质生产力，有望形成“模型越强、落地越多、用户越广、算力越大”的增长飞轮，掀起一股不可逆的产业革命。
- 1 Pytorch的compile技术PyTorch 的 torch.compile 是一个强大的功能，用于优化 PyTorch 模型的性能。它通过将 PyTorch 的动态图转换为静态图，并利用 Just-In-Time（JIT）编译技术，显著提高模型的推理速度和训练效率。 1.1 PyTorch torch.compile 的作用torch.compile 是 PyTorch 的一个实... 1 Pytorch的compile技术PyTorch 的 torch.compile 是一个强大的功能，用于优化 PyTorch 模型的性能。它通过将 PyTorch 的动态图转换为静态图，并利用 Just-In-Time（JIT）编译技术，显著提高模型的推理速度和训练效率。 1.1 PyTorch torch.compile 的作用torch.compile 是 PyTorch 的一个实...
- 深圳，2025年3月22日 —— 在今日举办的华为鲲鹏合作伙伴大会上，全爱科技作为华为昇腾与鲲鹏合作伙伴，正式发布面向工业场景的的“后羿"工业计算机解决方案。该方案是基于华为鲲鹏KP920处理器与昇腾A310P构建"CPU+NPU"异构算力架构，采用OpenEuler、麒麟国产操作系统。 全爱科技"昇腾+鲲鹏"双引擎工业计算解决方案全爱科技“后羿”工业计算解决方案推出系列产品，其中QAKP9... 深圳，2025年3月22日 —— 在今日举办的华为鲲鹏合作伙伴大会上，全爱科技作为华为昇腾与鲲鹏合作伙伴，正式发布面向工业场景的的“后羿"工业计算机解决方案。该方案是基于华为鲲鹏KP920处理器与昇腾A310P构建"CPU+NPU"异构算力架构，采用OpenEuler、麒麟国产操作系统。 全爱科技"昇腾+鲲鹏"双引擎工业计算解决方案全爱科技“后羿”工业计算解决方案推出系列产品，其中QAKP9...
- 最近qwen2.5系列模型有点火，在昇腾上跑了一下，发现性能稍微有点弱，于是想采用量化推理来提升一下性能，在昇腾官网找到了这篇指导：https://www.hiascend.com/software/modelzoo/models/detail/bd96097296c3426aa3827a8a7cbeb8c6于是决定采用w8a8量化进行推理性能优化。 1. 下载模型权重建议从魔乐社区下载权重... 最近qwen2.5系列模型有点火，在昇腾上跑了一下，发现性能稍微有点弱，于是想采用量化推理来提升一下性能，在昇腾官网找到了这篇指导：https://www.hiascend.com/software/modelzoo/models/detail/bd96097296c3426aa3827a8a7cbeb8c6于是决定采用w8a8量化进行推理性能优化。 1. 下载模型权重建议从魔乐社区下载权重...
- RFT强化微调是一种新型LLM微调方法，通过强化学习与传统微调结合，少量数据即可显著增强领域场景的模型能力。近期，华为云ModelArts Studio大模型开发平台上线强化微调RFT功能，并支持对盘古大模型进行强化微调训练。本文实验通过仅800条医疗辅诊数据训练，模型领域效果提升达10.5%，显著优于DeepSeek-R1等优质通用推理大模型，为大模型的行业领域快速落地提供全新方案。 RFT强化微调是一种新型LLM微调方法，通过强化学习与传统微调结合，少量数据即可显著增强领域场景的模型能力。近期，华为云ModelArts Studio大模型开发平台上线强化微调RFT功能，并支持对盘古大模型进行强化微调训练。本文实验通过仅800条医疗辅诊数据训练，模型领域效果提升达10.5%，显著优于DeepSeek-R1等优质通用推理大模型，为大模型的行业领域快速落地提供全新方案。
- 过去两年里，大模型可以说外界讨论最多的技术话题，且几乎每一次都会出现这样的疑问：大模型的价值到底在哪里？不少人曾尝试给出答案。在日常工作中，生成式AI的能力渐渐成为一种标配，写文案、生成图像、文本翻译、编程等应用越来越成熟。在日常生活中，一个个智能体深度影响了人们的生活，酝酿出了聊天对话、图生视频、帮点外卖等新奇玩法。不久前举办的昇腾AI创新大赛，从另一个角度进行了回答：在千行万业的细分场景... 过去两年里，大模型可以说外界讨论最多的技术话题，且几乎每一次都会出现这样的疑问：大模型的价值到底在哪里？不少人曾尝试给出答案。在日常工作中，生成式AI的能力渐渐成为一种标配，写文案、生成图像、文本翻译、编程等应用越来越成熟。在日常生活中，一个个智能体深度影响了人们的生活，酝酿出了聊天对话、图生视频、帮点外卖等新奇玩法。不久前举办的昇腾AI创新大赛，从另一个角度进行了回答：在千行万业的细分场景...
上滑加载中
推荐直播
-
仓颉编程语言开源创新人才培养经验分享2025/08/06 周三 19:00-20:00
张引 -华为开发者布道师-高校教师
热情而富有活力的仓颉社区为学生的学习提供了一个充满机遇和挑战的平台。本次直播探讨如何运用社区的力量帮助同学们变身为开源开发者，从而完成从学生到工程师身份的转变。
回顾中 -
“全域洞察·智控未来” ——云资源监控实战2025/08/08 周五 15:00-16:00
星璇 华为云监控产品经理，霄图 华为云监控体验设计师，云枢 华为云可观测产品经理
本期直播深度解析全栈监控技术实践，揭秘华为云、头部企业如何通过智能监控实现业务零中断，分享高可用系统背后的“鹰眼系统”。即刻预约，解锁数字化转型的运维密码！
即将直播
热门标签