- 在自然语言处理领域，模型微调是一种强大的技术，可以让预训练模型适应特定的任务和数据集。本文将详细介绍如何使用 昇腾LLM分布式训练框架MindSpeed-LLM 进行 ChatGLM3-6B 模型的微调迁移，并结合工具进行性能分析和数据解析。 一、迁移准备 参考文档主要参考 昇腾LLM分布式训练框架MindSpeed-LLM 中的使用方式和流程进行迁移。 二、迁移步骤首先需要在安装好相关组件... 在自然语言处理领域，模型微调是一种强大的技术，可以让预训练模型适应特定的任务和数据集。本文将详细介绍如何使用 昇腾LLM分布式训练框架MindSpeed-LLM 进行 ChatGLM3-6B 模型的微调迁移，并结合工具进行性能分析和数据解析。 一、迁移准备 参考文档主要参考 昇腾LLM分布式训练框架MindSpeed-LLM 中的使用方式和流程进行迁移。 二、迁移步骤首先需要在安装好相关组件...
- 一、华为Ascend 310B与PyTorch兼容性1. 硬件与软件支持华为Ascend 310B是一款专为AI推理设计的高能效、高集成度的AI处理器，主要用于边缘计算场景。虽然Ascend 310B本身没有直接运行PyTorch的原生能力，但借助华为的异构计算架构（CANN）和相关工具，用户可以在Ascend 310B上运行PyTorch模型。2. 模型转换与环境配置在Ascend 310... 一、华为Ascend 310B与PyTorch兼容性1. 硬件与软件支持华为Ascend 310B是一款专为AI推理设计的高能效、高集成度的AI处理器，主要用于边缘计算场景。虽然Ascend 310B本身没有直接运行PyTorch的原生能力，但借助华为的异构计算架构（CANN）和相关工具，用户可以在Ascend 310B上运行PyTorch模型。2. 模型转换与环境配置在Ascend 310...
- 服务化性能调优 前置准备完成MindIE环境的安装，参考链接下载好要调优的模型权重下载好性能测试数据集 调优流程下面以Llama3-8B为例，讲解调优全流程 1.查看模型权重大小Llama3-8B权重为15GB 2.计算npuMemSize计算公式为：Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数]，系数取值为0.8单卡空闲显存：61GB空闲占用：约3GBnpuMemSize... 服务化性能调优 前置准备完成MindIE环境的安装，参考链接下载好要调优的模型权重下载好性能测试数据集 调优流程下面以Llama3-8B为例，讲解调优全流程 1.查看模型权重大小Llama3-8B权重为15GB 2.计算npuMemSize计算公式为：Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数]，系数取值为0.8单卡空闲显存：61GB空闲占用：约3GBnpuMemSize...
- MindIE Torch整体介绍 整体架构 推理迁移工作流 关键特性 特性1：配合torch_npu实现子图+单算子混合执行 特性2：支持C++和Python编程 特性3：支持TorchScript、ExportedProgram多种模式 特性4：支持静态Shape、动态Shape模型编译 MindIE Torch demo开发 MindIE Torch整体介绍 整体架构 推理迁移工作流 ... MindIE Torch整体介绍 整体架构 推理迁移工作流 关键特性 特性1：配合torch_npu实现子图+单算子混合执行 特性2：支持C++和Python编程 特性3：支持TorchScript、ExportedProgram多种模式 特性4：支持静态Shape、动态Shape模型编译 MindIE Torch demo开发 MindIE Torch整体介绍 整体架构 推理迁移工作流 ...
- 报名CANN训练营赢多重好礼！ 报名CANN训练营赢多重好礼！
- 登录昇腾社区参与直播互动，好礼送不停 登录昇腾社区参与直播互动，好礼送不停
- 海量学习资源，丰富实操挑战，多种大奖轻松拿 海量学习资源，丰富实操挑战，多种大奖轻松拿
- “2025云领未来系列沙龙：当 AI 遇见可观测，如何颠覆传统运维模式？”活动在中关村发展大厦顺利召；openGauss 7.0.0-RC1 版本正式发布；昇腾CANN算子共建仓已经正式上线... “2025云领未来系列沙龙：当 AI 遇见可观测，如何颠覆传统运维模式？”活动在中关村发展大厦顺利召；openGauss 7.0.0-RC1 版本正式发布；昇腾CANN算子共建仓已经正式上线...
- 打造“开发者共同驱动”的AI创新平台 打造“开发者共同驱动”的AI创新平台
- 昇腾与科大讯飞等行业领跑者，正在各个维度开放合作，验证大模型的落地应用进程，持续向千行百业输出新质生产力，有望形成“模型越强、落地越多、用户越广、算力越大”的增长飞轮，掀起一股不可逆的产业革命。 昇腾与科大讯飞等行业领跑者，正在各个维度开放合作，验证大模型的落地应用进程，持续向千行百业输出新质生产力，有望形成“模型越强、落地越多、用户越广、算力越大”的增长飞轮，掀起一股不可逆的产业革命。
- 1 Pytorch的compile技术PyTorch 的 torch.compile 是一个强大的功能，用于优化 PyTorch 模型的性能。它通过将 PyTorch 的动态图转换为静态图，并利用 Just-In-Time（JIT）编译技术，显著提高模型的推理速度和训练效率。 1.1 PyTorch torch.compile 的作用torch.compile 是 PyTorch 的一个实... 1 Pytorch的compile技术PyTorch 的 torch.compile 是一个强大的功能，用于优化 PyTorch 模型的性能。它通过将 PyTorch 的动态图转换为静态图，并利用 Just-In-Time（JIT）编译技术，显著提高模型的推理速度和训练效率。 1.1 PyTorch torch.compile 的作用torch.compile 是 PyTorch 的一个实...
- 深圳，2025年3月22日 —— 在今日举办的华为鲲鹏合作伙伴大会上，全爱科技作为华为昇腾与鲲鹏合作伙伴，正式发布面向工业场景的的“后羿"工业计算机解决方案。该方案是基于华为鲲鹏KP920处理器与昇腾A310P构建"CPU+NPU"异构算力架构，采用OpenEuler、麒麟国产操作系统。 全爱科技"昇腾+鲲鹏"双引擎工业计算解决方案全爱科技“后羿”工业计算解决方案推出系列产品，其中QAKP9... 深圳，2025年3月22日 —— 在今日举办的华为鲲鹏合作伙伴大会上，全爱科技作为华为昇腾与鲲鹏合作伙伴，正式发布面向工业场景的的“后羿"工业计算机解决方案。该方案是基于华为鲲鹏KP920处理器与昇腾A310P构建"CPU+NPU"异构算力架构，采用OpenEuler、麒麟国产操作系统。 全爱科技"昇腾+鲲鹏"双引擎工业计算解决方案全爱科技“后羿”工业计算解决方案推出系列产品，其中QAKP9...
- 最近qwen2.5系列模型有点火，在昇腾上跑了一下，发现性能稍微有点弱，于是想采用量化推理来提升一下性能，在昇腾官网找到了这篇指导：https://www.hiascend.com/software/modelzoo/models/detail/bd96097296c3426aa3827a8a7cbeb8c6于是决定采用w8a8量化进行推理性能优化。 1. 下载模型权重建议从魔乐社区下载权重... 最近qwen2.5系列模型有点火，在昇腾上跑了一下，发现性能稍微有点弱，于是想采用量化推理来提升一下性能，在昇腾官网找到了这篇指导：https://www.hiascend.com/software/modelzoo/models/detail/bd96097296c3426aa3827a8a7cbeb8c6于是决定采用w8a8量化进行推理性能优化。 1. 下载模型权重建议从魔乐社区下载权重...
- RFT强化微调是一种新型LLM微调方法，通过强化学习与传统微调结合，少量数据即可显著增强领域场景的模型能力。近期，华为云ModelArts Studio大模型开发平台上线强化微调RFT功能，并支持对盘古大模型进行强化微调训练。本文实验通过仅800条医疗辅诊数据训练，模型领域效果提升达10.5%，显著优于DeepSeek-R1等优质通用推理大模型，为大模型的行业领域快速落地提供全新方案。 RFT强化微调是一种新型LLM微调方法，通过强化学习与传统微调结合，少量数据即可显著增强领域场景的模型能力。近期，华为云ModelArts Studio大模型开发平台上线强化微调RFT功能，并支持对盘古大模型进行强化微调训练。本文实验通过仅800条医疗辅诊数据训练，模型领域效果提升达10.5%，显著优于DeepSeek-R1等优质通用推理大模型，为大模型的行业领域快速落地提供全新方案。
- 过去两年里，大模型可以说外界讨论最多的技术话题，且几乎每一次都会出现这样的疑问：大模型的价值到底在哪里？不少人曾尝试给出答案。在日常工作中，生成式AI的能力渐渐成为一种标配，写文案、生成图像、文本翻译、编程等应用越来越成熟。在日常生活中，一个个智能体深度影响了人们的生活，酝酿出了聊天对话、图生视频、帮点外卖等新奇玩法。不久前举办的昇腾AI创新大赛，从另一个角度进行了回答：在千行万业的细分场景... 过去两年里，大模型可以说外界讨论最多的技术话题，且几乎每一次都会出现这样的疑问：大模型的价值到底在哪里？不少人曾尝试给出答案。在日常工作中，生成式AI的能力渐渐成为一种标配，写文案、生成图像、文本翻译、编程等应用越来越成熟。在日常生活中，一个个智能体深度影响了人们的生活，酝酿出了聊天对话、图生视频、帮点外卖等新奇玩法。不久前举办的昇腾AI创新大赛，从另一个角度进行了回答：在千行万业的细分场景...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签