- 服务化性能调优 前置准备完成MindIE环境的安装，参考链接下载好要调优的模型权重下载好性能测试数据集 调优流程下面以Llama3-8B为例，讲解调优全流程 1.查看模型权重大小Llama3-8B权重为15GB 2.计算npuMemSize计算公式为：Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数]，系数取值为0.8单卡空闲显存：61GB空闲占用：约3GBnpuMemSize... 服务化性能调优 前置准备完成MindIE环境的安装，参考链接下载好要调优的模型权重下载好性能测试数据集 调优流程下面以Llama3-8B为例，讲解调优全流程 1.查看模型权重大小Llama3-8B权重为15GB 2.计算npuMemSize计算公式为：Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数]，系数取值为0.8单卡空闲显存：61GB空闲占用：约3GBnpuMemSize...
- MindIE Torch整体介绍 整体架构 推理迁移工作流 关键特性 特性1：配合torch_npu实现子图+单算子混合执行 特性2：支持C++和Python编程 特性3：支持TorchScript、ExportedProgram多种模式 特性4：支持静态Shape、动态Shape模型编译 MindIE Torch demo开发 MindIE Torch整体介绍 整体架构 推理迁移工作流 ... MindIE Torch整体介绍 整体架构 推理迁移工作流 关键特性 特性1：配合torch_npu实现子图+单算子混合执行 特性2：支持C++和Python编程 特性3：支持TorchScript、ExportedProgram多种模式 特性4：支持静态Shape、动态Shape模型编译 MindIE Torch demo开发 MindIE Torch整体介绍 整体架构 推理迁移工作流 ...
- 报名CANN训练营赢多重好礼！ 报名CANN训练营赢多重好礼！
- 登录昇腾社区参与直播互动，好礼送不停 登录昇腾社区参与直播互动，好礼送不停
- 海量学习资源，丰富实操挑战，多种大奖轻松拿 海量学习资源，丰富实操挑战，多种大奖轻松拿
- “2025云领未来系列沙龙：当 AI 遇见可观测，如何颠覆传统运维模式？”活动在中关村发展大厦顺利召；openGauss 7.0.0-RC1 版本正式发布；昇腾CANN算子共建仓已经正式上线... “2025云领未来系列沙龙：当 AI 遇见可观测，如何颠覆传统运维模式？”活动在中关村发展大厦顺利召；openGauss 7.0.0-RC1 版本正式发布；昇腾CANN算子共建仓已经正式上线...
- 打造“开发者共同驱动”的AI创新平台 打造“开发者共同驱动”的AI创新平台
- 本方案基于Dify低代码平台构建，结合DeepSeek-R1大模型推理能力与后端服务，实现从用户自然语言提问到智能数据查询、分析与可视化反馈的工作流系统，最终以用户友好的形式呈现结果，为企业构建自动化数据洞察助手。适用于需要智能决策支持的企业，如销售分析、客服优化、合规审计等场景，兼顾成本与数据安全，助力高效业务决策。 本方案基于Dify低代码平台构建，结合DeepSeek-R1大模型推理能力与后端服务，实现从用户自然语言提问到智能数据查询、分析与可视化反馈的工作流系统，最终以用户友好的形式呈现结果，为企业构建自动化数据洞察助手。适用于需要智能决策支持的企业，如销售分析、客服优化、合规审计等场景，兼顾成本与数据安全，助力高效业务决策。
- 昇腾与科大讯飞等行业领跑者，正在各个维度开放合作，验证大模型的落地应用进程，持续向千行百业输出新质生产力，有望形成“模型越强、落地越多、用户越广、算力越大”的增长飞轮，掀起一股不可逆的产业革命。 昇腾与科大讯飞等行业领跑者，正在各个维度开放合作，验证大模型的落地应用进程，持续向千行百业输出新质生产力，有望形成“模型越强、落地越多、用户越广、算力越大”的增长飞轮，掀起一股不可逆的产业革命。
- 1 Pytorch的compile技术PyTorch 的 torch.compile 是一个强大的功能，用于优化 PyTorch 模型的性能。它通过将 PyTorch 的动态图转换为静态图，并利用 Just-In-Time（JIT）编译技术，显著提高模型的推理速度和训练效率。 1.1 PyTorch torch.compile 的作用torch.compile 是 PyTorch 的一个实... 1 Pytorch的compile技术PyTorch 的 torch.compile 是一个强大的功能，用于优化 PyTorch 模型的性能。它通过将 PyTorch 的动态图转换为静态图，并利用 Just-In-Time（JIT）编译技术，显著提高模型的推理速度和训练效率。 1.1 PyTorch torch.compile 的作用torch.compile 是 PyTorch 的一个实...
- 深圳，2025年3月22日 —— 在今日举办的华为鲲鹏合作伙伴大会上，全爱科技作为华为昇腾与鲲鹏合作伙伴，正式发布面向工业场景的的“后羿"工业计算机解决方案。该方案是基于华为鲲鹏KP920处理器与昇腾A310P构建"CPU+NPU"异构算力架构，采用OpenEuler、麒麟国产操作系统。 全爱科技"昇腾+鲲鹏"双引擎工业计算解决方案全爱科技“后羿”工业计算解决方案推出系列产品，其中QAKP9... 深圳，2025年3月22日 —— 在今日举办的华为鲲鹏合作伙伴大会上，全爱科技作为华为昇腾与鲲鹏合作伙伴，正式发布面向工业场景的的“后羿"工业计算机解决方案。该方案是基于华为鲲鹏KP920处理器与昇腾A310P构建"CPU+NPU"异构算力架构，采用OpenEuler、麒麟国产操作系统。 全爱科技"昇腾+鲲鹏"双引擎工业计算解决方案全爱科技“后羿”工业计算解决方案推出系列产品，其中QAKP9...
- 最近qwen2.5系列模型有点火，在昇腾上跑了一下，发现性能稍微有点弱，于是想采用量化推理来提升一下性能，在昇腾官网找到了这篇指导：https://www.hiascend.com/software/modelzoo/models/detail/bd96097296c3426aa3827a8a7cbeb8c6于是决定采用w8a8量化进行推理性能优化。 1. 下载模型权重建议从魔乐社区下载权重... 最近qwen2.5系列模型有点火，在昇腾上跑了一下，发现性能稍微有点弱，于是想采用量化推理来提升一下性能，在昇腾官网找到了这篇指导：https://www.hiascend.com/software/modelzoo/models/detail/bd96097296c3426aa3827a8a7cbeb8c6于是决定采用w8a8量化进行推理性能优化。 1. 下载模型权重建议从魔乐社区下载权重...
- RFT强化微调是一种新型LLM微调方法，通过强化学习与传统微调结合，少量数据即可显著增强领域场景的模型能力。近期，华为云ModelArts Studio大模型开发平台上线强化微调RFT功能，并支持对盘古大模型进行强化微调训练。本文实验通过仅800条医疗辅诊数据训练，模型领域效果提升达10.5%，显著优于DeepSeek-R1等优质通用推理大模型，为大模型的行业领域快速落地提供全新方案。 RFT强化微调是一种新型LLM微调方法，通过强化学习与传统微调结合，少量数据即可显著增强领域场景的模型能力。近期，华为云ModelArts Studio大模型开发平台上线强化微调RFT功能，并支持对盘古大模型进行强化微调训练。本文实验通过仅800条医疗辅诊数据训练，模型领域效果提升达10.5%，显著优于DeepSeek-R1等优质通用推理大模型，为大模型的行业领域快速落地提供全新方案。
- 过去两年里，大模型可以说外界讨论最多的技术话题，且几乎每一次都会出现这样的疑问：大模型的价值到底在哪里？不少人曾尝试给出答案。在日常工作中，生成式AI的能力渐渐成为一种标配，写文案、生成图像、文本翻译、编程等应用越来越成熟。在日常生活中，一个个智能体深度影响了人们的生活，酝酿出了聊天对话、图生视频、帮点外卖等新奇玩法。不久前举办的昇腾AI创新大赛，从另一个角度进行了回答：在千行万业的细分场景... 过去两年里，大模型可以说外界讨论最多的技术话题，且几乎每一次都会出现这样的疑问：大模型的价值到底在哪里？不少人曾尝试给出答案。在日常工作中，生成式AI的能力渐渐成为一种标配，写文案、生成图像、文本翻译、编程等应用越来越成熟。在日常生活中，一个个智能体深度影响了人们的生活，酝酿出了聊天对话、图生视频、帮点外卖等新奇玩法。不久前举办的昇腾AI创新大赛，从另一个角度进行了回答：在千行万业的细分场景...
- 图神经网络（Graph Neural Networks，GNN）是人工智能领域最火热的课题之一，近年来，越来越多的研究机构和企业投入大量精力研究图神经网络，推出了自己的图学习引擎，并将其广泛应用在社交网络、电商推荐、欺诈检测、知识图谱等领域。目前，主流的开源图学习引擎有DGL，PyG，GraphScope，Angel，PGL等，其基本信息如下：可以看出，DGL和PyG支持的算法数量最多，且... 图神经网络（Graph Neural Networks，GNN）是人工智能领域最火热的课题之一，近年来，越来越多的研究机构和企业投入大量精力研究图神经网络，推出了自己的图学习引擎，并将其广泛应用在社交网络、电商推荐、欺诈检测、知识图谱等领域。目前，主流的开源图学习引擎有DGL，PyG，GraphScope，Angel，PGL等，其基本信息如下：可以看出，DGL和PyG支持的算法数量最多，且...
上滑加载中
推荐直播
-
妙手轻取华为云上自动化部署2025/05/28 周三 16:30-17:30
阿肯-华为云生态技术讲师
还在一直手动进行薛定谔式部署吗？想尝试自动化又怕搞不定？其实你只是不知道这有多简单。本节课掰开一个个细节理清楚。
回顾中 -
-
华为云软件开发生产线（CodeArts）4月新特性解读2025/05/30 周五 16:30-17:30
Enki 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线4月发布的新特性，并在直播过程中为您答疑解惑。
去报名
热门标签