- GE（Graph Engine）将模型的调度分为Host调度与下沉调度两种模式。经过上期的介绍我们知道，在模型为静态shape时，由于其输入tensor shape固定不变，在编译时就能确定所有算子的输入输出shape，并能提前完成模型级内存编排、tiling计算等Host调度工作，因此采用模型下沉调度方式可以将整个模型下沉到Device侧执行，从而提升模型调度性能。 GE（Graph Engine）将模型的调度分为Host调度与下沉调度两种模式。经过上期的介绍我们知道，在模型为静态shape时，由于其输入tensor shape固定不变，在编译时就能确定所有算子的输入输出shape，并能提前完成模型级内存编排、tiling计算等Host调度工作，因此采用模型下沉调度方式可以将整个模型下沉到Device侧执行，从而提升模型调度性能。
- 如何减少Host Bound模型的Device空闲时间，从而优化模型执行性能显得尤其重要，GE（Graph Engine）图引擎通过图模式的Host调度和模型下沉调度的方式，可提升模型调度性能，缩短模型E2E执行时间。 如何减少Host Bound模型的Device空闲时间，从而优化模型执行性能显得尤其重要，GE（Graph Engine）图引擎通过图模式的Host调度和模型下沉调度的方式，可提升模型调度性能，缩短模型E2E执行时间。
- HDC 2024分论坛精彩回顾；解读云原生中间件，构筑软件安全可信；从数字化到数智化，华为云赋能伙伴万象更新；赋能云场景下DTSE服务各类开发者的案例分享；AI大模型时代给企业知识库带来哪些机遇和挑战 HDC 2024分论坛精彩回顾；解读云原生中间件，构筑软件安全可信；从数字化到数智化，华为云赋能伙伴万象更新；赋能云场景下DTSE服务各类开发者的案例分享；AI大模型时代给企业知识库带来哪些机遇和挑战
- 随着人工智能应用日益成熟，文本、图片、音频、视频等非结构化数据的处理需求呈指数级增长，数据处理过程从通用计算逐步向异构计算过渡。面对多样化的计算需求，昇腾AI处理器内置丰富的硬件计算资源用于处理不同的计算任务。其中，AI Core、Vector Core与AI CPU分别负责AI计算场景下的矩阵、向量与标量计算，DVPP支持图像、视频等数据的加速处理，而HCCL作为华为集合通信库，则提供单机多卡及 随着人工智能应用日益成熟，文本、图片、音频、视频等非结构化数据的处理需求呈指数级增长，数据处理过程从通用计算逐步向异构计算过渡。面对多样化的计算需求，昇腾AI处理器内置丰富的硬件计算资源用于处理不同的计算任务。其中，AI Core、Vector Core与AI CPU分别负责AI计算场景下的矩阵、向量与标量计算，DVPP支持图像、视频等数据的加速处理，而HCCL作为华为集合通信库，则提供单机多卡及
- 随着大模型时代的到来，AI算法的能力上限不断被刷新，算力门槛也在持续飙升，如何在有限的计算资源的条件下优化和训练模型显得尤其重要。面向计算图编译和运行优化场景，昇腾AI异构计算架构CANN（Compute Architecture for Neural Networks）开放GE（Graph Engine）图引擎，通过计算图优化、计算图下沉、内存复用和多流水并行等技术可将计算图执行性能提升20%， 随着大模型时代的到来，AI算法的能力上限不断被刷新，算力门槛也在持续飙升，如何在有限的计算资源的条件下优化和训练模型显得尤其重要。面向计算图编译和运行优化场景，昇腾AI异构计算架构CANN（Compute Architecture for Neural Networks）开放GE（Graph Engine）图引擎，通过计算图优化、计算图下沉、内存复用和多流水并行等技术可将计算图执行性能提升20%，
- Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，最大化匹配用户开发习惯；通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率，助力AI开发者低成本完成算子开发和模型调优部署。全新升级的Ascend C 2.0版本将进一步贴近用户大模型场景的开发诉求，带来更易用的开发体验和更强大的算子执行性能。 Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，最大化匹配用户开发习惯；通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率，助力AI开发者低成本完成算子开发和模型调优部署。全新升级的Ascend C 2.0版本将进一步贴近用户大模型场景的开发诉求，带来更易用的开发体验和更强大的算子执行性能。
- LLM的Attention部分处理给计算系统带来巨大的计算和访存压力。业界先后出现FlashAttention、FlashAttention2等算法，通过计算等价和切分有效降低片上内存数据访问量。 LLM的Attention部分处理给计算系统带来巨大的计算和访存压力。业界先后出现FlashAttention、FlashAttention2等算法，通过计算等价和切分有效降低片上内存数据访问量。
- Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。基于Ascend C编写的算子程序，通过编译器编译和运行时调度，运行在昇腾AI处理器上。使用Ascend C，开发者可以基于昇腾AI硬件高效实现自定义的创新算法。 Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。基于Ascend C编写的算子程序，通过编译器编译和运行时调度，运行在昇腾AI处理器上。使用Ascend C，开发者可以基于昇腾AI硬件高效实现自定义的创新算法。
- 关于AI的本质认知，其实还远未到清晰的程度 关于AI的本质认知，其实还远未到清晰的程度
- 昇腾AI硬件内置专门用于图像预处理的硬件单元，开发者通过其上层软件栈CANN能够更加便捷地发挥出硬件强大的媒体处理硬加速能力。香橙派AIpro开发板是香橙派联合昇腾打造的高性能AI开发板，开发者可以基于此，对不满足神经网络模型输入要求的数据进行预处理，从而更好地完成AI推理计算。 昇腾AI硬件内置专门用于图像预处理的硬件单元，开发者通过其上层软件栈CANN能够更加便捷地发挥出硬件强大的媒体处理硬加速能力。香橙派AIpro开发板是香橙派联合昇腾打造的高性能AI开发板，开发者可以基于此，对不满足神经网络模型输入要求的数据进行预处理，从而更好地完成AI推理计算。
- 模型转换的过程要用到 ATC 工具，目前 ATC 工具直接支持从 Caffe、ONNX、TensorFlow 以及 MindSpore模型的转换，所以如果你的训练框架是 PyTorch，则需要做 torch.onnx.export 操作导出成ONNX模型后才能使用ATC工具。 模型转换的过程要用到 ATC 工具，目前 ATC 工具直接支持从 Caffe、ONNX、TensorFlow 以及 MindSpore模型的转换，所以如果你的训练框架是 PyTorch，则需要做 torch.onnx.export 操作导出成ONNX模型后才能使用ATC工具。
- 香橙派AIpro开发板是香橙派联合昇腾精心打造的高性能AI开发板，开发者可以基于昇腾CANN软件栈能力，快速构建AI应用和业务，实现图像、视频等多种数据分析与推理计算。在之前的文章中，我们已经了解了如何搭建开发环境，并基于昇腾CANN开发AI推理应用。 香橙派AIpro开发板是香橙派联合昇腾精心打造的高性能AI开发板，开发者可以基于昇腾CANN软件栈能力，快速构建AI应用和业务，实现图像、视频等多种数据分析与推理计算。在之前的文章中，我们已经了解了如何搭建开发环境，并基于昇腾CANN开发AI推理应用。
- Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，最大化匹配用户开发习惯；通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率，助力AI开发者低成本完成算子开发和模型调优部署。 Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，最大化匹配用户开发习惯；通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率，助力AI开发者低成本完成算子开发和模型调优部署。
- AscendCL是昇腾计算开放编程框架，是对底层昇腾计算服务接口的封装，支持C&C++、Python编程语言，能够实现深度学习推理计算、图形图像预处理、单算子加速计算等能力。掌握了AscendCL的编程方法就意味着可以在香橙派AIpro开发板上充分利用昇腾的算力资源，能够基于深度学习算法开发图片分类、目标检测等一系列深度学习推理计算程序。 AscendCL是昇腾计算开放编程框架，是对底层昇腾计算服务接口的封装，支持C&C++、Python编程语言，能够实现深度学习推理计算、图形图像预处理、单算子加速计算等能力。掌握了AscendCL的编程方法就意味着可以在香橙派AIpro开发板上充分利用昇腾的算力资源，能够基于深度学习算法开发图片分类、目标检测等一系列深度学习推理计算程序。
- 2023年12月，香橙派联合华为发布了基于昇腾的Orange Pi AIpro开发板，提供8/20TOPS澎湃算力，能覆盖生态开发板者的主流应用场景，让用户实践各种创新场景，并为其提供配套的软硬件。极具性价比的优势吸引了众多AI创客们的购买和体验，香橙派AIpro开发板到底长什么样？开放了哪些外设接口？搭载昇腾AI处理器后跑AI推理性能咋样？快来一睹为快吧 2023年12月，香橙派联合华为发布了基于昇腾的Orange Pi AIpro开发板，提供8/20TOPS澎湃算力，能覆盖生态开发板者的主流应用场景，让用户实践各种创新场景，并为其提供配套的软硬件。极具性价比的优势吸引了众多AI创客们的购买和体验，香橙派AIpro开发板到底长什么样？开放了哪些外设接口？搭载昇腾AI处理器后跑AI推理性能咋样？快来一睹为快吧
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
去报名
热门标签