- 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作，希望能帮助读者理解分布式训练的原理，以及集合通信之于分布式训练的重要性和必要性。 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作，希望能帮助读者理解分布式训练的原理，以及集合通信之于分布式训练的重要性和必要性。
- 在昇腾AI异构计算架构CANN最新推出的8.0版本中，基于LLM P-D分离部署方案设计并发布LLM-DataDist组件，API简单易用，可以低开发成本被MindIE-LLM、vLLM等大模型推理框架集成，并在近一年支撑了多个大模型业务的规模化商用。 在昇腾AI异构计算架构CANN最新推出的8.0版本中，基于LLM P-D分离部署方案设计并发布LLM-DataDist组件，API简单易用，可以低开发成本被MindIE-LLM、vLLM等大模型推理框架集成，并在近一年支撑了多个大模型业务的规模化商用。
- Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。使用Ascend C，开发者可以基于昇腾AI硬件，高效的实现自定义的创新算法。 Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。使用Ascend C，开发者可以基于昇腾AI硬件，高效的实现自定义的创新算法。
- 想知道如何在鲲鹏平台上快速上手应用开发吗？鲲鹏DevKit告诉你答案！本期直播将聚焦鲲鹏DevKit，它集成了开发、编译、调试、调优、测试等软件开发的各个环节，帮助开发者完成基于鲲鹏服务器的一站式应用开发，提升应用开发效率，提升应用性能。 想知道如何在鲲鹏平台上快速上手应用开发吗？鲲鹏DevKit告诉你答案！本期直播将聚焦鲲鹏DevKit，它集成了开发、编译、调试、调优、测试等软件开发的各个环节，帮助开发者完成基于鲲鹏服务器的一站式应用开发，提升应用开发效率，提升应用性能。
- 关注【昇腾CANN】视频号快速预约直播！ 关注【昇腾CANN】视频号快速预约直播！
- 近日，在华为全联接大会2024期间，华为常务董事、ICT基础设施业务管理委员会主任汪涛重磅发布CANN 8.0。 近日，在华为全联接大会2024期间，华为常务董事、ICT基础设施业务管理委员会主任汪涛重磅发布CANN 8.0。
- Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。使用Ascend C，开发者可以基于昇腾AI硬件，高效的实现自定义的创新算法。 Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。使用Ascend C，开发者可以基于昇腾AI硬件，高效的实现自定义的创新算法。
- 异构计算与人工智能的关系是什么？昇腾AI异构计算架构CANN是什么？有哪些主要特点？开发者如何利用CANN的原生能力进行大模型创新，构筑差异化竞争力？带着这些问题，我们来认识昇腾AI异构计算架构——CANN。 异构计算与人工智能的关系是什么？昇腾AI异构计算架构CANN是什么？有哪些主要特点？开发者如何利用CANN的原生能力进行大模型创新，构筑差异化竞争力？带着这些问题，我们来认识昇腾AI异构计算架构——CANN。
- 本文给读者介绍了HCCL算法开发所涉及的概念和流程，并通过一个样例将前文介绍的内容串联起来。本文定位为HCCL算法开发的入门介绍，读者读完后，可结合HCCL开放代码仓中的算法样例，做深入研究。 本文给读者介绍了HCCL算法开发所涉及的概念和流程，并通过一个样例将前文介绍的内容串联起来。本文定位为HCCL算法开发的入门介绍，读者读完后，可结合HCCL开放代码仓中的算法样例，做深入研究。
- Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。使用Ascend C，开发者可以基于昇腾AI硬件，高效的实现自定义的创新算法。 Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。使用Ascend C，开发者可以基于昇腾AI硬件，高效的实现自定义的创新算法。
- 目前已经有越来越多的开发者使用Ascend C，我们将通过几期“Ascend C算子性能优化”专题分享，围绕开发者最为关心的算子性能优化环节，介绍Ascend C算子常用的优化技巧，帮助开发者自主构建出更优性能的算子。专题内容将围绕流水优化、搬运优化、内存优化、API使用优化以及Tiling优化等优化技巧，从方案讲解、优化案例、性能对比等多角度展开介绍。 目前已经有越来越多的开发者使用Ascend C，我们将通过几期“Ascend C算子性能优化”专题分享，围绕开发者最为关心的算子性能优化环节，介绍Ascend C算子常用的优化技巧，帮助开发者自主构建出更优性能的算子。专题内容将围绕流水优化、搬运优化、内存优化、API使用优化以及Tiling优化等优化技巧，从方案讲解、优化案例、性能对比等多角度展开介绍。
- 为加速大模型算力释放，昇腾提供AOL（Ascend Operator Library）算子加速库，不仅覆盖Softmax、MatMul等基础算子，也包括了大模型结构泛化的Flash Attention等高性能融合算子，开发者可以直接使用昇腾内置的算子加速库使能大模型创新与应用。 为加速大模型算力释放，昇腾提供AOL（Ascend Operator Library）算子加速库，不仅覆盖Softmax、MatMul等基础算子，也包括了大模型结构泛化的Flash Attention等高性能融合算子，开发者可以直接使用昇腾内置的算子加速库使能大模型创新与应用。
- GE（Graph Engine）将模型的调度分为Host调度与下沉调度两种模式。经过上期的介绍我们知道，在模型为静态shape时，由于其输入tensor shape固定不变，在编译时就能确定所有算子的输入输出shape，并能提前完成模型级内存编排、tiling计算等Host调度工作，因此采用模型下沉调度方式可以将整个模型下沉到Device侧执行，从而提升模型调度性能。 GE（Graph Engine）将模型的调度分为Host调度与下沉调度两种模式。经过上期的介绍我们知道，在模型为静态shape时，由于其输入tensor shape固定不变，在编译时就能确定所有算子的输入输出shape，并能提前完成模型级内存编排、tiling计算等Host调度工作，因此采用模型下沉调度方式可以将整个模型下沉到Device侧执行，从而提升模型调度性能。
- 如何减少Host Bound模型的Device空闲时间，从而优化模型执行性能显得尤其重要，GE（Graph Engine）图引擎通过图模式的Host调度和模型下沉调度的方式，可提升模型调度性能，缩短模型E2E执行时间。 如何减少Host Bound模型的Device空闲时间，从而优化模型执行性能显得尤其重要，GE（Graph Engine）图引擎通过图模式的Host调度和模型下沉调度的方式，可提升模型调度性能，缩短模型E2E执行时间。
- HDC 2024分论坛精彩回顾；解读云原生中间件，构筑软件安全可信；从数字化到数智化，华为云赋能伙伴万象更新；赋能云场景下DTSE服务各类开发者的案例分享；AI大模型时代给企业知识库带来哪些机遇和挑战 HDC 2024分论坛精彩回顾；解读云原生中间件，构筑软件安全可信；从数字化到数智化，华为云赋能伙伴万象更新；赋能云场景下DTSE服务各类开发者的案例分享；AI大模型时代给企业知识库带来哪些机遇和挑战
上滑加载中
推荐直播
-
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中，数据主题域如何合理划分？数据标准及主数据标准如何制定？数仓分层模型如何合理规划？华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案！本期将从数据趋势、数据治理方案、数据治理规划及落地，案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
回顾中 -
大模型+知识库（RAG）：如何使能行业数智化？—华为行业数字化转型实践分享2024/11/27 周三 19:00-20:00
华为人工智能专家史老师
本次直播，我们特别邀请了华为人工智能专家史老师，将以大模型知识库为切入点，详细揭示大模型与知识库结合的过程，并分享利用大模型+知识库（RAG）使能行业数智化转型的实践经验。
正在直播 -
2024年川渝职工软件创新应用技能竞赛·开幕式2024/11/28 周四 09:30-10:30
华为云讲师团
数字川渝，智创未来。2024年川渝职工软件创新应用技能竞赛决赛在即，科技精英蓄势待发！直击开幕式直播现场，共同点燃科技激情！
即将直播
热门标签