- 如何减少Host Bound模型的Device空闲时间,从而优化模型执行性能显得尤其重要,GE(Graph Engine)图引擎通过图模式的Host调度和模型下沉调度的方式,可提升模型调度性能,缩短模型E2E执行时间。 如何减少Host Bound模型的Device空闲时间,从而优化模型执行性能显得尤其重要,GE(Graph Engine)图引擎通过图模式的Host调度和模型下沉调度的方式,可提升模型调度性能,缩短模型E2E执行时间。
- 随着人工智能应用日益成熟,文本、图片、音频、视频等非结构化数据的处理需求呈指数级增长,数据处理过程从通用计算逐步向异构计算过渡。面对多样化的计算需求,昇腾AI处理器内置丰富的硬件计算资源用于处理不同的计算任务。其中,AI Core、Vector Core与AI CPU分别负责AI计算场景下的矩阵、向量与标量计算,DVPP支持图像、视频等数据的加速处理,而HCCL作为华为集合通信库,则提供单机多卡及 随着人工智能应用日益成熟,文本、图片、音频、视频等非结构化数据的处理需求呈指数级增长,数据处理过程从通用计算逐步向异构计算过渡。面对多样化的计算需求,昇腾AI处理器内置丰富的硬件计算资源用于处理不同的计算任务。其中,AI Core、Vector Core与AI CPU分别负责AI计算场景下的矩阵、向量与标量计算,DVPP支持图像、视频等数据的加速处理,而HCCL作为华为集合通信库,则提供单机多卡及
- 随着大模型时代的到来,AI算法的能力上限不断被刷新,算力门槛也在持续飙升,如何在有限的计算资源的条件下优化和训练模型显得尤其重要。面向计算图编译和运行优化场景,昇腾AI异构计算架构CANN(Compute Architecture for Neural Networks)开放GE(Graph Engine)图引擎,通过计算图优化、计算图下沉、内存复用和多流水并行等技术可将计算图执行性能提升20%, 随着大模型时代的到来,AI算法的能力上限不断被刷新,算力门槛也在持续飙升,如何在有限的计算资源的条件下优化和训练模型显得尤其重要。面向计算图编译和运行优化场景,昇腾AI异构计算架构CANN(Compute Architecture for Neural Networks)开放GE(Graph Engine)图引擎,通过计算图优化、计算图下沉、内存复用和多流水并行等技术可将计算图执行性能提升20%,
- Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,最大化匹配用户开发习惯;通过多层接口抽象、自动并行计算、孪生调试等关键技术,极大提高算子开发效率,助力AI开发者低成本完成算子开发和模型调优部署。全新升级的Ascend C 2.0版本将进一步贴近用户大模型场景的开发诉求,带来更易用的开发体验和更强大的算子执行性能。 Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,最大化匹配用户开发习惯;通过多层接口抽象、自动并行计算、孪生调试等关键技术,极大提高算子开发效率,助力AI开发者低成本完成算子开发和模型调优部署。全新升级的Ascend C 2.0版本将进一步贴近用户大模型场景的开发诉求,带来更易用的开发体验和更强大的算子执行性能。
- LLM的Attention部分处理给计算系统带来巨大的计算和访存压力。业界先后出现FlashAttention、FlashAttention2等算法,通过计算等价和切分有效降低片上内存数据访问量。 LLM的Attention部分处理给计算系统带来巨大的计算和访存压力。业界先后出现FlashAttention、FlashAttention2等算法,通过计算等价和切分有效降低片上内存数据访问量。
- Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,兼具开发效率和运行性能。基于Ascend C编写的算子程序,通过编译器编译和运行时调度,运行在昇腾AI处理器上。使用Ascend C,开发者可以基于昇腾AI硬件高效实现自定义的创新算法。 Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,兼具开发效率和运行性能。基于Ascend C编写的算子程序,通过编译器编译和运行时调度,运行在昇腾AI处理器上。使用Ascend C,开发者可以基于昇腾AI硬件高效实现自定义的创新算法。
- 昇腾AI硬件内置专门用于图像预处理的硬件单元,开发者通过其上层软件栈CANN能够更加便捷地发挥出硬件强大的媒体处理硬加速能力。香橙派AIpro开发板是香橙派联合昇腾打造的高性能AI开发板,开发者可以基于此,对不满足神经网络模型输入要求的数据进行预处理,从而更好地完成AI推理计算。 昇腾AI硬件内置专门用于图像预处理的硬件单元,开发者通过其上层软件栈CANN能够更加便捷地发挥出硬件强大的媒体处理硬加速能力。香橙派AIpro开发板是香橙派联合昇腾打造的高性能AI开发板,开发者可以基于此,对不满足神经网络模型输入要求的数据进行预处理,从而更好地完成AI推理计算。
- 模型转换的过程要用到 ATC 工具,目前 ATC 工具直接支持从 Caffe、ONNX、TensorFlow 以及 MindSpore模型的转换,所以如果你的训练框架是 PyTorch,则需要做 torch.onnx.export 操作导出成ONNX模型后才能使用ATC工具。 模型转换的过程要用到 ATC 工具,目前 ATC 工具直接支持从 Caffe、ONNX、TensorFlow 以及 MindSpore模型的转换,所以如果你的训练框架是 PyTorch,则需要做 torch.onnx.export 操作导出成ONNX模型后才能使用ATC工具。
- 香橙派AIpro开发板是香橙派联合昇腾精心打造的高性能AI开发板,开发者可以基于昇腾CANN软件栈能力,快速构建AI应用和业务,实现图像、视频等多种数据分析与推理计算。在之前的文章中,我们已经了解了如何搭建开发环境,并基于昇腾CANN开发AI推理应用。 香橙派AIpro开发板是香橙派联合昇腾精心打造的高性能AI开发板,开发者可以基于昇腾CANN软件栈能力,快速构建AI应用和业务,实现图像、视频等多种数据分析与推理计算。在之前的文章中,我们已经了解了如何搭建开发环境,并基于昇腾CANN开发AI推理应用。
- 解析GaussDB(DWS)数据仓库如何与大数据生态快速对接,如何高效访问开源数据;通过故障注入场景,来展示Sermant热插拔能力的应用价值;基于Ascend C开发自定义算子PReLU... 解析GaussDB(DWS)数据仓库如何与大数据生态快速对接,如何高效访问开源数据;通过故障注入场景,来展示Sermant热插拔能力的应用价值;基于Ascend C开发自定义算子PReLU...
- 大模型时代弯道超车,解锁开发者必备4大关键技术。 大模型时代弯道超车,解锁开发者必备4大关键技术。
- Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,最大化匹配用户开发习惯;通过多层接口抽象、自动并行计算、孪生调试等关键技术,极大提高算子开发效率,助力AI开发者低成本完成算子开发和模型调优部署。 Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,最大化匹配用户开发习惯;通过多层接口抽象、自动并行计算、孪生调试等关键技术,极大提高算子开发效率,助力AI开发者低成本完成算子开发和模型调优部署。
- AscendCL是昇腾计算开放编程框架,是对底层昇腾计算服务接口的封装,支持C&C++、Python编程语言,能够实现深度学习推理计算、图形图像预处理、单算子加速计算等能力。掌握了AscendCL的编程方法就意味着可以在香橙派AIpro开发板上充分利用昇腾的算力资源,能够基于深度学习算法开发图片分类、目标检测等一系列深度学习推理计算程序。 AscendCL是昇腾计算开放编程框架,是对底层昇腾计算服务接口的封装,支持C&C++、Python编程语言,能够实现深度学习推理计算、图形图像预处理、单算子加速计算等能力。掌握了AscendCL的编程方法就意味着可以在香橙派AIpro开发板上充分利用昇腾的算力资源,能够基于深度学习算法开发图片分类、目标检测等一系列深度学习推理计算程序。
- 华为云盘古凭借大模型安全解决方案,成为业界首个在大模型可信领域获得卓越级(5级)评分的大模型产品;鸿蒙与昇腾云的深度协同,将打破算力及AI能力的瓶颈,带给鸿蒙生态内的企业更快、更强、更可靠的智能化开发体验;with...as 语句是 Python 中一项非常灵活和广泛应用的语法特性... 华为云盘古凭借大模型安全解决方案,成为业界首个在大模型可信领域获得卓越级(5级)评分的大模型产品;鸿蒙与昇腾云的深度协同,将打破算力及AI能力的瓶颈,带给鸿蒙生态内的企业更快、更强、更可靠的智能化开发体验;with...as 语句是 Python 中一项非常灵活和广泛应用的语法特性...
- “今天,所有的行业必须拥抱AI,我们必须要有澎湃的AI算力,华为云矢志要将技术扎到根,做AI算力的沃土,推动行业智能应用创新,携手伙伴构建核心技术生态,共同加速千行万业的智能化。”3月15日,在2024年华为云&华为终端云创新峰会上,华为公司常务董事、华为云CEO张平安表示。▲华为公司常务董事、华为云CEO张平安2021年6月3日,张平安首次提出“云云协同”策略,即把基础设施底座华为云和移动... “今天,所有的行业必须拥抱AI,我们必须要有澎湃的AI算力,华为云矢志要将技术扎到根,做AI算力的沃土,推动行业智能应用创新,携手伙伴构建核心技术生态,共同加速千行万业的智能化。”3月15日,在2024年华为云&华为终端云创新峰会上,华为公司常务董事、华为云CEO张平安表示。▲华为公司常务董事、华为云CEO张平安2021年6月3日,张平安首次提出“云云协同”策略,即把基础设施底座华为云和移动...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例
2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制,把香橙派封装为AI推理黑盒服务,构建了分布式远程推理框架,并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架,解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题,真正做到开箱即用,并支持多种笔记本电脑环境、多种不同编程语言,10行代码即可体验图像分割迁移案例。
即将直播 -
鸿蒙端云一体化应用开发
2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例,介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法,端侧(HarmonyOS平台)一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法,为开发端云一体化应用打下坚实基础。
即将直播
热门标签