- 本文将会介绍一些更高阶的并行方式，如序列并行（SP），上下文并行（CP），混合序列并行Ulysess，ZeRO系列并行优化策略，完全分片数据并行（FSDP）。并且，在文章最后将汇总所有介绍过的并行方案与它们的通信模式，帮助读者初步建立起分布式训练与集合通信的知识结构体系。 本文将会介绍一些更高阶的并行方式，如序列并行（SP），上下文并行（CP），混合序列并行Ulysess，ZeRO系列并行优化策略，完全分片数据并行（FSDP）。并且，在文章最后将汇总所有介绍过的并行方案与它们的通信模式，帮助读者初步建立起分布式训练与集合通信的知识结构体系。
- 基于昇腾用PyTorch实现传统CTR模型WideDeep网络本文主要介绍如何在昇腾上使用pytorch对推荐系统中经典的网络模型WideDeep网络进行训练的实战讲解，使用数据集是criteo，主要内容分为以下几个模块：推荐系统概述WideDeep网络创新点介绍WideDeep的网络架构剖析及搭建使用criteo数据集训练WideDeep网络实战 - criteo数据集介绍 - 模型... 基于昇腾用PyTorch实现传统CTR模型WideDeep网络本文主要介绍如何在昇腾上使用pytorch对推荐系统中经典的网络模型WideDeep网络进行训练的实战讲解，使用数据集是criteo，主要内容分为以下几个模块：推荐系统概述WideDeep网络创新点介绍WideDeep的网络架构剖析及搭建使用criteo数据集训练WideDeep网络实战 - criteo数据集介绍 - 模型...
- 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作，希望能帮助读者理解分布式训练的原理，以及集合通信之于分布式训练的重要性和必要性。 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作，希望能帮助读者理解分布式训练的原理，以及集合通信之于分布式训练的重要性和必要性。
- 2023年12月，香橙派联合华为发布了基于昇腾的Orange Pi AIpro开发板，提供8/20TOPS澎湃算力，能覆盖生态开发板者的主流应用场景，让用户实践各种创新场景，并为其提供配套的软硬件。极具性价比的优势吸引了众多AI创客们的购买和体验，香橙派AIpro开发板到底长什么样？开放了哪些外设接口？搭载昇腾AI处理器后跑AI推理性能咋样？快来一睹为快吧 2023年12月，香橙派联合华为发布了基于昇腾的Orange Pi AIpro开发板，提供8/20TOPS澎湃算力，能覆盖生态开发板者的主流应用场景，让用户实践各种创新场景，并为其提供配套的软硬件。极具性价比的优势吸引了众多AI创客们的购买和体验，香橙派AIpro开发板到底长什么样？开放了哪些外设接口？搭载昇腾AI处理器后跑AI推理性能咋样？快来一睹为快吧
- 深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测方法与计算成本的关系。具体来说，尽管深度学习方法在日志异常检测方面取得了出色的性能，但它们通常需要更长的时间来进行日志预处理、模型训练和模型推断，从而阻碍了它们在需要快速部署日志异常检测服务的在线分布式云系统中的采用。本文对现有的基于经典机器学习和深度学习方法的日志异常检测方法进行了实证研究... 深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测方法与计算成本的关系。具体来说，尽管深度学习方法在日志异常检测方面取得了出色的性能，但它们通常需要更长的时间来进行日志预处理、模型训练和模型推断，从而阻碍了它们在需要快速部署日志异常检测服务的在线分布式云系统中的采用。本文对现有的基于经典机器学习和深度学习方法的日志异常检测方法进行了实证研究...
- 华为技术专家分享有关于LLM lifelong learning的概念，帮助大家了解持续学习的特性与理论知识，同时也详细介绍了MoE的发展史。 华为技术专家分享有关于LLM lifelong learning的概念，帮助大家了解持续学习的特性与理论知识，同时也详细介绍了MoE的发展史。
- 常有同学留言问我，想要学习昇腾AscendCL开发应该从何入手，有什么教程推荐？于是我就帮大家整理了一些网上的学习资源，分享给大家~ 常有同学留言问我，想要学习昇腾AscendCL开发应该从何入手，有什么教程推荐？于是我就帮大家整理了一些网上的学习资源，分享给大家~
- 深度学习基础入门篇[一]：神经元简介、单层多层感知机、距离计算方法式、相似度函数 深度学习基础入门篇[一]：神经元简介、单层多层感知机、距离计算方法式、相似度函数
- 这篇文章主要目的是为了让大家能够清楚如何用MindSpore2.0来进行模型的迁移，因此更加注重整体的开发流程介绍，针对迁移中代码的编写不会详细讲解，但是会给出样例以及供查阅的文档链接。最终希望读者能够了解迁移模型需要做什么，每一步应该怎么做，做完了应该怎么验证。 这篇文章主要目的是为了让大家能够清楚如何用MindSpore2.0来进行模型的迁移，因此更加注重整体的开发流程介绍，针对迁移中代码的编写不会详细讲解，但是会给出样例以及供查阅的文档链接。最终希望读者能够了解迁移模型需要做什么，每一步应该怎么做，做完了应该怎么验证。
- 推荐系统[一]：超详细知识介绍，一份完整的入门指南，解答推荐系统相关算法流程、衡量指标和应用，以及如何使用jieba分词库进行相似推荐 推荐系统[一]：超详细知识介绍，一份完整的入门指南，解答推荐系统相关算法流程、衡量指标和应用，以及如何使用jieba分词库进行相似推荐
- 在该论文中，作者提出了一种新型的Transformer模块，称为多轴自注意力（multi-axis self-attention, Max-SA），它可以作为基本的架构组件，在单个块中执行局部和全局空间交互。与完全自注意力相比，Max-SA具有更大的灵活性和效率，即自然适应不同的输入长度，具有线性复杂度。此外，Max-SA仅具有线性复杂度，可以用作网络任何层的通用独立注意力模块，增加少量的计算量。 在该论文中，作者提出了一种新型的Transformer模块，称为多轴自注意力（multi-axis self-attention, Max-SA），它可以作为基本的架构组件，在单个块中执行局部和全局空间交互。与完全自注意力相比，Max-SA具有更大的灵活性和效率，即自然适应不同的输入长度，具有线性复杂度。此外，Max-SA仅具有线性复杂度，可以用作网络任何层的通用独立注意力模块，增加少量的计算量。
- 当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。最后将Normalization概念应用于图像领域，并给出实现的相关细节以及示例代码。 当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。最后将Normalization概念应用于图像领域，并给出实现的相关细节以及示例代码。
- 2022年，CANN不断突破自我，全新开放升级，迈入新台阶。2023年，CANN将提供更开放、更易用的全新体验！ 2022年，CANN不断突破自我，全新开放升级，迈入新台阶。2023年，CANN将提供更开放、更易用的全新体验！
- 数据增强（也叫数据扩增）的目的是为了扩充数据和提升模型的泛化能力。有效的数据扩充不仅能扩充训练样本数量，还能增加训练样本的多样性，一方面可避免过拟合，另一方面又会带来模型性能的提升。 数据增强（也叫数据扩增）的目的是为了扩充数据和提升模型的泛化能力。有效的数据扩充不仅能扩充训练样本数量，还能增加训练样本的多样性，一方面可避免过拟合，另一方面又会带来模型性能的提升。
- 人类在最近1万多年的发展中，经历了农耕时代、蒸汽机时代、电力时代、互联网时代，21世纪，进入了人工智能时代。每一次科技浪潮都通过某一项先进生产力要素的突破，进而引起大多数行业的变革：以信息技术为核心的第三次科技革命迄今已逾70年，整个将全球GDP提升约60倍，其中1950年－1990年，是半导体产业迅猛发展的时代，推动了大型计算机向个人PC的小型化；1990年至今是近30年的互联网全球化时代... 人类在最近1万多年的发展中，经历了农耕时代、蒸汽机时代、电力时代、互联网时代，21世纪，进入了人工智能时代。每一次科技浪潮都通过某一项先进生产力要素的突破，进而引起大多数行业的变革：以信息技术为核心的第三次科技革命迄今已逾70年，整个将全球GDP提升约60倍，其中1950年－1990年，是半导体产业迅猛发展的时代，推动了大型计算机向个人PC的小型化；1990年至今是近30年的互联网全球化时代...
上滑加载中
推荐直播
-
华为云软件开发生产线（CodeArts）1月&2月新特性解读2025/03/18 周二 19:00-20:00
阿星 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线1月&2月发布的新特性，并在直播过程中为您答疑解惑。
回顾中 -
基于能力图谱的openGauss项目闯关2025/03/20 周四 19:00-20:30
华为开发者布道师
想成为顶级数据库开发者吗？本次直播将从银行业务系统的数据库设计出发，带你逐步掌握openGauss的建库表、数据封装、密态技术、性能调优及AI应用。通过实战案例，全面展示openGauss的强大功能，助你提升技能，为未来的职业发展打下坚实基础。立即报名，开启你的数据库进阶之旅！
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中
热门标签