- 文章来源于时习知公众号全文约2484字,阅读约需9分钟DeepSeek的惊艳亮相让人们开始关注稀疏模式(如MoE,混合专家模型),这种模式不仅改变了AI模型的训练和推理方式,还对语料(知识)的管理和利用提出了新的挑战与机遇。接下来,笔者将从稀疏模式的特点分析出发,来探讨稀疏模式对于语料需求变化和RAG(Retrieval-Augmented Generation,检索增强生成)的影响。 PA... 文章来源于时习知公众号全文约2484字,阅读约需9分钟DeepSeek的惊艳亮相让人们开始关注稀疏模式(如MoE,混合专家模型),这种模式不仅改变了AI模型的训练和推理方式,还对语料(知识)的管理和利用提出了新的挑战与机遇。接下来,笔者将从稀疏模式的特点分析出发,来探讨稀疏模式对于语料需求变化和RAG(Retrieval-Augmented Generation,检索增强生成)的影响。 PA...
- 网上有许多DeepSeek训练技术的相关文章,但大部分都涉及到大量技术术语,非专业人士不容易理解。为了让大家能够快速理解DeepSeek,笔者把网络知识结合自己的思考,用一种通俗的方式来给大家讲解DeepSeek的训练技术。 DeepSeek-R1中提到的模型训练流程如下: 看不懂?没关系,接下来我们用通俗的例子来讲明白里面原理。 01 R1-Zero (R1模型的前世)DeepSeek团队... 网上有许多DeepSeek训练技术的相关文章,但大部分都涉及到大量技术术语,非专业人士不容易理解。为了让大家能够快速理解DeepSeek,笔者把网络知识结合自己的思考,用一种通俗的方式来给大家讲解DeepSeek的训练技术。 DeepSeek-R1中提到的模型训练流程如下: 看不懂?没关系,接下来我们用通俗的例子来讲明白里面原理。 01 R1-Zero (R1模型的前世)DeepSeek团队...
- 文章来源于时习知公众号全文约2421字,阅读约需8分钟随着人工智能技术的快速迭代,AI知识库作为企业智能化转型的核心基础设施,已成为数据价值转化的重要载体。然而,AI知识库是一个包含大量事实、规则和关系的数据库,用于支持AI系统的知识表示(知识表示是将关于世界的信息表示为符合机器处理的模式,用于模拟人对世界的认知和推理,以解决人工智能中的复杂任务)和推理,AI知识库的高效运作与价值释放高度依... 文章来源于时习知公众号全文约2421字,阅读约需8分钟随着人工智能技术的快速迭代,AI知识库作为企业智能化转型的核心基础设施,已成为数据价值转化的重要载体。然而,AI知识库是一个包含大量事实、规则和关系的数据库,用于支持AI系统的知识表示(知识表示是将关于世界的信息表示为符合机器处理的模式,用于模拟人对世界的认知和推理,以解决人工智能中的复杂任务)和推理,AI知识库的高效运作与价值释放高度依...
- Dify应用开发平台的文档知识库默认保存在服务器磁盘上,不好维护且随着文档数据逐渐增大磁盘有占满风险,本文档主要帮助您将Dify的知识库挂载在对象存储服务OBS上。 Dify应用开发平台的文档知识库默认保存在服务器磁盘上,不好维护且随着文档数据逐渐增大磁盘有占满风险,本文档主要帮助您将Dify的知识库挂载在对象存储服务OBS上。
- Dify是一款开源的 LLM 应用开发平台,提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力,轻松构建和运营生成式 AI 原生应用。本文将带你快速搭建基于DeepSeek-R1-Distill-Qwen-32B的Dify工作流最佳实践,实现从知识库或者搜索引擎进行检索。 Dify是一款开源的 LLM 应用开发平台,提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力,轻松构建和运营生成式 AI 原生应用。本文将带你快速搭建基于DeepSeek-R1-Distill-Qwen-32B的Dify工作流最佳实践,实现从知识库或者搜索引擎进行检索。
- 文章来源于时习知公众号全文约2029字,阅读约需7分钟。随着人工智能技术的快速发展,AI Agent成为大模型研究的热点。AI Agent是一种具备主动思考和行动能力的智能体,能够自主感知环境、形成记忆、规划和执行任务,并能与其他Agent协作。但是AI Agent的发展也面临较多的挑战,下面我们就来深入探讨一下。 01 AI Agent发展现状 AI Agent是指通过训练大规模的神经网... 文章来源于时习知公众号全文约2029字,阅读约需7分钟。随着人工智能技术的快速发展,AI Agent成为大模型研究的热点。AI Agent是一种具备主动思考和行动能力的智能体,能够自主感知环境、形成记忆、规划和执行任务,并能与其他Agent协作。但是AI Agent的发展也面临较多的挑战,下面我们就来深入探讨一下。 01 AI Agent发展现状 AI Agent是指通过训练大规模的神经网...
- 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作,希望能帮助读者理解分布式训练的原理,以及集合通信之于分布式训练的重要性和必要性。 本专题介绍常见的深度学习分布式训练的并行策略和背后使用到的集合通信操作,希望能帮助读者理解分布式训练的原理,以及集合通信之于分布式训练的重要性和必要性。
- 在昇腾AI异构计算架构CANN最新推出的8.0版本中,基于LLM P-D分离部署方案设计并发布LLM-DataDist组件,API简单易用,可以低开发成本被MindIE-LLM、vLLM等大模型推理框架集成,并在近一年支撑了多个大模型业务的规模化商用。 在昇腾AI异构计算架构CANN最新推出的8.0版本中,基于LLM P-D分离部署方案设计并发布LLM-DataDist组件,API简单易用,可以低开发成本被MindIE-LLM、vLLM等大模型推理框架集成,并在近一年支撑了多个大模型业务的规模化商用。
- 近日,在华为全联接大会2024期间,华为常务董事、ICT基础设施业务管理委员会主任汪涛重磅发布CANN 8.0。 近日,在华为全联接大会2024期间,华为常务董事、ICT基础设施业务管理委员会主任汪涛重磅发布CANN 8.0。
- Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,兼具开发效率和运行性能。使用Ascend C,开发者可以基于昇腾AI硬件,高效的实现自定义的创新算法。 Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,兼具开发效率和运行性能。使用Ascend C,开发者可以基于昇腾AI硬件,高效的实现自定义的创新算法。
- 异构计算与人工智能的关系是什么?昇腾AI异构计算架构CANN是什么?有哪些主要特点?开发者如何利用CANN的原生能力进行大模型创新,构筑差异化竞争力?带着这些问题,我们来认识昇腾AI异构计算架构——CANN。 异构计算与人工智能的关系是什么?昇腾AI异构计算架构CANN是什么?有哪些主要特点?开发者如何利用CANN的原生能力进行大模型创新,构筑差异化竞争力?带着这些问题,我们来认识昇腾AI异构计算架构——CANN。
- 本文给读者介绍了HCCL算法开发所涉及的概念和流程,并通过一个样例将前文介绍的内容串联起来。本文定位为HCCL算法开发的入门介绍,读者读完后,可结合HCCL开放代码仓中的算法样例,做深入研究。 本文给读者介绍了HCCL算法开发所涉及的概念和流程,并通过一个样例将前文介绍的内容串联起来。本文定位为HCCL算法开发的入门介绍,读者读完后,可结合HCCL开放代码仓中的算法样例,做深入研究。
- Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,兼具开发效率和运行性能。使用Ascend C,开发者可以基于昇腾AI硬件,高效的实现自定义的创新算法。 Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,兼具开发效率和运行性能。使用Ascend C,开发者可以基于昇腾AI硬件,高效的实现自定义的创新算法。
- 目前已经有越来越多的开发者使用Ascend C,我们将通过几期“Ascend C算子性能优化”专题分享,围绕开发者最为关心的算子性能优化环节,介绍Ascend C算子常用的优化技巧,帮助开发者自主构建出更优性能的算子。专题内容将围绕流水优化、搬运优化、内存优化、API使用优化以及Tiling优化等优化技巧,从方案讲解、优化案例、性能对比等多角度展开介绍。 目前已经有越来越多的开发者使用Ascend C,我们将通过几期“Ascend C算子性能优化”专题分享,围绕开发者最为关心的算子性能优化环节,介绍Ascend C算子常用的优化技巧,帮助开发者自主构建出更优性能的算子。专题内容将围绕流水优化、搬运优化、内存优化、API使用优化以及Tiling优化等优化技巧,从方案讲解、优化案例、性能对比等多角度展开介绍。
- 为加速大模型算力释放,昇腾提供AOL(Ascend Operator Library)算子加速库,不仅覆盖Softmax、MatMul等基础算子,也包括了大模型结构泛化的Flash Attention等高性能融合算子,开发者可以直接使用昇腾内置的算子加速库使能大模型创新与应用。 为加速大模型算力释放,昇腾提供AOL(Ascend Operator Library)算子加速库,不仅覆盖Softmax、MatMul等基础算子,也包括了大模型结构泛化的Flash Attention等高性能融合算子,开发者可以直接使用昇腾内置的算子加速库使能大模型创新与应用。
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例
2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制,把香橙派封装为AI推理黑盒服务,构建了分布式远程推理框架,并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架,解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题,真正做到开箱即用,并支持多种笔记本电脑环境、多种不同编程语言,10行代码即可体验图像分割迁移案例。
即将直播 -
鸿蒙端云一体化应用开发
2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例,介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法,端侧(HarmonyOS平台)一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法,为开发端云一体化应用打下坚实基础。
即将直播
热门标签