- KV Cache显存占用的因素有大模型的层数、MHA中的头数、kv向量的长度、数字表示的精度、上下文长度以及推理请求的个数。其中上下文长度，推理请求的个数会动态的影响KV Cache，会造成KV Cache缓存规模成倍的增加，物理显存限制和显存带宽会显著影响计算效率。 KV Cache显存占用的因素有大模型的层数、MHA中的头数、kv向量的长度、数字表示的精度、上下文长度以及推理请求的个数。其中上下文长度，推理请求的个数会动态的影响KV Cache，会造成KV Cache缓存规模成倍的增加，物理显存限制和显存带宽会显著影响计算效率。
- 基于Decoder-only的大模型在自回归生成过程中，模型的输出使逐token。每一个新token，模型都会与上下文的所有token进行注意力计算,这将造成巨大的重复计算。 基于Decoder-only的大模型在自回归生成过程中，模型的输出使逐token。每一个新token，模型都会与上下文的所有token进行注意力计算,这将造成巨大的重复计算。
- 混合专家模型（MoE，Mixture of Experts）核心思想是：使用多个并行的 FeedForward（专家）替代单一的 FeedForward 层，并通过 Router（路由器）根据输入 Token 选择其中少量最合适的专家参与计算。这样大幅增加了模型的总参数量，又不会等比例增加计算量 混合专家模型（MoE，Mixture of Experts）核心思想是：使用多个并行的 FeedForward（专家）替代单一的 FeedForward 层，并通过 Router（路由器）根据输入 Token 选择其中少量最合适的专家参与计算。这样大幅增加了模型的总参数量，又不会等比例增加计算量
- QLoRA 的核心思想是：先对预训练模型权重和优化器状态的显存占用进行压缩，再在其上应用 LoRA 进行参数高效微调。 QLoRA 的核心思想是：先对预训练模型权重和优化器状态的显存占用进行压缩，再在其上应用 LoRA 进行参数高效微调。
- 在全量微调（Full Fine-tuning）过程中,权重增量形成的矩阵是低秩矩阵。 在全量微调（Full Fine-tuning）过程中,权重增量形成的矩阵是低秩矩阵。
- 激活函数的存在是为神经网络引入了非线性，使得神经网络能够学习和表示复杂的非线性关系。 激活函数的存在是为神经网络引入了非线性，使得神经网络能够学习和表示复杂的非线性关系。
- “猫吃鱼”和“鱼吃猫”？ “猫吃鱼”和“鱼吃猫”？
- 随着模型越来越大，上下文越来越长，传统注意力机制的问题逐渐暴露出来。为了解决问题，业界提出了一系列结构的改进，在保持模型能力的同时显著提升了推理效率。 随着模型越来越大，上下文越来越长，传统注意力机制的问题逐渐暴露出来。为了解决问题，业界提出了一系列结构的改进，在保持模型能力的同时显著提升了推理效率。
- 回顾 GPT 系列的发展演化，对生成式大模型的祛魅，以及对深入理解大语言模型的技术路径与能力形成的机制具有重要意义。 回顾 GPT 系列的发展演化，对生成式大模型的祛魅，以及对深入理解大语言模型的技术路径与能力形成的机制具有重要意义。
- MindSpore 推荐系统实战推荐系统是现代互联网应用的核心技术之一，从电商平台的商品推荐到视频平台的个性化内容推送，推荐算法无处不在。本文将深入讲解如何使用 MindSpore 构建一个完整的推荐系统，涵盖协同过滤、矩阵分解、深度学习推荐模型等核心技术。 一、推荐系统概述 1.1 推荐系统的价值推荐系统的核心目标是解决信息过载问题，帮助用户从海量内容中发现感兴趣的物品。一个优秀的推荐系... MindSpore 推荐系统实战推荐系统是现代互联网应用的核心技术之一，从电商平台的商品推荐到视频平台的个性化内容推送，推荐算法无处不在。本文将深入讲解如何使用 MindSpore 构建一个完整的推荐系统，涵盖协同过滤、矩阵分解、深度学习推荐模型等核心技术。 一、推荐系统概述 1.1 推荐系统的价值推荐系统的核心目标是解决信息过载问题，帮助用户从海量内容中发现感兴趣的物品。一个优秀的推荐系...
- 基于Transformer预训练-BERT构建一个文本情感分类模型 基于Transformer预训练-BERT构建一个文本情感分类模型
- 基于传统序列模型（RNN，LSTM和GRU）构建文本情感分类模型 基于传统序列模型（RNN，LSTM和GRU）构建文本情感分类模型
- 基于神经网络构建一个文本情感分类模型 基于神经网络构建一个文本情感分类模型
- 纯手工打造Transformer代码 纯手工打造Transformer代码
- You shall know a word by the company it keeps. You shall know a word by the company it keeps.
上滑加载中
推荐直播
-
用码道，让你的AI作品三步上朋友圈2026/08/04 周二 19:00-20:00
林华鼎-华为云AI开发者运营负责人
从入门 · 到做AI应用 · 到企业级开发。不教编程，只教用AI · 零代码、有产出、能带走、可炫耀 · 每课人人动手实操
回顾中 -
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
基于华为云码道，构建你的定制化AI搭子2026/08/14 周五 09:00-11:30
明亮-华为云开发者发展与支持部部长
本期直播将向您全面介绍华为云码道产品，并基于码道手把手教你部署自己的定制化AI陪伴搭子。
回顾中
热门标签