- 知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。本文将深入浅出的介绍知识蒸馏的概念和原理，最后通过一个实际的上手案例，来指导用户使用知识蒸馏。 知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。本文将深入浅出的介绍知识蒸馏的概念和原理，最后通过一个实际的上手案例，来指导用户使用知识蒸馏。
- 一、赛题背景生活垃圾的分类和处理是目前整个社会都在关注的热点，如何对生活垃圾进行简洁高效的分类与检测对垃圾的运输处理至关重要。海华垃圾分类挑战赛是一项针对204种垃圾的检测任务，很好切合了当下垃圾分类的热点。此次比赛，数据和训练的模型都非常庞大，对算力的要求非常高，好在比赛得到了华为NAIE训练平台的算力支持，免费为各个选手V100和P100显卡进行训练，平台将环境的部署进行了大量精简，并提... 一、赛题背景生活垃圾的分类和处理是目前整个社会都在关注的热点，如何对生活垃圾进行简洁高效的分类与检测对垃圾的运输处理至关重要。海华垃圾分类挑战赛是一项针对204种垃圾的检测任务，很好切合了当下垃圾分类的热点。此次比赛，数据和训练的模型都非常庞大，对算力的要求非常高，好在比赛得到了华为NAIE训练平台的算力支持，免费为各个选手V100和P100显卡进行训练，平台将环境的部署进行了大量精简，并提...
- 由于数据的稀疏性，直接从场景点预测边界框参数时面临着一个重大挑战：3D 对象的质心可能远离任何表面点，因此很难用一个步骤准确地回归。为了解决这一问题，作者提出了一种基于深度点集网络和霍夫投票的端到端 3D 目标检测网络 VoteNet。该模型设计简单、模型尺寸紧凑，而且效率高。在 ScanNet 和 SUN RGB-D 两个大型数据集上取得了最先进的 3D 检测精度。VoteNet 通过使用纯几何 由于数据的稀疏性，直接从场景点预测边界框参数时面临着一个重大挑战：3D 对象的质心可能远离任何表面点，因此很难用一个步骤准确地回归。为了解决这一问题，作者提出了一种基于深度点集网络和霍夫投票的端到端 3D 目标检测网络 VoteNet。该模型设计简单、模型尺寸紧凑，而且效率高。在 ScanNet 和 SUN RGB-D 两个大型数据集上取得了最先进的 3D 检测精度。VoteNet 通过使用纯几何
- 现有的处理不平衡数据/长尾分布的方法绝大多数都是针对分类问题，而回归问题中出现的数据不均衡问题确极少被研究。但是，现实很多的工业预测场景都是需要解决回归的问题，也就是涉及到连续的，甚至是无限多的目标值，如何解决回归问题中出现的数据不均衡问题呢？ICML2021一篇被接收为Long oral presentation的论文：Delving into Deep Imbalanced Re... 现有的处理不平衡数据/长尾分布的方法绝大多数都是针对分类问题，而回归问题中出现的数据不均衡问题确极少被研究。但是，现实很多的工业预测场景都是需要解决回归的问题，也就是涉及到连续的，甚至是无限多的目标值，如何解决回归问题中出现的数据不均衡问题呢？ICML2021一篇被接收为Long oral presentation的论文：Delving into Deep Imbalanced Re...
- 将人工智能（AI）与计算机辅助设计（CAD）和计算机辅助工程（CAE）相结合的工程设计研究正在积极开展。本研究在概念设计阶段提出一个基于深度学习的CAD/CAE架构，可自动产生3D CAD设计并评估其工程表现。该框架包括7个阶段：（1）二维生成设计，（2）降维，（3）潜空间实验设计，（4）CAD自动化，（5）CAE自动化，（6）迁移学习，（7）可视化与分析。该框架通过一个车轮设计实例进行了验... 将人工智能（AI）与计算机辅助设计（CAD）和计算机辅助工程（CAE）相结合的工程设计研究正在积极开展。本研究在概念设计阶段提出一个基于深度学习的CAD/CAE架构，可自动产生3D CAD设计并评估其工程表现。该框架包括7个阶段：（1）二维生成设计，（2）降维，（3）潜空间实验设计，（4）CAD自动化，（5）CAE自动化，（6）迁移学习，（7）可视化与分析。该框架通过一个车轮设计实例进行了验...
- 输入“什么是机器学习？” 进入Google搜索将打开一个Pandora的论坛，学术研究和虚假信息框，而本文的目的是在我们的机器学习研究人员小组的直接帮助下简化机器学习的定义和理解。 在AI研究和咨询公司Emerj，我们的许多企业客户都认为他们应该投资于机器学... 输入“什么是机器学习？” 进入Google搜索将打开一个Pandora的论坛，学术研究和虚假信息框，而本文的目的是在我们的机器学习研究人员小组的直接帮助下简化机器学习的定义和理解。 在AI研究和咨询公司Emerj，我们的许多企业客户都认为他们应该投资于机器学...
- 吴恩达深度学习——第一本书 神经网络和深度学习 第一周：深度学习引言(Introduction to Deep Learning) 1.1 欢迎(Welcome) 第一个视频主要讲了什么是深度学习，深度学习能做些什么事情。以下是吴恩达老师的原话： 深度学习改变了传统互联网业务，例如如网络搜索和广告。但是深度学习同时也使得许多新产... 吴恩达深度学习——第一本书 神经网络和深度学习 第一周：深度学习引言(Introduction to Deep Learning) 1.1 欢迎(Welcome) 第一个视频主要讲了什么是深度学习，深度学习能做些什么事情。以下是吴恩达老师的原话： 深度学习改变了传统互联网业务，例如如网络搜索和广告。但是深度学习同时也使得许多新产...
- 目录 摘要 1、 模型结构 各层参数详解： 1、输入层-INPUT 2、C1层-卷积层 3、S2层-池化层（下采样层） 4、C3层-卷积层 5、S4层-池化层（下采样层） 6、C5层-卷积层 7、F6层-全连接层 8、Output层-全连接层 各层参数总结 2、模型特性 代码复现： 摘要 ... 目录 摘要 1、 模型结构 各层参数详解： 1、输入层-INPUT 2、C1层-卷积层 3、S2层-池化层（下采样层） 4、C3层-卷积层 5、S4层-池化层（下采样层） 6、C5层-卷积层 7、F6层-全连接层 8、Output层-全连接层 各层参数总结 2、模型特性 代码复现： 摘要 ...
- 本文介绍来自北京大学来鲁华教授课题组发表在Chemical Science上的文章“Structure-based de novo drug design using 3D deep generative models”。在这项工作中，作者介绍了一种基于深度学习的新型药物设计方法DeepLigBuilder，可以在靶标... 本文介绍来自北京大学来鲁华教授课题组发表在Chemical Science上的文章“Structure-based de novo drug design using 3D deep generative models”。在这项工作中，作者介绍了一种基于深度学习的新型药物设计方法DeepLigBuilder，可以在靶标...
- @Author：Runsen 姿态估计是计算机视觉中的一项流行任务，比如真实的场景如何进行人体跌倒检测，如何对手语进行交流。 作为人工智能（AI）的一个领域，计算机视觉使机器能够以模仿人类视觉为目的来... @Author：Runsen 姿态估计是计算机视觉中的一项流行任务，比如真实的场景如何进行人体跌倒检测，如何对手语进行交流。 作为人工智能（AI）的一个领域，计算机视觉使机器能够以模仿人类视觉为目的来...
- @Author：Runsen deepDeepSort DeepSort是一种用于跟踪目标的模型，为每个目标分配 ID，为每一个不同的类别分配label。 在DeepSort 中，过程如下。 使用... @Author：Runsen deepDeepSort DeepSort是一种用于跟踪目标的模型，为每个目标分配 ID，为每一个不同的类别分配label。 在DeepSort 中，过程如下。 使用...
- 文章目录 一、从混淆矩阵谈起二、Precision、Recall、PRC、F1-score三、ROC & AUC四、如何选择评估指标？五、IOU “没有测量，就没有科学。”这是科学家门捷列夫的名言。在计算机科学中，特别是在机器学习的领域，对模型的测量和评估同样至关重要。只有选择与问题相匹配的评估方法，我们才能够准确地发现在模型选择和训练过程中可能出... 文章目录 一、从混淆矩阵谈起二、Precision、Recall、PRC、F1-score三、ROC & AUC四、如何选择评估指标？五、IOU “没有测量，就没有科学。”这是科学家门捷列夫的名言。在计算机科学中，特别是在机器学习的领域，对模型的测量和评估同样至关重要。只有选择与问题相匹配的评估方法，我们才能够准确地发现在模型选择和训练过程中可能出...
- 自我介绍：大家好！我是【AI 菌】，一枚爱弹吉他的程序员。我热爱AI、热爱编程、热爱分享！ 这博客是我对学习的一点总结与思考。如果您也对 深度学习、机器视觉、算法、Python、C++ 感兴趣，可以关注我的动态，我们一起学习，一起进步~ 我的博客地址为：【AI 菌】的博客 我的Github项目地址是：【AI 菌】的Github 文章目录 一、... 自我介绍：大家好！我是【AI 菌】，一枚爱弹吉他的程序员。我热爱AI、热爱编程、热爱分享！ 这博客是我对学习的一点总结与思考。如果您也对 深度学习、机器视觉、算法、Python、C++ 感兴趣，可以关注我的动态，我们一起学习，一起进步~ 我的博客地址为：【AI 菌】的博客 我的Github项目地址是：【AI 菌】的Github 文章目录 一、...
- 写在前面：大家好！我是【AI 菌】，一枚爱弹吉他的程序员。我热爱AI、热爱分享、热爱开源！ 这博客是我对学习的一点总结与思考。如果您也对 深度学习、机器视觉、算法、Python、C++ 感兴趣，可以关注我的动态，我们一起学习，一起进步~ 我的博客地址为：【AI 菌】的博客 我的Github项目地址是：【AI 菌】的Github 这篇论文原名为：《Faster... 写在前面：大家好！我是【AI 菌】，一枚爱弹吉他的程序员。我热爱AI、热爱分享、热爱开源！ 这博客是我对学习的一点总结与思考。如果您也对 深度学习、机器视觉、算法、Python、C++ 感兴趣，可以关注我的动态，我们一起学习，一起进步~ 我的博客地址为：【AI 菌】的博客 我的Github项目地址是：【AI 菌】的Github 这篇论文原名为：《Faster...
- 文章目录 一、正则化的作用二、如何判断过拟合 or 欠拟合三、常见正则化方法（1）L0正则化（2）L1正则化（3）L2正则化（4）其他方法 四、正则化原理五、Dropout正则化（1）Dropout（2）Drop Connect 六、Dropout工作流程七、为什么说Dropout可以解决过拟合？ 理论系列： 深度学习笔记（一）：卷积层+激活函... 文章目录 一、正则化的作用二、如何判断过拟合 or 欠拟合三、常见正则化方法（1）L0正则化（2）L1正则化（3）L2正则化（4）其他方法 四、正则化原理五、Dropout正则化（1）Dropout（2）Drop Connect 六、Dropout工作流程七、为什么说Dropout可以解决过拟合？ 理论系列： 深度学习笔记（一）：卷积层+激活函...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签