- 最近有很多朋友都在部署deepseek模型，而且都用到了模型量化这个功能，目的是减少显存占用、提升推理速度。上图是w8a8量化算法流程，主要包含4步：①，使用昇腾 msmodelslim 仓库提供的量化接口对原始模型权重进行量化，生成int8格式的权重文件，以及后续在推理的时候要用到的激活值的量化参数和 matmul 结果的反量化参数；②，推理执行过程中，把Matmul的激活值（也就是输入... 最近有很多朋友都在部署deepseek模型，而且都用到了模型量化这个功能，目的是减少显存占用、提升推理速度。上图是w8a8量化算法流程，主要包含4步：①，使用昇腾 msmodelslim 仓库提供的量化接口对原始模型权重进行量化，生成int8格式的权重文件，以及后续在推理的时候要用到的激活值的量化参数和 matmul 结果的反量化参数；②，推理执行过程中，把Matmul的激活值（也就是输入...
- 1、跑通样例 为避免原先的sample有冲突， cd ~ mv samples/ samples_bak/ git clone https://gitee.com/ascend/samples.git ... 1、跑通样例 为避免原先的sample有冲突， cd ~ mv samples/ samples_bak/ git clone https://gitee.com/ascend/samples.git ...
- DoPrebuildOp Failed to call prebuild_op, need to check op info PreBuildTbeOp Failed to prebuild op. Name=[-1_0_add1] Traceback (most recent call last): File... DoPrebuildOp Failed to call prebuild_op, need to check op info PreBuildTbeOp Failed to prebuild op. Name=[-1_0_add1] Traceback (most recent call last): File...
- OSError: [Errno 22] Invalid argument: 'protocol' 改为这样不报错，但是报别的错： def __init__(self, family=-1, type=-1, proto=-1, fileno=None): # For use... OSError: [Errno 22] Invalid argument: 'protocol' 改为这样不报错，但是报别的错： def __init__(self, family=-1, type=-1, proto=-1, fileno=None): # For use...
- 叮！你有一份华为计算@HC2020攻略待查收 叮！你有一份华为计算@HC2020攻略待查收
- 这个感恩节，我们用“芯”去AI，感恩有你！ 这个感恩节，我们用“芯”去AI，感恩有你！
- [俄罗斯，莫斯科，2019年11月13日] 近日，俄罗斯AI Journey大会在莫斯科国际会展中心召开，华为以“昇腾万里，共创AI新时代”为主题参展，分享华为在AI领域的最新技术及在全球行业数字化、智能化进程中的优秀实践，并介绍公司在俄罗斯AI生态建设的进展与下一步计划。在大会现场，华为展示了昇腾AI处理器等自研芯片、Atlas人工智能计算平台全系列产品及基于Atlas 500智能小站的人... [俄罗斯，莫斯科，2019年11月13日] 近日，俄罗斯AI Journey大会在莫斯科国际会展中心召开，华为以“昇腾万里，共创AI新时代”为主题参展，分享华为在AI领域的最新技术及在全球行业数字化、智能化进程中的优秀实践，并介绍公司在俄罗斯AI生态建设的进展与下一步计划。在大会现场，华为展示了昇腾AI处理器等自研芯片、Atlas人工智能计算平台全系列产品及基于Atlas 500智能小站的人...
上滑加载中
推荐直播
-
妙手轻取华为云上自动化部署2025/05/28 周三 16:30-17:30
阿肯-华为云生态技术讲师
还在一直手动进行薛定谔式部署吗？想尝试自动化又怕搞不定？其实你只是不知道这有多简单。本节课掰开一个个细节理清楚。
回顾中 -
-
华为云软件开发生产线（CodeArts）4月新特性解读2025/05/30 周五 16:30-17:30
Enki 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线4月发布的新特性，并在直播过程中为您答疑解惑。
去报名
热门标签