- 文章转载了【空间数据研究所】的最新POI数据，数据比较新。需要科研和做数据处理的朋友可以重点关注。 文章转载了【空间数据研究所】的最新POI数据，数据比较新。需要科研和做数据处理的朋友可以重点关注。
- 本文详解昇腾流水线优化技术，涵盖NPU与GPU侧多级流水实现。通过Stage划分、异步调度与计算通信重叠，提升训练吞吐与硬件利用率。NPU基于Rec SDK实现五阶段流水，支持动态换入换出；GPU则利用CUDA Stream构建StagedTrainPipeline，实现高效prefetch与梯度更新协同。 本文详解昇腾流水线优化技术，涵盖NPU与GPU侧多级流水实现。通过Stage划分、异步调度与计算通信重叠，提升训练吞吐与硬件利用率。NPU基于Rec SDK实现五阶段流水，支持动态换入换出；GPU则利用CUDA Stream构建StagedTrainPipeline，实现高效prefetch与梯度更新协同。
- 本文详解推荐系统多级缓存中的准入淘汰策略，涵盖基于访问频次、概率、ShowClick等准入机制，以及基于时间、L2范数、频次等淘汰机制，结合CPU-PS控制流程与NPU执行优化，实现缓存资源高效利用，提升模型训练效率与推荐精度。 本文详解推荐系统多级缓存中的准入淘汰策略，涵盖基于访问频次、概率、ShowClick等准入机制，以及基于时间、L2范数、频次等淘汰机制，结合CPU-PS控制流程与NPU执行优化，实现缓存资源高效利用，提升模型训练效率与推荐精度。
- 嵌入表分片与哈希管理：支撑万亿参数的关键技术 1、 Hash管理及实现如下图所示：在推荐系统中，大部分ID的原始特征都是离散型（global ids），因为其取值空间巨大且稀疏（如用户ID或物品ID可能达到百万甚至亿级别），直接作为输入会导致嵌入表维度爆炸，引发存储和计算瓶颈。常见的做法是需要将离散的ID转为连续的行号（hash indices），从而压缩特征空间，实现高效存储和查询。Ha... 嵌入表分片与哈希管理：支撑万亿参数的关键技术 1、 Hash管理及实现如下图所示：在推荐系统中，大部分ID的原始特征都是离散型（global ids），因为其取值空间巨大且稀疏（如用户ID或物品ID可能达到百万甚至亿级别），直接作为输入会导致嵌入表维度爆炸，引发存储和计算瓶颈。常见的做法是需要将离散的ID转为连续的行号（hash indices），从而压缩特征空间，实现高效存储和查询。Ha...
- 1、问题与挑战推荐系统中的用户（User）、物品（Item）及上下文（Context）特征具有高度异构性，其物理含义和量纲差异显著。为将这些特征有效引入深度神经网络（DNN），须通过Embedding技术将其映射为统一的低维稠密向量表示，从而解决特征间的语义鸿沟并提升模型泛化能力。为提升推荐系统的整体推荐效果，满足用户个性化推荐的需求，加速互联网电商企业快速变现。如下图所示：近10年来推荐... 1、问题与挑战推荐系统中的用户（User）、物品（Item）及上下文（Context）特征具有高度异构性，其物理含义和量纲差异显著。为将这些特征有效引入深度神经网络（DNN），须通过Embedding技术将其映射为统一的低维稠密向量表示，从而解决特征间的语义鸿沟并提升模型泛化能力。为提升推荐系统的整体推荐效果，满足用户个性化推荐的需求，加速互联网电商企业快速变现。如下图所示：近10年来推荐...
- 问题：在使用lightgbm的时候，如果希望结果更平滑、更具有趋势性，那么应该如何调整参数 答案：在使用LightGBM时，如果你希望模型的预测结果更平滑且更具有趋势性，可以考虑调整以下几个参数：num_leaves：减少num_leaves的值可以使得模型更简单，从而减少过拟合，使结果更平滑。通常可以尝试从较小的值开始，如31或15。max_depth：限制树的最大深度。较小的深度可以防... 问题：在使用lightgbm的时候，如果希望结果更平滑、更具有趋势性，那么应该如何调整参数 答案：在使用LightGBM时，如果你希望模型的预测结果更平滑且更具有趋势性，可以考虑调整以下几个参数：num_leaves：减少num_leaves的值可以使得模型更简单，从而减少过拟合，使结果更平滑。通常可以尝试从较小的值开始，如31或15。max_depth：限制树的最大深度。较小的深度可以防...
- 很多开发者学 Python 都是东拼西凑，学完基础不知道怎么做项目，学完框架不懂底层原理。最近整理了一套比较系统的学习资源，从基础语法到架构设计都有覆盖，分享给需要的朋友。 什么是真正的 Python 全栈开发在整理学习资料时，发现很多同学对"全栈开发"这个概念理解得比较模糊。到底需要掌握哪些技术？各模块之间是什么关系？今天结合一套比较完整的课程大纲，系统拆解一下 Python 全栈开发的技... 很多开发者学 Python 都是东拼西凑，学完基础不知道怎么做项目，学完框架不懂底层原理。最近整理了一套比较系统的学习资源，从基础语法到架构设计都有覆盖，分享给需要的朋友。 什么是真正的 Python 全栈开发在整理学习资料时，发现很多同学对"全栈开发"这个概念理解得比较模糊。到底需要掌握哪些技术？各模块之间是什么关系？今天结合一套比较完整的课程大纲，系统拆解一下 Python 全栈开发的技...
- 大模型API调用会用，但不理解背后原理？微调训练无从下手？本文从底层架构到工程实践，拆解完整技术路径。 大模型技术体系全景：从原理到工程实践随着ChatGPT引发的AI浪潮，大模型技术已成为开发者必备技能。但从API调用到深入理解架构原理，再到企业级应用落地，中间存在明显的知识断层。本文整理了一套完整的学习资源，帮助开发者系统掌握大模型技术栈。 技术栈覆盖范围基础理论层内容涵盖必要的数学基础... 大模型API调用会用，但不理解背后原理？微调训练无从下手？本文从底层架构到工程实践，拆解完整技术路径。 大模型技术体系全景：从原理到工程实践随着ChatGPT引发的AI浪潮，大模型技术已成为开发者必备技能。但从API调用到深入理解架构原理，再到企业级应用落地，中间存在明显的知识断层。本文整理了一套完整的学习资源，帮助开发者系统掌握大模型技术栈。 技术栈覆盖范围基础理论层内容涵盖必要的数学基础...
- 算力是衡量计算系统处理数据能力的重要指标，其单位根据计算规模和应用场景的不同，形成了一套完整的量级体系。以下是算力单位的详细分类及说明：一、基础算力单位：FLOPS 家族1. FLOPS（每秒浮点运算次数）定义：Floating Point Operations Per Second 的缩写，是衡量浮点计算能力的核心单位，适用于科学计算、AI 训练等场景。细分单位（按量级递增）：1 FLOP... 算力是衡量计算系统处理数据能力的重要指标，其单位根据计算规模和应用场景的不同，形成了一套完整的量级体系。以下是算力单位的详细分类及说明：一、基础算力单位：FLOPS 家族1. FLOPS（每秒浮点运算次数）定义：Floating Point Operations Per Second 的缩写，是衡量浮点计算能力的核心单位，适用于科学计算、AI 训练等场景。细分单位（按量级递增）：1 FLOP...
- 使用torch+mindspeed训练时，可能出现类似“wait socket establish timeout, role[0] rank[1] timeout[120]”的报错，plog日志内容如下：上图中给出以下信息：1，本端device id（5）、本端rank（1）、对端rank（2）。本端rank和对端rank表示的是在通信域内的rank编号，如果是子通信域，需要注意devic... 使用torch+mindspeed训练时，可能出现类似“wait socket establish timeout, role[0] rank[1] timeout[120]”的报错，plog日志内容如下：上图中给出以下信息：1，本端device id（5）、本端rank（1）、对端rank（2）。本端rank和对端rank表示的是在通信域内的rank编号，如果是子通信域，需要注意devic...
- 在当今数字化的工作环境中，员工上网行为监控软件对于企业的信息安全和生产效率至关重要。Scikit - learn 作为一款强大的机器学习库，为监控数据的分类提供了高效且实用的解决方案。数据准备阶段首先，我们需要收集和整理员工上网行为的数据。这些数据可能包括访问的网址、使用的应用程序、访问时间等信息。假设我们已经将这些数据整理成了一个 CSV 文件，其中每一行代表一次上网行为记录，列则分别对应... 在当今数字化的工作环境中，员工上网行为监控软件对于企业的信息安全和生产效率至关重要。Scikit - learn 作为一款强大的机器学习库，为监控数据的分类提供了高效且实用的解决方案。数据准备阶段首先，我们需要收集和整理员工上网行为的数据。这些数据可能包括访问的网址、使用的应用程序、访问时间等信息。假设我们已经将这些数据整理成了一个 CSV 文件，其中每一行代表一次上网行为记录，列则分别对应...
- 文章目录 简介代码复现sklearn库调用 简介 K近邻（K Nearest Neighbors，KNN）算法是最简单的分类算法之一，也就是根据现有训练数据判断输入样本是属于哪一个类别... 文章目录 简介代码复现sklearn库调用 简介 K近邻（K Nearest Neighbors，KNN）算法是最简单的分类算法之一，也就是根据现有训练数据判断输入样本是属于哪一个类别...
- 目录 简介论文简介ABSTRACT1 INTRODUCTION2 RELATED WORK2.1 Network Embedding2.2 Sample Selection 5 CONCLUS... 目录 简介论文简介ABSTRACT1 INTRODUCTION2 RELATED WORK2.1 Network Embedding2.2 Sample Selection 5 CONCLUS...
- 内容总结 前面五点是对常见的推荐算法（序列建模）做简要的总结，第六点是基于注意力机制的SASRec模型的算法讲解，第七点是2021年ccf图书推荐赛题的top2方案解读。 SASRec（召回）提出... 内容总结 前面五点是对常见的推荐算法（序列建模）做简要的总结，第六点是基于注意力机制的SASRec模型的算法讲解，第七点是2021年ccf图书推荐赛题的top2方案解读。 SASRec（召回）提出...
- 当我们的训练数据的类别分布严重偏斜时，我们面临的分类不平衡问题。不平衡可能影响我们的机器学习算法的一种方式是当我们的算法完全忽略少数类时。这是一个问题的原因是因为少数类通常是我们最感兴趣的类。例如，在构建... 当我们的训练数据的类别分布严重偏斜时，我们面临的分类不平衡问题。不平衡可能影响我们的机器学习算法的一种方式是当我们的算法完全忽略少数类时。这是一个问题的原因是因为少数类通常是我们最感兴趣的类。例如，在构建...
上滑加载中
推荐直播
-
华为云码道Skill实战与极速交付，智能开发全链路实战2026/07/22 周三 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；姜浩-华为云HCDG核心组成员
直播深度解读华为云码道6月产品新特性，从Skill市场安装专家技能，带你零距离体验从需求，开发，审查，重构全链路闭环的开发过程。从零构建并交付一个完整项目，让您体验从代码提交到服务上线的“极速”之旅。
回顾中 -
聚开发者之力，创具身新未来2026/07/23 周四 15:00-17:00
张豪杰/程文/王军/刘新春/黄钦开 /张晓天
本次华为云具身智能开发平台CloudRobo培训面向具身智能开发者，带您全流程体验机器人本体R2C小时级接入、环境重建与轨迹生成仿真数据生产、PB级数据管理、数据评测、模型训推、强化学习和Benchmark一键评测等功能，并体验业界主流具身模型应用。
回顾中
热门标签