- 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hetu(用户名密码方式) 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hetu(用户名密码方式)
- 华为云批处理服务batch于2020年4月30日 00:00(北京时间)退市通知 华为云批处理服务batch于2020年4月30日 00:00(北京时间)退市通知
- 本篇内容 在上一篇的“初识”环节,我们已经在本地和Hadoop集群中,成功的运行了几个MapReduce程序,对MapReduce编程,已经有了最初的理解。 在本篇文章中,我们对MapReduce编程进行进一步的了解,包括:配置API、辅助类、调试手段、调优手段。 总体来说,我个人的理解是: (1)本地开发阶段,对于Ecl... 本篇内容 在上一篇的“初识”环节,我们已经在本地和Hadoop集群中,成功的运行了几个MapReduce程序,对MapReduce编程,已经有了最初的理解。 在本篇文章中,我们对MapReduce编程进行进一步的了解,包括:配置API、辅助类、调试手段、调优手段。 总体来说,我个人的理解是: (1)本地开发阶段,对于Ecl...
- 本书摘自《企业级大数据平台构建:架构与实现》——书中第2章,2.5.2节,作者是朱凯。 本书摘自《企业级大数据平台构建:架构与实现》——书中第2章,2.5.2节,作者是朱凯。
- vLLM推理引擎深度解析:从PagedAttention原理到高吞吐量部署的工程实践 一、引言:大模型推理的效率瓶颈大语言模型在服务部署时面临严峻的推理效率挑战。自回归生成需要逐token输出,每个token生成都依赖前序所有token的KV Cache。以LLaMA-2 70B为例,单个请求在2048 token上下文下需要约40GB显存存储KV Cache,远超单GPU容量。传统推理框... vLLM推理引擎深度解析:从PagedAttention原理到高吞吐量部署的工程实践 一、引言:大模型推理的效率瓶颈大语言模型在服务部署时面临严峻的推理效率挑战。自回归生成需要逐token输出,每个token生成都依赖前序所有token的KV Cache。以LLaMA-2 70B为例,单个请求在2048 token上下文下需要约40GB显存存储KV Cache,远超单GPU容量。传统推理框...
- 前言操作系统是计算机科学的皇冠明珠之一。从最初几行汇编代码的监控程序,到如今驱动数十亿设备的复杂内核,操作系统的演进史几乎就是现代计算本身的演进史。本文将带你穿越六十余年时光,梳理操作系统从无到有、从简到繁的关键里程碑。 一、史前时代:没有操作系统的日子(1940s – 1950s) 1.1 真空管与接线板早期的计算机(如 ENIAC、EDVAC)根本没有操作系统的概念。程序员直接用机器语... 前言操作系统是计算机科学的皇冠明珠之一。从最初几行汇编代码的监控程序,到如今驱动数十亿设备的复杂内核,操作系统的演进史几乎就是现代计算本身的演进史。本文将带你穿越六十余年时光,梳理操作系统从无到有、从简到繁的关键里程碑。 一、史前时代:没有操作系统的日子(1940s – 1950s) 1.1 真空管与接线板早期的计算机(如 ENIAC、EDVAC)根本没有操作系统的概念。程序员直接用机器语...
- MRS帮助文档多维度升级,让每一次操作都有据可依,大数据上手、运维、对接全程无门槛。 MRS帮助文档多维度升级,让每一次操作都有据可依,大数据上手、运维、对接全程无门槛。
- 单次 nvidia-smi 快照很难抓住碎片化导致的瞬时瓶颈,建议用 nvidia-smi dmon -s pucvmet 按秒级粒度记录使用率、功耗和温度。在火山引擎A100实例上,若连续几轮请求的显存占用都顶在95%以上,且日志里间歇性出现 CUDA OOM,大概率是 max_num_seqs 设得过于激进,KV cache 动态扩展时无缓冲空间。 单次 nvidia-smi 快照很难抓住碎片化导致的瞬时瓶颈,建议用 nvidia-smi dmon -s pucvmet 按秒级粒度记录使用率、功耗和温度。在火山引擎A100实例上,若连续几轮请求的显存占用都顶在95%以上,且日志里间歇性出现 CUDA OOM,大概率是 max_num_seqs 设得过于激进,KV cache 动态扩展时无缓冲空间。
- 本文剖析了 2026 年多线并行项目下,团队因长周期战略目标与高频突发琐事混杂而引发的认知过载与心流污染困境。文章引入“分流式任务工具”概念,阐述如何利用前置拦截隔离、多维重力定向与刚性 WIP 水位上限阀门,实现杂务的异步批处理。同时,中立评估了板栗看板的流控看板、Jira 的刚性工作流等方案的选型边界,助力现代团队用理性限流捍卫深度专注。 本文剖析了 2026 年多线并行项目下,团队因长周期战略目标与高频突发琐事混杂而引发的认知过载与心流污染困境。文章引入“分流式任务工具”概念,阐述如何利用前置拦截隔离、多维重力定向与刚性 WIP 水位上限阀门,实现杂务的异步批处理。同时,中立评估了板栗看板的流控看板、Jira 的刚性工作流等方案的选型边界,助力现代团队用理性限流捍卫深度专注。
- 通过批处理将大模型 API 的吞吐量提升数倍,核心原理在于重构请求的提交方式:从单次推理转变为批量推理。每一次独立的 API 请求,模型都需要重复加载系统指令并初始化注意力机制,这带来了不小的固定计算开销。而批处理能将多个任务合并为一次推理,让模型在同一个上下文中并行处理,从而摊薄单次任务的成本。在正式调整架构之前,建议先在 KULAAI(dl.877ai.cn) 等聚合平台上做一轮基准测试... 通过批处理将大模型 API 的吞吐量提升数倍,核心原理在于重构请求的提交方式:从单次推理转变为批量推理。每一次独立的 API 请求,模型都需要重复加载系统指令并初始化注意力机制,这带来了不小的固定计算开销。而批处理能将多个任务合并为一次推理,让模型在同一个上下文中并行处理,从而摊薄单次任务的成本。在正式调整架构之前,建议先在 KULAAI(dl.877ai.cn) 等聚合平台上做一轮基准测试...
- 本文围绕微前端架构下数据请求冗余与状态不一致的核心痛点,展开GraphQL批处理与缓存共享的深度实践探讨。通过对请求语义聚合、依赖拓扑分析与分层缓存体系的构建,实现跨应用数据一次获取、全域复用的治理目标。文章从真实工程视角出发,阐述批处理与缓存共享的协同闭环逻辑,兼顾架构自治性与数据一致性。 本文围绕微前端架构下数据请求冗余与状态不一致的核心痛点,展开GraphQL批处理与缓存共享的深度实践探讨。通过对请求语义聚合、依赖拓扑分析与分层缓存体系的构建,实现跨应用数据一次获取、全域复用的治理目标。文章从真实工程视角出发,阐述批处理与缓存共享的协同闭环逻辑,兼顾架构自治性与数据一致性。
- 在处理TB级数据的那个不眠夜,我第一次深刻体会到了并行计算的威力。当时公司的推荐系统需要在4小时内完成用户行为数据的全量计算,传统的单机处理方案已经彻底失效。经过两个月的优化实践,我们最终将处理时间缩短到了40分钟。这段经历让我对并行算法设计有了全新的认识。 一、并行算法设计的核心思想记得刚接触并行编程时,我犯过一个很多人都会犯的错误:简单地把串行代码拆分成多个线程。结果发现性能不升反降,... 在处理TB级数据的那个不眠夜,我第一次深刻体会到了并行计算的威力。当时公司的推荐系统需要在4小时内完成用户行为数据的全量计算,传统的单机处理方案已经彻底失效。经过两个月的优化实践,我们最终将处理时间缩短到了40分钟。这段经历让我对并行算法设计有了全新的认识。 一、并行算法设计的核心思想记得刚接触并行编程时,我犯过一个很多人都会犯的错误:简单地把串行代码拆分成多个线程。结果发现性能不升反降,...
- 🌟 一、核心挑战:实时AI推理的“不可能三角”实时AI推理面临一个根本性的“不可能三角”挑战:实时AI推理不可能三角高吞吐量低延迟低成本需要批量处理GPU并行需要即时响应减少等待需要资源共享提高利用率目标冲突!表1:实时推理场景的性能要求应用场景最大容忍延迟吞吐量要求可用性要求典型SLA实时推荐50-100ms10k-100k QPS99.9%P95 < 80ms欺诈检测10-50ms1... 🌟 一、核心挑战:实时AI推理的“不可能三角”实时AI推理面临一个根本性的“不可能三角”挑战:实时AI推理不可能三角高吞吐量低延迟低成本需要批量处理GPU并行需要即时响应减少等待需要资源共享提高利用率目标冲突!表1:实时推理场景的性能要求应用场景最大容忍延迟吞吐量要求可用性要求典型SLA实时推荐50-100ms10k-100k QPS99.9%P95 < 80ms欺诈检测10-50ms1...
- 1. 引言在Cocos2d-x游戏开发中,渲染性能优化是决定游戏流畅度的关键因素。当场景中存在大量使用相同纹理的精灵时,如果逐个渲染会导致大量的Draw Call,严重影响性能。批处理(BatchNode)技术通过将相同纹理的精灵合并到一个批次中进行渲染,可以显著减少Draw Call数量。而自动图集工具则进一步简化了资源管理流程,自动将分散的小图片合并为图集,为批处理提供基础支持。本文将深... 1. 引言在Cocos2d-x游戏开发中,渲染性能优化是决定游戏流畅度的关键因素。当场景中存在大量使用相同纹理的精灵时,如果逐个渲染会导致大量的Draw Call,严重影响性能。批处理(BatchNode)技术通过将相同纹理的精灵合并到一个批次中进行渲染,可以显著减少Draw Call数量。而自动图集工具则进一步简化了资源管理流程,自动将分散的小图片合并为图集,为批处理提供基础支持。本文将深...
- Hadoop自定义分组比较器实现分组功能在Hadoop MapReduce编程中,默认情况下,框架会根据键(Key)的自然排序来进行分组。然而,在某些应用场景下,我们可能需要根据特定的业务逻辑来对数据进行分组。这时,就需要自定义分组比较器(Grouping Comparator)来满足需求。本文将详细介绍如何在Hadoop中实现自定义分组比较器,并通过一个具体的例子来说明其应用。1. Had... Hadoop自定义分组比较器实现分组功能在Hadoop MapReduce编程中,默认情况下,框架会根据键(Key)的自然排序来进行分组。然而,在某些应用场景下,我们可能需要根据特定的业务逻辑来对数据进行分组。这时,就需要自定义分组比较器(Grouping Comparator)来满足需求。本文将详细介绍如何在Hadoop中实现自定义分组比较器,并通过一个具体的例子来说明其应用。1. Had...
上滑加载中
推荐直播
-
用码道,让你的AI作品三步上朋友圈2026/08/04 周二 19:00-20:00
林华鼎-华为云AI开发者运营负责人
从入门 · 到做AI应用 · 到企业级开发。不教编程,只教用AI · 零代码、有产出、能带走、可炫耀 · 每课人人动手实操
回顾中 -
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
基于华为云码道,构建你的定制化AI搭子2026/08/14 周五 09:00-11:30
明亮-华为云开发者发展与支持部部长
本期直播将向您全面介绍华为云码道产品,并基于码道手把手教你部署自己的定制化AI陪伴搭子。
回顾中
热门标签