- 以 Transformer 自注意力机制为类比,探讨多模型、多团队成员场景下的 API 凭证治理、调用策略执行和成本审计方案,以及基于虚拟 Key 的工程实践。 以 Transformer 自注意力机制为类比,探讨多模型、多团队成员场景下的 API 凭证治理、调用策略执行和成本审计方案,以及基于虚拟 Key 的工程实践。
- 导读:快手 AB 指标生产场景从 Spark 切换到 Doris 提速 145 倍、资源消耗下降 72%,并刷新了 Doris 单机群最大规模:2000 节点、10 万核。本文介绍快手数据平台团队为什么选择 Apache Doris 构建 AB 实验平台,针对 AB 指标生产场景进行了哪些落地过程中的存储、计算、调度、稳定性等方面优化。快手的干货分享,对需要构建 AB 实验平台的团队有很大的... 导读:快手 AB 指标生产场景从 Spark 切换到 Doris 提速 145 倍、资源消耗下降 72%,并刷新了 Doris 单机群最大规模:2000 节点、10 万核。本文介绍快手数据平台团队为什么选择 Apache Doris 构建 AB 实验平台,针对 AB 指标生产场景进行了哪些落地过程中的存储、计算、调度、稳定性等方面优化。快手的干货分享,对需要构建 AB 实验平台的团队有很大的...
- 前面的文章在构建RAG并检索时,既使用了国外大模型,也使用了国内大模型;既运用了内存向量检索库FAISS,也运用了磁盘向量数据库Chroma。但知识库的原始来源却是knowledge数组,这与现实场合有所出入,因为实际资料都保存在TXT、PDF、WORD等格式的文档中,甚至来自互联网上的HTML网页,于是RAG的前置条件就成了如何从这些文档中提取文本信息。一、读取TXT文件中的文本TXT文件... 前面的文章在构建RAG并检索时,既使用了国外大模型,也使用了国内大模型;既运用了内存向量检索库FAISS,也运用了磁盘向量数据库Chroma。但知识库的原始来源却是knowledge数组,这与现实场合有所出入,因为实际资料都保存在TXT、PDF、WORD等格式的文档中,甚至来自互联网上的HTML网页,于是RAG的前置条件就成了如何从这些文档中提取文本信息。一、读取TXT文件中的文本TXT文件...
- 一次客户端逆向发现揭示了一个被忽视的安全问题——本地程序可以在 API 通信中嵌入用户身份标记。本文探讨如何通过架构设计而非对抗式修改来保护开发者隐私。 一次客户端逆向发现揭示了一个被忽视的安全问题——本地程序可以在 API 通信中嵌入用户身份标记。本文探讨如何通过架构设计而非对抗式修改来保护开发者隐私。
- 本文介绍了一个基于ChatGLM3-6B大模型的本地化部署方案,采用FastAPI后端和Web前端实现完整对话系统。项目特点包括:1)适配RTX4090显卡,支持FP16半精度推理,显存占用优化;2)提供两种推理模式(一次性返回和SSE流式输出);3)内置完善监控系统,实时采集显存、Token生成速度等指标;4)兼容OpenAI API标准接口;5)包含可视化前端界面。系统采用四层架构设计,包含前 本文介绍了一个基于ChatGLM3-6B大模型的本地化部署方案,采用FastAPI后端和Web前端实现完整对话系统。项目特点包括:1)适配RTX4090显卡,支持FP16半精度推理,显存占用优化;2)提供两种推理模式(一次性返回和SSE流式输出);3)内置完善监控系统,实时采集显存、Token生成速度等指标;4)兼容OpenAI API标准接口;5)包含可视化前端界面。系统采用四层架构设计,包含前
- 本文系统解析了开源大模型命名规则中的后缀含义,帮助用户根据需求精准选择模型。文章指出模型后缀遵循"基座名称-参数标识-优化类型-功能标签-量化格式"的标准化结构,包含五大类关键信息:1)参数量标识(B/b)区分模型规模;2)微调类型标识(如it/thinking/turbo)决定适用场景;3)量化格式(GGUF/FP16等)影响硬件兼容性;4)专项功能后缀(ASR/Image等 本文系统解析了开源大模型命名规则中的后缀含义,帮助用户根据需求精准选择模型。文章指出模型后缀遵循"基座名称-参数标识-优化类型-功能标签-量化格式"的标准化结构,包含五大类关键信息:1)参数量标识(B/b)区分模型规模;2)微调类型标识(如it/thinking/turbo)决定适用场景;3)量化格式(GGUF/FP16等)影响硬件兼容性;4)专项功能后缀(ASR/Image等
- LLM推理精度:基于学科域语义路由的推理框架构造方法 摘要在160次API调用实验中,通过将教育部14门类学科分类体系映射为LLM推理的认知路由层——在推理前自动识别输入文本涉及的学科域、提取该域的分析框架、结构化注入推理提示词——在不修改模型参数、不增加调用次数的情况下,将单次推理的物质还原比例从36.6%(泛化"专家"角色扮演)提升至61.4%,提升幅度达67.5%。跨轮次标准差0.1... LLM推理精度:基于学科域语义路由的推理框架构造方法 摘要在160次API调用实验中,通过将教育部14门类学科分类体系映射为LLM推理的认知路由层——在推理前自动识别输入文本涉及的学科域、提取该域的分析框架、结构化注入推理提示词——在不修改模型参数、不增加调用次数的情况下,将单次推理的物质还原比例从36.6%(泛化"专家"角色扮演)提升至61.4%,提升幅度达67.5%。跨轮次标准差0.1...
- 如何避开80% AI项目失败率? 如何避开80% AI项目失败率?
- 随着 AI 应用和实时分析场景深入,进入数据平台的不再只是结构化业务表。日志、JSON、文本内容、行为事件、模型推理结果等半结构化和非结构化数据,正在成为实时分析的常见对象。与此同时,分析链路中要完成的工作也在变化:它不再只是 COUNT、SUM、GROUP BY,还包括规则判断、字段解析、特征加工、标签抽取、模型打分等更复杂的业务逻辑。这些逻辑往往更适合用 Python 实现。但如果把数据... 随着 AI 应用和实时分析场景深入,进入数据平台的不再只是结构化业务表。日志、JSON、文本内容、行为事件、模型推理结果等半结构化和非结构化数据,正在成为实时分析的常见对象。与此同时,分析链路中要完成的工作也在变化:它不再只是 COUNT、SUM、GROUP BY,还包括规则判断、字段解析、特征加工、标签抽取、模型打分等更复杂的业务逻辑。这些逻辑往往更适合用 Python 实现。但如果把数据...
- 当AI客服已成为企业标配,如何从“能回答问题”进化到“能转化商机”?2026年,企业客户服务领域正在经历一场深刻变革。根据Salesforce对全球3075名服务行业专业人士的调查,部署AI智能体的企业比例已从2025年的39%大幅跃升至66%。更值得关注的是,七成企业在部署AI客服智能体后的60天内就实现了投资回报。与此同时,国家市场监督管理总局发布了《顾客联络服务 人工与智能客户服务协同... 当AI客服已成为企业标配,如何从“能回答问题”进化到“能转化商机”?2026年,企业客户服务领域正在经历一场深刻变革。根据Salesforce对全球3075名服务行业专业人士的调查,部署AI智能体的企业比例已从2025年的39%大幅跃升至66%。更值得关注的是,七成企业在部署AI客服智能体后的60天内就实现了投资回报。与此同时,国家市场监督管理总局发布了《顾客联络服务 人工与智能客户服务协同...
- 在2026年的今天,搭建全域账号矩阵已是企业社交媒体营销的共识。然而,当矩阵营销沦为“体力活”——内容创作靠搬运、多账号管理靠手记、用户互动靠盯梢——投入巨大却增长乏力,便成了许多品牌的真实写照。这也是为什么“账号矩阵管理工具推荐”的搜索量持续走高。但什么样的工具才算“好用”?多数产品只能解决“发布”这一环节,而真正能打通“内容-分发-转化”全链路的工具,才是破局关键。结合我对营销技术领域的... 在2026年的今天,搭建全域账号矩阵已是企业社交媒体营销的共识。然而,当矩阵营销沦为“体力活”——内容创作靠搬运、多账号管理靠手记、用户互动靠盯梢——投入巨大却增长乏力,便成了许多品牌的真实写照。这也是为什么“账号矩阵管理工具推荐”的搜索量持续走高。但什么样的工具才算“好用”?多数产品只能解决“发布”这一环节,而真正能打通“内容-分发-转化”全链路的工具,才是破局关键。结合我对营销技术领域的...
- 在数字化转型的深水区,B2B企业的获客成本逐年攀升。当流量红利见顶,如何高效转化每一个进入官网的访客,成为了企业增长的关键。市面上的“AI客服”琳琅满目,但很多仅停留在“自动回复”的初级阶段。今天,我们就来深度评测一款专为B2B营销设计的AI智能客服系统——赛诺贝斯 MIP AI客服云,看看它为何能成为多家企业的共同选择。🤖 一、 7x24小时“不打烊”:做你的第一道销售漏斗对于B2B企业... 在数字化转型的深水区,B2B企业的获客成本逐年攀升。当流量红利见顶,如何高效转化每一个进入官网的访客,成为了企业增长的关键。市面上的“AI客服”琳琅满目,但很多仅停留在“自动回复”的初级阶段。今天,我们就来深度评测一款专为B2B营销设计的AI智能客服系统——赛诺贝斯 MIP AI客服云,看看它为何能成为多家企业的共同选择。🤖 一、 7x24小时“不打烊”:做你的第一道销售漏斗对于B2B企业...
- Claude用户面临“独用浪费、共享封号”困局:Max 20x额度闲置,多人拼车却因IP跳变、指纹泄露等触发风控。Key池化方案通过本地代理+虚拟Key分发,实现额度共享而不共号,规避风控,降低成本(3人仅$200/月),提升安全与体验。 Claude用户面临“独用浪费、共享封号”困局:Max 20x额度闲置,多人拼车却因IP跳变、指纹泄露等触发风控。Key池化方案通过本地代理+虚拟Key分发,实现额度共享而不共号,规避风控,降低成本(3人仅$200/月),提升安全与体验。
- 大模型底层不是“概率生成器”,而是三段式机械执行系统:归档收纳库(静态知识切片)、范式计算库(SFT/RLHF注入的推理规则与道德护栏)、计算输出器(分类检索→范式调用→约束解耦分段闭环输出)。模型生成首字前必须先做分类检索,按任务类型匹配四层范式(常识检索/计算执行/推理闭环/发散合成),昂贵算力仅分配给推理与发散层。此架构将千亿参数全量激活改为索引式精准调度,可大幅度降本增效并适配昇腾芯片。 大模型底层不是“概率生成器”,而是三段式机械执行系统:归档收纳库(静态知识切片)、范式计算库(SFT/RLHF注入的推理规则与道德护栏)、计算输出器(分类检索→范式调用→约束解耦分段闭环输出)。模型生成首字前必须先做分类检索,按任务类型匹配四层范式(常识检索/计算执行/推理闭环/发散合成),昂贵算力仅分配给推理与发散层。此架构将千亿参数全量激活改为索引式精准调度,可大幅度降本增效并适配昇腾芯片。
- 前面两篇文章在演示RAG功能时,做向量化的文本嵌入模型都用国外的all-MiniLM-L6-v2,该模型主要适用英文,对于中文总体也能用,但在细节上处理欠佳。本文就来介绍如何使用国产离线的文本嵌入模型替换国外模型,以及如何体现国产模型的比较优势。一、all-MiniLM-L6-v2的缺点虽然all-MiniLM-L6-v2的优点很多,比如下列几点:1、体积极小:几十 MB,随便本地离线下载2... 前面两篇文章在演示RAG功能时,做向量化的文本嵌入模型都用国外的all-MiniLM-L6-v2,该模型主要适用英文,对于中文总体也能用,但在细节上处理欠佳。本文就来介绍如何使用国产离线的文本嵌入模型替换国外模型,以及如何体现国产模型的比较优势。一、all-MiniLM-L6-v2的缺点虽然all-MiniLM-L6-v2的优点很多,比如下列几点:1、体积极小:几十 MB,随便本地离线下载2...
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中 -
一个AI团队帮你写代码:华为云码道Agent Space实战2026/06/25 周四 19:00-21:00
张翰文-华为云码道工程师/郭英旭-青软创新科技集团股份有限公司 软件架构师
本场直播聚焦华为云码道Agent Space两大模式:研发办公、代码开发,亲身体验从需求到代码的AI自动化能力。实操演示基于华为 CodeArts CLI,依托 OpenSpec 规格体系从零搭建业务项目。
回顾中
热门标签