- 官方ADK明确:真实感(用户模拟)与精确断言(期望轨迹)互斥,不可共存于同一评估集。必须拆分为两套——固定轨迹集(人工写死输入+硬断言,用于门禁)和模拟用户集(AI生成话术+任务/安全判据,用于探针),各司其职,方保评估有效可靠。 官方ADK明确:真实感(用户模拟)与精确断言(期望轨迹)互斥,不可共存于同一评估集。必须拆分为两套——固定轨迹集(人工写死输入+硬断言,用于门禁)和模拟用户集(AI生成话术+任务/安全判据,用于探针),各司其职,方保评估有效可靠。
- 摘要:用OpenTelemetry语义约定作为共同语言,再把会话、工具、业务与回归证据分层。OpenTelemetry的语义约定正在为GenAI和MCP等场景定义统一的属性、Span与事件表达,包括模型调用、工具参数、工具类型等。它解决的是“不同组件怎样用共同语言记录”,不是自动告诉团队一次Agent运行究竟该不该通过。把这个机制放进客服Agent,可以构造一条典型Trace:用户要求取消订... 摘要:用OpenTelemetry语义约定作为共同语言,再把会话、工具、业务与回归证据分层。OpenTelemetry的语义约定正在为GenAI和MCP等场景定义统一的属性、Span与事件表达,包括模型调用、工具参数、工具类型等。它解决的是“不同组件怎样用共同语言记录”,不是自动告诉团队一次Agent运行究竟该不该通过。把这个机制放进客服Agent,可以构造一条典型Trace:用户要求取消订...
- Cloudflare提出Agent评测需环境一致性:通过文件系统快照固定代码、依赖、工具、数据、网络及运行策略六类变量,避免环境漂移干扰结果,确保模型对比真实可信。 Cloudflare提出Agent评测需环境一致性:通过文件系统快照固定代码、依赖、工具、数据、网络及运行策略六类变量,避免环境漂移干扰结果,确保模型对比真实可信。
- 本文借鉴Google夜间自主优化实践,提出AI代码优化的“五道门禁”机制:任务边界冻结、环境指纹追踪、越界优先审查、独立验证与人工聚焦差异。强调无人值守≠无人验收,通过证据评分卡保障正确性、可复现性与风险可控,助力测试团队安全落地AI辅助研发。 本文借鉴Google夜间自主优化实践,提出AI代码优化的“五道门禁”机制:任务边界冻结、环境指纹追踪、越界优先审查、独立验证与人工聚焦差异。强调无人值守≠无人验收,通过证据评分卡保障正确性、可复现性与风险可控,助力测试团队安全落地AI辅助研发。
- 本文基于Cloudflare Browser工具文档,提出三层证据排查法:一验页面真实性(URL+指纹),二查业务就绪性(接口、状态、节点可用),三证动作准确性(视觉/DOM/坐标+后端副作用)。强调结构化Trace、会话污染测试与高风险动作沙箱验证,避免盲目调优模型。 本文基于Cloudflare Browser工具文档,提出三层证据排查法:一验页面真实性(URL+指纹),二查业务就绪性(接口、状态、节点可用),三证动作准确性(视觉/DOM/坐标+后端副作用)。强调结构化Trace、会话污染测试与高风险动作沙箱验证,避免盲目调优模型。
- 上个月,团队里一个测试新人跑来找我,表情有点委屈。“哥,我在项目里放了一个 SKILL.md,为什么 Claude Code 还是不会干活?”我让他把文件打开。里面写着一段话:“你是资深测试工程师,请帮我生成测试用例,覆盖正常和异常场景。”我看完就笑了。我说:“你这不是 Skill,是许愿。”他愣了一下:“SKILL.md 不就是写提示词吗?”这是大多数测试人刚接触 Agent Skills... 上个月,团队里一个测试新人跑来找我,表情有点委屈。“哥,我在项目里放了一个 SKILL.md,为什么 Claude Code 还是不会干活?”我让他把文件打开。里面写着一段话:“你是资深测试工程师,请帮我生成测试用例,覆盖正常和异常场景。”我看完就笑了。我说:“你这不是 Skill,是许愿。”他愣了一下:“SKILL.md 不就是写提示词吗?”这是大多数测试人刚接触 Agent Skills...
- 本文基于阿里公开资料,将自然语言购物需求拆解为商品、报价、确认、订单、支付、异步结果六段可验证证据,提出行为断言、异常测试矩阵与持续回归方案,确保AI购物严格遵循用户授权——买对商品、付对金额、只付一次、全程可溯。 本文基于阿里公开资料,将自然语言购物需求拆解为商品、报价、确认、订单、支付、异步结果六段可验证证据,提出行为断言、异常测试矩阵与持续回归方案,确保AI购物严格遵循用户授权——买对商品、付对金额、只付一次、全程可溯。
- 本文探讨AI Agent身份与授权测试新范式,聚焦“用户、Agent、服务、工具”四重身份分离。以薪资导出为例,揭示代理混淆、范围越界、时间失效等风险,提出可断言的授权链验证、拒绝后行为评测及发布前最小验收表,推动测试从接口验证升级为责任追溯。 本文探讨AI Agent身份与授权测试新范式,聚焦“用户、Agent、服务、工具”四重身份分离。以薪资导出为例,揭示代理混淆、范围越界、时间失效等风险,提出可断言的授权链验证、拒绝后行为评测及发布前最小验收表,推动测试从接口验证升级为责任追溯。
- 本文揭秘Agent接口测试“三件套”设计:将测试数据生成、依赖Mock、结果断言拆分为三个独立Skill,解耦耦合逻辑。实测显著提升覆盖度(36种场景半小时生成)、杜绝“假通过”,让AI真正发现Bug而非仅跑通流程。 本文揭秘Agent接口测试“三件套”设计:将测试数据生成、依赖Mock、结果断言拆分为三个独立Skill,解耦耦合逻辑。实测显著提升覆盖度(36种场景半小时生成)、杜绝“假通过”,让AI真正发现Bug而非仅跑通流程。
- AI Agent深入业务后,测试从“验结果”转向“评决策”。本文提出分层评测体系:规则层(断言/约束)、智能层(LLM-as-Judge+Auto Rubrics)、业务层(A/B实验+效果追踪),覆盖策略质量、多目标权衡与长期稳定性,并强调评估器可信性验证、高质量数据集构建及持续质量治理。 AI Agent深入业务后,测试从“验结果”转向“评决策”。本文提出分层评测体系:规则层(断言/约束)、智能层(LLM-as-Judge+Auto Rubrics)、业务层(A/B实验+效果追踪),覆盖策略质量、多目标权衡与长期稳定性,并强调评估器可信性验证、高质量数据集构建及持续质量治理。
- 本文基于Stripe公开的Machine Payments Protocol(MPP),拆解Agent支付全链路状态机,聚焦金额、对象、次数与用户意图的一致性验证。强调用结构化约束替代模糊提示,以可追溯的五维绑定(目标/报价/授权/幂等键/交付)和严格状态流转保障“成功但正确”,为AI Agent支付提供可落地的测试方法论。 本文基于Stripe公开的Machine Payments Protocol(MPP),拆解Agent支付全链路状态机,聚焦金额、对象、次数与用户意图的一致性验证。强调用结构化约束替代模糊提示,以可追溯的五维绑定(目标/报价/授权/幂等键/交付)和严格状态流转保障“成功但正确”,为AI Agent支付提供可落地的测试方法论。
- 一、企业知识管理的数字化转型与挑战随着人工智能技术的深度演进,企业知识管理已从传统文档存储转向智能化知识应用的新阶段。2025年作为AI Agent商业化应用元年,标志着知识管理系统从被动检索工具向主动决策支持平台的跨越。行业数据显示,2025年中国AI知识库相关市场规模已达595.8亿元,预计2026年企业级应用渗透率将突破40%,推动知识管理从成本中心向价值创造中心转型。当前企业知识管理... 一、企业知识管理的数字化转型与挑战随着人工智能技术的深度演进,企业知识管理已从传统文档存储转向智能化知识应用的新阶段。2025年作为AI Agent商业化应用元年,标志着知识管理系统从被动检索工具向主动决策支持平台的跨越。行业数据显示,2025年中国AI知识库相关市场规模已达595.8亿元,预计2026年企业级应用渗透率将突破40%,推动知识管理从成本中心向价值创造中心转型。当前企业知识管理...
- 一、企业智能知识库系统的战略价值与行业趋势在数字化转型深化的当下,企业知识资产的管理已从辅助工具升级为核心战略资源。据行业研究显示,2026年全球85%的大型企业将完成AI知识库系统的深度部署,其功能已从早期的信息存储与检索,进化为支撑战略决策、驱动业务创新的关键基础设施。现代企业知识管理面临三大核心挑战:知识分散形成的"信息孤岛"导致员工平均查找信息时间超过60分钟;隐性知识难以有效沉淀,... 一、企业智能知识库系统的战略价值与行业趋势在数字化转型深化的当下,企业知识资产的管理已从辅助工具升级为核心战略资源。据行业研究显示,2026年全球85%的大型企业将完成AI知识库系统的深度部署,其功能已从早期的信息存储与检索,进化为支撑战略决策、驱动业务创新的关键基础设施。现代企业知识管理面临三大核心挑战:知识分散形成的"信息孤岛"导致员工平均查找信息时间超过60分钟;隐性知识难以有效沉淀,...
- 本文提出面向长任务迁移的“四证据验收法”:锁规格、验运行态、读轨迹、建回归。针对Android Bench 2.0等复杂迁移场景,破解“编译通过≠可发布”困局,助力团队从结果验证转向过程可信,提升AI编码落地可靠性。 本文提出面向长任务迁移的“四证据验收法”:锁规格、验运行态、读轨迹、建回归。针对Android Bench 2.0等复杂迁移场景,破解“编译通过≠可发布”困局,助力团队从结果验证转向过程可信,提升AI编码落地可靠性。
- 本文提出可辩护的Agent Experience(AX)评测方法,聚焦AI编程中“代码可运行但选错SDK/认证模式”的典型问题。基于微软AX实践手册,构建含Criteria(技术事实判定)与Gate(真实运行验证)的测试闭环,通过基线/候选对照、Trajectory根因分析及九类失败分类,推动测试前移至Agent技术选型环节,实现来源可控、证据可溯、修复可验。 本文提出可辩护的Agent Experience(AX)评测方法,聚焦AI编程中“代码可运行但选错SDK/认证模式”的典型问题。基于微软AX实践手册,构建含Criteria(技术事实判定)与Gate(真实运行验证)的测试闭环,通过基线/候选对照、Trajectory根因分析及九类失败分类,推动测试前移至Agent技术选型环节,实现来源可控、证据可溯、修复可验。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签