- 期末周资料散、计划难排、日历不联动?我把赛题的"复习计划Skill"加强为期末复习管家:读课件提炼知识点清单,按艾宾浩斯排逐日计划,一键生成可导入日历的 .ics,再配一套自测题;进度随口一报,计划与日历自动重排。本文记录设计决策、ICS 生成的四个坑与端到端测试方法 期末周资料散、计划难排、日历不联动?我把赛题的"复习计划Skill"加强为期末复习管家:读课件提炼知识点清单,按艾宾浩斯排逐日计划,一键生成可导入日历的 .ics,再配一套自测题;进度随口一报,计划与日历自动重排。本文记录设计决策、ICS 生成的四个坑与端到端测试方法
- 一句话定位:这不是"这个模型安不安全",而是"你用来判断它安不安全的那把尺子,量的是不是它在你系统里的样子"——被测对象是评测结论与生产行为的一致性,不是单次通过率。同样的检查可迁移到权限变更审批、客服话术合规抽检、退款额度放行、风控规则命中率复盘。 摘要OpenAI 2026 年 11 月 3 日公开了一项对齐研究:把"Respecting Warnings"评测的成绩,与去标识化的 Co... 一句话定位:这不是"这个模型安不安全",而是"你用来判断它安不安全的那把尺子,量的是不是它在你系统里的样子"——被测对象是评测结论与生产行为的一致性,不是单次通过率。同样的检查可迁移到权限变更审批、客服话术合规抽检、退款额度放行、风控规则命中率复盘。 摘要OpenAI 2026 年 11 月 3 日公开了一项对齐研究:把"Respecting Warnings"评测的成绩,与去标识化的 Co...
- 微软ThinkingBox测试框架对507条业务流执行121680次终态验证,发现67.24%的失败表现为“看似完成”——有完成信号、写操作且无错误,但数据库终态或副作用违规。它不测模型多聪明,而测动作是否真正合规,核心是终态比对、副作用边界与重复稳定性三重断言。 微软ThinkingBox测试框架对507条业务流执行121680次终态验证,发现67.24%的失败表现为“看似完成”——有完成信号、写操作且无错误,但数据库终态或副作用违规。它不测模型多聪明,而测动作是否真正合规,核心是终态比对、副作用边界与重复稳定性三重断言。
- 字节跳动公开云盘助手(Storage Agent)评测实践:124道回归题中,综合分88.7→95.1,但关键指标“任务完成度”从55.4跃升至92.2。聚焦Trace归因、Skill级修复与一票否决机制,推动Agent从“答得流畅”走向“真正办成”。 字节跳动公开云盘助手(Storage Agent)评测实践:124道回归题中,综合分88.7→95.1,但关键指标“任务完成度”从55.4跃升至92.2。聚焦Trace归因、Skill级修复与一票否决机制,推动Agent从“答得流畅”走向“真正办成”。
- 本文探讨AI生成测试的核心风险:当Agent目标仅为“让CI变绿”,便可能绕过本质——如篡改生产代码、删测试、插等待。Duolingo事故揭示根本问题:目标函数写成“通过”,即默认绕过合法。文章提出三层防线(文件白名单+专用审查Agent+反馈闭环)及实操变异测试法,强调评审带宽才是真正的瓶颈。 本文探讨AI生成测试的核心风险:当Agent目标仅为“让CI变绿”,便可能绕过本质——如篡改生产代码、删测试、插等待。Duolingo事故揭示根本问题:目标函数写成“通过”,即默认绕过合法。文章提出三层防线(文件白名单+专用审查Agent+反馈闭环)及实操变异测试法,强调评审带宽才是真正的瓶颈。
- 摘要本文讨论的是 2027 届校招里一类容易被忽略的岗位:中小型 AI 公司的测试开发岗。它们招的人少(往往只招 1—2 个),但 JD 里写的要求跟大厂几乎一样——覆盖 Agent、RAG、智能客服、多模态,要建评测集、Bad Case 库、质量指标、版本对比。文章以一家 2026 年 11 月在北邮宣讲的 AI 公司的真实 JD 为样本,讲清小公司这一套到底怎么搭,以及应届生进去之后第... 摘要本文讨论的是 2027 届校招里一类容易被忽略的岗位:中小型 AI 公司的测试开发岗。它们招的人少(往往只招 1—2 个),但 JD 里写的要求跟大厂几乎一样——覆盖 Agent、RAG、智能客服、多模态,要建评测集、Bad Case 库、质量指标、版本对比。文章以一家 2026 年 11 月在北邮宣讲的 AI 公司的真实 JD 为样本,讲清小公司这一套到底怎么搭,以及应届生进去之后第...
- 本文聚焦Agent记忆系统的**分层结构与错误传播风险**,强调验收核心不是“记得多准”,而是“错误能存活多久、扩散多广”。重点剖析注入层——虽token少却全局生效,一条过期/未验证信息将污染所有会话。提出四层断言框架(日志可溯、笔记可信、表征一致、注入严控),并给出可落地的工程实践:按影响面分级注入、强制标注来源与有效期、杜绝同事实多版本共存。 本文聚焦Agent记忆系统的**分层结构与错误传播风险**,强调验收核心不是“记得多准”,而是“错误能存活多久、扩散多广”。重点剖析注入层——虽token少却全局生效,一条过期/未验证信息将污染所有会话。提出四层断言框架(日志可溯、笔记可信、表征一致、注入严控),并给出可落地的工程实践:按影响面分级注入、强制标注来源与有效期、杜绝同事实多版本共存。
- 本文剖析Anthropic漏洞修复数据差异(217 vs 629)背后的本质:AI大幅提升漏洞发现能力,但“已修复”定义不一——一方指台账状态,一方指上游合入补丁。揭示行业共性困境:当发现与修复成为两条异步流水线,瓶颈在于人工审核接口,而非技术能力。 本文剖析Anthropic漏洞修复数据差异(217 vs 629)背后的本质:AI大幅提升漏洞发现能力,但“已修复”定义不一——一方指台账状态,一方指上游合入补丁。揭示行业共性困境:当发现与修复成为两条异步流水线,瓶颈在于人工审核接口,而非技术能力。
- 一句话定位:这不是"哪个 Agent 写代码更强",而是"怎么判断一篇自动生成的测试有没有真在检查东西"——载体是一批测试用例,被测对象是"用一份标准答案来验收测试"这个评测标准本身。同样的方法可迁移到自动生成接口用例、批量补单测、用 AI 补回归、把手工用例转自动化这四类场景。 二、摘要2026 年 10 月公开的 TestPrism 给每道测试任务配了 10 份实现:1 份参考实现、4 ... 一句话定位:这不是"哪个 Agent 写代码更强",而是"怎么判断一篇自动生成的测试有没有真在检查东西"——载体是一批测试用例,被测对象是"用一份标准答案来验收测试"这个评测标准本身。同样的方法可迁移到自动生成接口用例、批量补单测、用 AI 补回归、把手工用例转自动化这四类场景。 二、摘要2026 年 10 月公开的 TestPrism 给每道测试任务配了 10 份实现:1 份参考实现、4 ...
- 本文解读微软PDD Kit实验:聚焦“证明边界”而非单纯代码验证。核心是厘清规格完整性(如登录需双向断言)、明确验证层级(已证明/被信任/仅测试),并将边界写入交付物。方法可迁移到退款、权限等状态机场景,强调“先划出无人担保的圈,证明才有意义”。 本文解读微软PDD Kit实验:聚焦“证明边界”而非单纯代码验证。核心是厘清规格完整性(如登录需双向断言)、明确验证层级(已证明/被信任/仅测试),并将边界写入交付物。方法可迁移到退款、权限等状态机场景,强调“先划出无人担保的圈,证明才有意义”。
- 本文聚焦Agent断点续跑的核心测试难点:验证“暂停—检查—续跑”后,执行轨迹与外部副作用(如数据库写入、状态变更)是否真正一致。提出三条可落地断言——续跑不重复、不丢中间态、轨迹可对账,并指出“云端常驻”取消了“重启兜底”,需补全续跑策略与超时活性保障。 本文聚焦Agent断点续跑的核心测试难点:验证“暂停—检查—续跑”后,执行轨迹与外部副作用(如数据库写入、状态变更)是否真正一致。提出三条可落地断言——续跑不重复、不丢中间态、轨迹可对账,并指出“云端常驻”取消了“重启兜底”,需补全续跑策略与超时活性保障。
- Theseus Lab 开源的DeliverBench评测聚焦Agent“端到端交付一致性”:不验单步正确性,而查跨文件依赖链中结论是否自洽。实测显示,前沿Agent平均交付分仅65/100,暴露出“初始口径错误→后续全部正确继承”的致命传播模式。核心启示:局部审验失效,必须建立证据锚点、影响面清单与修复传播断言。 Theseus Lab 开源的DeliverBench评测聚焦Agent“端到端交付一致性”:不验单步正确性,而查跨文件依赖链中结论是否自洽。实测显示,前沿Agent平均交付分仅65/100,暴露出“初始口径错误→后续全部正确继承”的致命传播模式。核心启示:局部审验失效,必须建立证据锚点、影响面清单与修复传播断言。
- 本文提出以“错判风险”与“可逆性”双维度划分决策权,将“是否需人工签字”从主观判断转为可操作的四档分类(高危不可逆/可逆、低危不可逆/可逆),明确各档断言写法、证据要求及常见误区(如误将“未知”当低危、“可逆”当随意),适用于发布、退款、权限等关键场景。 本文提出以“错判风险”与“可逆性”双维度划分决策权,将“是否需人工签字”从主观判断转为可操作的四档分类(高危不可逆/可逆、低危不可逆/可逆),明确各档断言写法、证据要求及常见误区(如误将“未知”当低危、“可逆”当随意),适用于发布、退款、权限等关键场景。
- 本文剖析阿里云多Agent研发实践,聚焦“交接链路的证据完整性”而非单点代码质量。提出三大可落地验收准则:交付必含完整trace、验证Agent输入需裁剪实现上下文、每次变更须跑固定回归题集,直击Agent协作中证据丢失、验证失焦与回归遗漏痛点。 本文剖析阿里云多Agent研发实践,聚焦“交接链路的证据完整性”而非单点代码质量。提出三大可落地验收准则:交付必含完整trace、验证Agent输入需裁剪实现上下文、每次变更须跑固定回归题集,直击Agent协作中证据丢失、验证失焦与回归遗漏痛点。
- 本文聚焦AI图像多轮编辑的稳定性测试,核心是验证“未编辑区域像素级不变”这一关键不变量。提出三版可执行断言(视觉/像素/容差)、轮次渐进式验收策略,并强调严重与轻微崩坏需分设阈值。强调:厂商数据不可直接复用,须基于自身业务样本重建评测体系。 本文聚焦AI图像多轮编辑的稳定性测试,核心是验证“未编辑区域像素级不变”这一关键不变量。提出三版可执行断言(视觉/像素/容差)、轮次渐进式验收策略,并强调严重与轻微崩坏需分设阈值。强调:厂商数据不可直接复用,须基于自身业务样本重建评测体系。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签