AI生成测试用例的覆盖盲区与破局之道

源自111位全网作者

05-21 11:31

内容由AI生成

精选参考来源

1. iMetaOmics高引论文 | 罗鹏/袁硕峰/苗凯/程全发表STAGER: 生成式人工智能可靠性的标准化测试和评估推荐

2. 把方法论装进 AI:从这场 Skill 黑客松里,我们找到了 6 个值得参考的样本

3. DeepSeek V4 + Open WebUI + Hermes = 我帮你搭的私人AI员工!

4. 刷榜AI全挂了!Meta斯坦福地狱级测试,GPT/Claude/Gemini交出0分

5. 测试工程师招聘的新方向,真的爆了!!附行情解读+转型路线+实操干货

6. 当AI能写测试脚本时,测试工程师需要具备这些能力(附升职涨薪关键策略+保姆级资源)

7. 华为AI开发三大颠覆性突破:代码生成、自动测试、Bug修复全搞定!码农福音还是大锤? 华为云码道(CodeArts) 代码智能体公测版今日发布,集代码大模型、IDE、自主开发模式为一体,覆盖代码生成、研发知识问答、单元测试用例生成、专家技能Skills、Codebase代码库索引、规范驱动开发等AI Coding技术,同时接入开源模型GLM-5.0、DeepSeek-V3.2以及华为自研模型,并提供鸿蒙的专属模型。 鸿蒙专属模型,纯血鸿蒙应用开发简单,后续鸿蒙APP将爆发,各种鸿蒙APP会填补缺口。对一些公司来说是个机会窗。

8. 打造13个Claude Agent 互相 review 彼此↓ Reddit 一个开发者用 OpenClaw 框架搭建了 13 个 Claude Agent,让它们像真实团队一样工作:有人写代码,有人 review,有人测试,有人查安全漏洞。然后还互相 review 彼此的工作。 1 Writer Agent → 生成代码 2 Reviewer Agent → 逐行审查,对标 code review 标准 3 Tester Agent → 设计测试用例,验证逻辑 4 SecurityAuditor Agent → 扫描安全漏洞 5 Optimizer Agent → 性能优化建议 6 DocumentWriter Agent → 生成 API 文档 7 QA Agent → 最后一关,综合检查 ... + 6 个其他专业角色 vs. 链式流程(A→B→C),这个设计采用质量门控流程。Reviewer 必须 approve 才能进入下一阶段。出问题时反馈重做。 成本控制? 看起来 13 个 Agent 全力跑,tokens 肯定爆炸。但这个哥们用了几个聪明的招: 1. Context 优化 Writer 不需要看 test cases,Tester 不需要看文档。每个 Agent 只加载相关上下文。这一招可以干掉 80% 冗余 token。 2. 采样策略 不是每一行代码都通过全部 13 个 Agent。核心路径 100% 检查,非关键路径采样。 3. 缓存和复用 已审查过的代码片段不重复审查。测试用例库复用。架构决策缓存。 结果呢? - 单个开发者 Claude Code:每天 5-20刀 - 13 个 Agent 团队:每天 15-30刀(成本增加不多,质量翻倍) 实际对比维护 10 万行代码库: 1. 传统手工做法 - 人工 code review:8 小时 - token:50-80刀 - bug 漏过率:5-10% 2. 13 个 Agent 团队 - 总耗时:30 分钟(Architect 规划 → Writer 并行生成 → Reviewer 自动审查 → 全流程质量门控) - token:20-25刀 - bug 漏过率:<1% 为什么这个方案特别? 1. 角色化 > 能力化 不是「给 Claude 一个超级 Prompt 让它什么都会」,而是「给每个 Agent 一个明确的职责」。 Writer Prompt:「你是代码作者,你的工作是...」 Reviewer Prompt:「你是资深 code reviewer,标准是...」 角色专业化自动带来质量提升。 2. 质量门控自动化 传统 code review 是人工 bottleneck。Agent review 是自动化 + 可扩展的。 3. 知识积累 每个 Agent 的执行历史(什么被 reject、为什么)可以持续优化 Prompt。这是机器学习意义上的反馈循环。 4. 工程意义 这不是「用 AI 替代人」,而是「用 AI 团队协作替代个人英雄主义」。更接近真实团队的工作方式。背后的思想转变 从「Prompt Engineering」→ 「Architecture Engineering」 以前我们花时间优化单个 Prompt,试图让一个 AI 更聪明。现在聪明的做法是设计系统,让多个 AI 通过角色分工和质量门控,集体产出更高质量的结果。 原文:www.reddit.com/r/ClaudeAI/comments/1rga7f5/how_i_built_a_13agent_claude_team_where_agents/ #how i ai##程序员#

9. AI编程代理经常缺乏生产级工程技能,容易跳过规格编写、测试验证、代码审查等关键步骤,导致代码质量低下、后期维护成本高。agent-skills 为AI编码代理提供生产级工程技能包,覆盖从需求定义到部署上线全开发生命周期的最佳实践。包含19个结构化技能工作流和7个斜杠命令,支持Claude、Cursor、Gemini CLI等多平台AI工具,让代理像资深工程师一样规范开发。GitHub:github.com/addyosmani/agent-skills主要功能:- 7个开发生命周期命令:`/spec`(规格先行)、`/plan`(任务分解)、`/build`(增量实现)、`/test`(测试验证)、`/review`(代码审查)、`/code-simplify`(代码简化)、`/ship`(安全部署);- 19个核心技能:从`idea-refine`(想法提炼)到`shipping-and-launch`(上线发布),每个技能包含步骤、工作流验证和反合理化表;- 专业代理角色:`code-reviewer`(资深工程师视角)、`test-engineer`(测试专家)、`security-auditor`(安全审计);- 参考清单:测试模式、安全检查、性能优化、无障碍标准等快速参考;- Google工程实践:集成Hyrum's Law、测试金字塔、Chesterton's Fence、Trunk-based Development等实战经验;- 多平台集成:Claude Code一键安装,Cursor规则文件,Gemini原生技能,支持任何Markdown提示的AI代理。通过`git clone`本地运行或Marketplace安装,适合开发团队、AI代理爱好者和工程实践训练。#AI编程# #工程技能# #AgentSkills#

10. 企业级AI Coding的落地方法,都在这本实战手册里了|甲子光年

11. Claude Code 使用小贴士:(把这些加到你的 CLAUDE.md 文件里)1、写代码之前,先说清楚你打算怎么做,等我确认了再动手。2、如果我给的需求不够明确,先问清楚再写代码,别自己猜。3、每次写完代码之后,把你能想到的边界情况列出来,再建议几个测试用例覆盖它们。4、如果一个任务需要改三个以上的文件,先停下来,把它拆成更小的任务再做。5、遇到 bug 的时候,先写一个能复现这个 bug 的测试,然后修到测试通过为止。6、每次我纠正你的时候,想想自己哪里做错了,拿出一个方案确保以后不再犯同样的错。#科技先锋官##How I AI#

12. OpenAI 如何打造AI原生工程团队的最佳实践 《Building an AI-native engineering team》,归纳如下。文档介绍了团队应该如何真正把 AI 智能体嵌入工程体系,从计划、设计、开发、测试到上线运维形成闭环,加速整个 SDLC(软件开发生命周期)。1. 规划(Plan)规划往往需要大量代码语境理解,过去必须依赖资深工程师反复澄清。文档强调可以先让智能体读取需求、遍历代码库、标记模糊点、拆分工作项,把早期对齐成本显著降低。团队应该做的是专注决策、风险判断与优先级。因此,智能体不止是“辅助写代码”,而是可以提前介入需求—代码映射,用它来减少来回沟通。2. 设计(Design)设计通常被大量样板工作拖慢,例如项目结构初始化、组件框架搭建、样式规范套入。文档强调应让代理完成“从设计 → 组件 → 代码”的流水线式生成,再由工程师审阅架构一致性和 UX 合理性。设计阶段不是用 AI 画原型,而是让智能体直接产出“可运行验证的版本”,显著减少返工。3. 构建(Build)这是 AI 代理提升最明显的阶段。文档给出的最佳姿势,是让智能体负责端到端的初稿实现,包括模型、API、UI、测试和文档,工程师则把精力转向性能、架构、长期可维护性。构建阶段应把 AI 视为“第一实施者”。工程师不再负责逐行写,而负责判断生成方案是否符合系统演进方向。4. 测试(Test)随着智能体承担更多实施工作,测试反而成为工程师控制质量的主轴。最佳实践是让智能体生成测试用例、补全边界场景,并在代码变更后更新测试。不要只让智能体写代码,要让它写测试、跑测试、基于失败结果迭代;测试越强,智能体越可靠。5. 代码审查(Review)智能体可以持续、稳定地进行第一遍代码审查,尤其擅长发现逻辑漏洞、竞态、错误的数据库访问方式等。工程师则聚焦架构一致性与复杂变更的判断。AI 审查不是为了“更快合并”,而是为了“减少重大缺陷进入主干分支”。工程师的关注点应从细节检查转为整体正确性。6. 文档与知识沉淀(Document)智能体非常擅长根据代码生成结构化说明、依赖图和变化总结。最佳做法是把文档维护接入流水线,例如在发布流程中让智能体自动产出变更摘要,并由工程师确认关键部分。把文档写作视为“可自动化的持续任务”,而不是阶段性集中补齐。7. 部署与运维(Deploy & Maintain)让智能体读取日志、Trace、部署记录,再结合代码自动定位可能问题,并给出可行修复。工程师负责判断、确认和实施关键决策。在运维中使用智能体的关键不是预测故障,而是让其整合多源上下文,减少人工排查时间。重点:团队角色的重定义文档贯穿始终的主题是三个动词:Delegate、Review、Own。1 工程师应把重复性、结构化的工作交给智能体。2 工程师需要对智能体产出进行审阅,但专注关键决策点。3 工程师必须对系统的长期演进负责,对所有上线内容最终背书。AI-native 团队不是“工程师被取代”,而是“工程师从执行者变成决策者与架构塑造者”。#微博兴趣创作计划##人工智能#

13. 大语言模型评估指南

14. Anthropic 发布 AI Agent 评估体系完整指南,对 AI Agent 发展有何意义?

15. 回复@_imlh:第一版不需要写测试,重点是跑通主要流程//@_imlh:既然第一版代码是乱飞的,那可测试性应该很低? 那如何编写可靠的测试?//@宝玉xp:重构代码这事,最佳实践是先写自动化测试,先保证自动化测试覆盖,然后再去替换模块代码,确保替换后测试还能通过,这样重构后系统还是相对稳定的。AI 正适合写自动化测试,另外对于用 AI Agent 写代码,有了自动化测试,也更容易验证生成结果的好坏,能提升效率,至于工具,主流的 Coding Agent 工具

16. 【AI病毒大乱斗】当AI被“投毒”,哪只小龙虾能活到最后?

17. Y Combinator 总裁 Garry Tan 写了一篇很长的文章,讲他过去一年用 AI 写代码的核心方法论。他做了两个开源项目,GStack(93K stars)和 GBrain(14K stars),加起来大约 97 万行代码、665 个测试文件,基本全部由 Claude Code 和 Codex 在他的指挥下完成。他提出了一个概念叫"复杂度棘轮"(Complexity Ratchet)。棘轮就是那种只能往一个方向转的机械装置,比如扳手拧螺丝只能往前不能往后。他说用 AI 写代码也可以做到这一点:质量只能上升,不能下降。前提是你得有 90% 的测试覆盖率。具体怎么运作的?每次 AI agent 写代码的时候,同时会产出三样东西:测试(定义什么是"正确")、文档(记录为什么这么做)、评估结果(建立质量基线)。下一次 agent 再来改代码的时候,它会加载这三样东西到上下文里。测试不过就不能提交,文档就在眼前不能忽略,质量低于基线就会被发现。质量底线每一轮都在上升,这就是棘轮效应。他举了个很具体的例子。GBrain 有个功能是从大量文本里提取"谁相信什么",第一版跑出来质量 6.8 分(满分 10),最大的问题是搞混了"谁持有这个观点"。于是评估结果被记录下来,6 个失败模式被识别,第二版 prompt 针对性修复,17 个测试锁定了这些规则。以后任何版本的代码都必须通过这 17 个测试才能上线,没有人需要记住这些细节,测试替你记住了。为什么 90% 这个数字这么重要?他引用了 Capers Jones 对一万多个软件项目的研究:覆盖率在 70% 以下时,缺陷逃逸率很高;到了 85%-95% 的区间,缺陷捕获率跳到 92%-97%。这个关系不是线性的,在 85% 附近有一个拐点,过了这个点,漏网的 bug 数量会断崖式下降。航空软件行业几十年前就发现了这一点,所以 FAA 对飞行关键系统强制要求极高覆盖率。过去 50 年,90% 覆盖率对人类团队来说太贵了,因为最后那 20% 的测试写起来极其枯燥费力,大多数团队到 70% 就停了。但 AI agent 不会无聊,不会在周五下午偷懒,不会觉得"以后再补"。那堵挡住人类的"意志力墙",对 AI 来说根本不存在。所以 90% 覆盖率从一个奢侈品变成了默认设置。他还展示了棘轮可以测试的范围远超传统单元测试。他用 Bun 的 TTY 功能造了一个测试框架,能在伪终端里启动 Claude Code,观察它的实际行为,比如"有没有在 review 过程中问用户问题"。如果 agent 跳过了交互直接输出结果,测试就会失败。这已经不是在测代码逻辑了,是在测 AI agent 有没有遵守行为契约。最后他的结论很直接:任何软件公司如果还没采用这套模式(agent + 品味 + 只升不降的测试套件),在速度和质量上已经输给了一个用这套方法的单人团队。工具是开源的,免费的,去用就行。#科技先锋官##How I AI#

18. 以后产品真正的全链路:1、有想法描述给agent,让agent继续发散想法,并从商业、运营、增长、研发、法规、竞品等多个角度去提前预研这个想法是否可行;2、如果可行,让agent给出详细的设计文档,包括设计、产品prd、架构、数据库、网络、安全、测试等全面的设计方案;3、review没问题之后,让agent启动研发,然后自己写测试用例,造测试数据,验证各个产品功能;4、功能测试ok后,agent对接云平台CLI,完成自动化部署、域名路由配置等,最后给出访问地址即可。

19. AI学会“科学交接班”,解决上下文难题——Anthropic智能(牛马)方法论

20. AI 术语通俗词典:交叉验证法

21. AI的崛起能改写程序员熬夜赶工、高压攻坚的现状吗?能切实降低这一岗位的猝死概率吗?答案是肯定的。当下AI写代码能力已实现规模化落地,为程序员筑起职业健康防护墙,重塑高压岗位的工作生态。AI以高效代码生成能力,从源头压缩无效加班时长。如今GitHub Copilot、通义灵码等工具,可基于业务需求快速生成80%-95%的标准化代码,不仅覆盖CRUD、接口调用等基础场景,还能适配Java、Python等多语言开发。这让程序员无需为重复编码消耗深夜时光,原本需通宵完成的模块开发,借助AI辅助可缩短至数小时,大幅减少熬夜频次,降低因睡眠不足引发的心血管疾病风险。AI精准调试与漏洞排查能力,缓解高压场景下的精神内耗。猝死往往与长期焦虑、突发压力叠加相关,而代码报错、逻辑漏洞排查曾是程序员的主要压力源。现在Devin、CodeGeeX等AI工具可自动定位语法错误、逻辑BUG,甚至给出优化方案,避免程序员因反复调试陷入情绪内耗,减少交感神经持续兴奋带来的健康负担,同时降低因紧急修复漏洞被迫极限加班的概率。AI还能通过工作流优化,规避赶工式高压。它可自动生成测试用例、完成代码格式化与注释撰写,将程序员从繁琐的辅助工作中解放,聚焦核心架构设计与业务逻辑拆解。AI能基于项目进度预判工时缺口,提前提醒团队合理分配任务,避免临近截止日期的冲刺式加班,让工作节奏更可控,从作息与心态上双重降低猝死风险。#程序员周末晕倒后猝死##猝死程序员28岁升部门经理##微博超有用视频大赛##热点解读# 种斌Marco的微博视频

22. 都2026了,Obsidian还不接AI?保姆级教程来了

23. Y Combinator 总裁 Garry Tan 最近发了一篇长文,分享他过去一年用 AI 写代码的核心心得。这篇文章信息密度极高,里面有一个非常重要的概念,他管它叫“复杂度棘轮”(Complexity Ratchet)。这个概念不仅对程序员有用,对任何想用 AI 做复杂工作的人都有启发。1、一个人做出了什么先说背景。Garry Tan 做了两个开源项目:GStack(让 AI 编程 agent 更好用的框架,93K GitHub stars)和 GBrain(把你读过和写过的所有东西变成 AI 可搜索的知识库,14K stars)。两个项目加起来大约 97 万行代码,665 个测试文件。基本全部由 Claude Code 和 Codex 在他的指挥下完成,他大部分时候同时开 15 个并行的 Conductor 会话。这在传统认知里是不可能的。软件工程有一条古老的信条:速度和质量只能选一个。快就会出 bug,稳就得慢。但 Garry Tan 说,现在你不用选了。关键在于 90% 的测试覆盖率,而 AI agent 让达到这个覆盖率变得几乎零成本。2、什么是“复杂度棘轮”棘轮是一种机械装置,只能往一个方向转动。扳手拧螺丝的时候,螺丝只能往前拧不能往后退,就是这个原理。Garry Tan 把这个概念搬到了 AI 编程里。他说,每次 AI agent 写代码的时候,同时会产出三样东西:第一,测试。这些测试定义了什么叫“正确”。每次有人改代码,测试都会自动跑一遍,如果改坏了什么,测试会立刻报错。第二,文档。记录的是“为什么这么做”,包括背后的推理和取舍。第三,评估结果。建立一个质量基线,比如这次输出质量是 6.8 分,下次必须比这个高。下一次 agent 再来改代码的时候,它会把这三样东西全部加载到上下文里。测试不过就不能提交,文档就在眼前不能忽略,质量低于基线就会被发现。于是质量底线每一轮都在上升,永远不会下降。这就是棘轮效应:只能往前,不能后退。3、一个具体的例子GBrain 有一个功能叫“认识论提取”,就是从大量文本里提取“谁相信什么,置信度多高”。比如“Garry 认为比特币会涨到 30 万美元(置信度 0.45)”,“Jared 认为这家创业公司留存率很强(置信度 0.80)”。它要从 28000 页文档里做这件事。第一版跑出来,用 GPT-5.5 和 Claude 交叉打分,质量 6.8 分(满分 10)。最大的问题是“持有者混淆”:一个观点到底是谁说的?是写文章的人自己的观点,还是他引用别人的,还是系统从播客转录稿里推断出来的?第一版有 35% 的概率搞混这个区分。于是评估结果被记录下来,6 个具体的失败模式被识别出来,第二版的 prompt 针对性地修复了所有 6 个问题,置信度分数的精度规则在数据库层面做了强制约束,17 个测试锁定了这些规则。从此以后,任何未来版本的代码都必须通过这 17 个测试才能上线。没有人需要记住“持有者混淆”是什么,也没有人需要记住为什么置信度必须用 0.05 的步长。测试替你记住了一切。质量底线永久性地上升了一格。这就是棘轮转了一圈。4、为什么是 90% 这个数字Garry Tan 引用了 Capers Jones 对超过一万个软件项目的研究数据。这个研究测量的是“缺陷移除效率”(DRE),也就是 bug 在到达用户之前被抓住的比例。数据显示,覆盖率在 70% 以下时,DRE 大概在 65%-75%,意味着每 4 个 bug 里有 1 个会漏到用户手里。但到了 85%-95% 的区间,DRE 跳到了 92%-97%。这个关系不是线性的,在 85% 附近有一个明显的拐点,过了这个点,漏网的 bug 数量会断崖式下降。航空软件行业几十年前就发现了这一点。FAA 对飞行关键系统的标准 DO-178C 要求极高的覆盖率,原因很简单:数据表明,低于某个覆盖率阈值,关键缺陷的逃逸率高到“和不死人这个目标不兼容”。他还用了制造业的六西格玛做类比。3 sigma 的流程每百万件产品有 67000 个缺陷,4 sigma 降到 6200 个,5 sigma 降到 233 个。从 4 到 5 sigma 的跳跃不是渐进式改善,是相变。测试覆盖率也一样,从 70% 到 90% 带来的不是 30% 的改善,是一个数量级的缺陷减少。5、AI 为什么能打破“意志力墙”这里有一个关键的历史背景。研究 Windows Vista 的学者发现,虽然高覆盖率确实能减少 bug,但达到 90% 以上的努力成本会急剧上升。最后那 20% 的覆盖率需要的工作量远超前面 70% 的总和。这就是为什么过去 50 年里,大多数团队到 70%-80% 就停了,觉得“够好了”。但 AI agent 不会感到疲惫。它不会在写第 14 个边界条件测试的时候觉得无聊。它不会在周五下午 5 点偷工减料。它不会看到一个复杂的集成测试然后想“以后再说吧”。那堵挡住人类团队的“意志力墙”,对 AI 来说根本不存在。所以真正的突破不在于 AI 让你写代码更快。很多人已经注意到了这一点。真正的突破在于,AI 让你能以一种过去成本高到不可持续的水平去验证代码质量。90% 覆盖率过去是奢侈品,现在是默认设置。过去需要英雄般的努力,现在只是一个普通的周二。6、测试的范围远比你想象的大大多数人想到测试,想到的是“我的函数返回的数字对不对”。但 Garry Tan 展示了一个更大的图景:任何计算机能观察到的东西,都可以被测试,都可以被棘轮化。操作系统层面:数据库迁移有没有创建正确的表?定时任务有没有按时触发?进程还活着吗?浏览器层面:页面渲染了吗?agent 有没有正确填写表单?API 层面:模型返回的 JSON 格式对吗?schema 对吗?行为层面:AI agent 有没有遵守协议?有没有在删除之前先问用户?被叫停的时候有没有停下来?他举了一个特别有意思的例子。GStack 有一个功能叫“交互式计划评审”,你让 AI 审查你的架构方案,它应该一节一节地跟你讨论,提问题,挑战你的假设。但 Claude Code 有时候会跳过整个交互环节,直接把所有发现一口气倒出来就退出了。怎么测试“AI 有没有跟你对话”这件事?传统测试框架根本做不到。Garry Tan 用 Bun 的 TTY 功能造了一个测试框架,在伪终端里启动 Claude Code,喂给它一个具体的代码场景,触发评审功能,然后实时观察终端输出。如果 agent 没有提出任何交互式问题就结束了,测试就失败。这已经不是在测代码逻辑了,是在测 AI agent 有没有遵守行为契约。7、测试就是不会离职的“组织记忆”传统软件公司里,组织记忆存在人的脑子里。那个知道缓存层为什么这么设计的高级工程师,那个记得某次数据库迁移差点炸掉的架构师,那个能解释计费系统里奇怪边界条件的技术负责人。人会离开。退休、被挖走、倦怠。人走了,知识就跟着走了。每个软件公司都遇到过这种情况:打开一个关键文件,看到一行注释写着“不要改这里,问 Dave”,而 Dave 三年前就走了。测试套件不会离职,不会被挖走,不会忘记。当测试里编码了“置信度分数必须用 0.05 的步长”,文档里解释了“因为交叉评估显示虚假精度会降低用户对置信度分数的信任”,这个知识就是持久的。任何 agent,任何模型,任何时候都可以加载这个上下文并理解这个约束。对于一个人的项目来说,测试更加关键,因为它是你唯一的组织记忆。8、Vibecoding 为什么会失败Andrej Karpathy 发明了一个词叫 vibecoding,就是用自然语言描述你想要什么,让 AI 生成代码。Garry Tan 说他自己就是这么写代码的,这个方法很强大。但他在 YC 的申请项目和开源仓库里观察到,大多数跳过测试的 vibecoding 项目,一旦达到中等复杂度(几千行代码,几个相互交互的功能),就开始崩塌。原因很简单:它们跳过了棘轮。没有测试,没有文档,没有评估。Agent 在不断增加复杂度,但没有任何东西阻止退化。每加一个新功能都有可能破坏旧功能,而没有测试的话,你要等到用户来报 bug 才知道。到了 0.5 版本,代码库就变成了一栋鬼屋,改任何地方都会在意想不到的地方出问题。然后开发者写一篇博客说“AI 编程根本不行”。AI 编程没问题。他们只是没有建棘轮。9、软件复杂度的天花板被抬高了过去,一个软件系统能有多复杂,取决于一个团队能同时在脑子里装下多少东西。现在,这个上限变成了一个人加上能把完整代码库、schema 历史、测试套件和文档全部加载到上下文里的 AI agent。这是一个大得多的数字。而且随着上下文窗口越来越大、模型推理代码的能力越来越强,这个数字还在持续增长。Garry Tan 最后说了一句很重的话:任何软件公司如果还没采用这套模式(agent + 品味 + 只升不降的测试套件),在速度和质量上已经输给了一个用这套方法的单人开发者。### 这件事对我们意味着什么跳出编程的语境来看,棘轮这个思维模型其实适用于任何需要持续积累质量的工作。写作、研究、产品设计,任何领域里你都可以问自己:我有没有一个机制,能确保质量只升不降?我上一次犯的错误,有没有被编码成某种“测试”,让我下次不可能再犯同样的错?过去这种机制依赖人的记忆力和自律性,所以很难持续。但现在 AI 可以帮你维护这套系统。关键是你得主动去建它。大多数人用 AI 的方式是“帮我做完这件事”,然后就结束了。但如果你在每次完成任务的同时,让 AI 帮你把“什么是对的、为什么这么做、质量底线在哪里”也一并记录下来,你就在建自己的棘轮。50 年来,90% 的验证覆盖率是航空和医疗设备行业的专属奢侈品,只有那些有预算把大量人力投入到“意志力墙”上的团队才能做到。AI agent 把这堵墙拆了。让软件可靠的那个覆盖率阈值,不再昂贵,它只是一个设置项。问题不再是“你能不能负担得起 90%”,问题变成了“你能不能负担得起没有 90%”。#科技先锋官# #How I AI#

24. 用过 AI 编程的朋友应该都有一个感受,AI 写代码这件事,一开始挺爽,但项目一复杂就开始拉胯。前面定好的接口后面对不上了,改了前端后端又乱了,你得一直盯着它,稍微没看住就跑偏。说白了就像带一个实习生,能力有,但你不能撒手。这个问题的根源在于,单个 AI Agent 处理长任务的时候,上下文越撑越大,早期的信息会被压缩甚至丢掉,步骤遗漏、前后矛盾就来了。需求越复杂,崩得越快。Qoder 最近上线了一个叫专家团模式的功能,思路很不一样。你给一个需求,AI 自动组建一支团队帮你干活。有一个 Leader Agent 负责拆任务、组团队、盯进度,下面有前端开发、后端开发、测试工程师、代码审查员,各管一摊,同时开工。关键是这些专家不是同一个模型换个名字在演戏。每个专家是经过专项调优的,而且会自动路由到最适合的模型,规划任务用 Opus,写代码用 GLM5,浏览器测试用 Kimi K2.5,是真的术业有专攻。我实测了一下,给了一个英语单词听写应用的需求,专家团模式自动拆分任务,前后端同步开发,开发完了还自动引入测试工程师和代码审查员。审查员发现前后端接口不一致,Leader Agent 立刻召唤后端工程师来修,修完又安排新一轮测试。最后交付的项目,没有 Bug,颜值在线,前后端接口对得上,测试覆盖到位。这里有一个很关键的体感变化:以前用单 Agent,你是带实习生的 mentor,得一直盯着。用了专家团模式之后,你变成了项目经理,工作变成了审计划、验收结果。从执行者变成决策者,这个转变听起来只是流程上的区别,但实际体验完全是两回事。AI 编程这几年的进化路径其实很清晰,从代码补全,到问答,到单 Agent 执行,再到现在的多 Agent 团队协作。每一步都在改变你和 AI 之间的关系,从 AI 辅助你,到 AI 替你执行,再到 AI 团队替你交付。详细的实测,请看这篇文章。地址:网页链接#How I AI##科技先锋官#

25. 【用好AI编程助手,你需要学会“当甲方”】当我们还在纠结AI写的代码对不对时,顶尖开发者已经在思考另一个问题:如何让AI持续工作数小时,自动完成大规模重构,直到所有测试通过。这不是科幻,而是Cursor团队分享的真实工作方式。核心认知转变:从“写代码”到“管上下文”当你习惯让Agent编码后,你的主要工作就变成了一件事——为每个Agent提供恰到好处的上下文。不多不少,刚刚好。芝加哥大学的研究发现,有经验的开发者更倾向于在生成代码前先规划。这个发现很有意思:越是高手,越不急着让AI动手。规划不是浪费时间,而是在帮AI明确目标。目标越清晰,AI的成功率越高。几个反直觉的实践:第一,不要手动标记每个文件。Agent有强大的搜索能力,让它自己去找。你塞太多“可能相关”的文件进去,反而会让它分不清主次。第二,对话不是越长越好。过长的对话会让Agent失去焦点,上下文里积累的噪音会分散它的注意力。当你发现效果下降,果断开启新对话。第三,当Agent跑偏时,别试图用后续提示修修补补。回滚改动,重新细化计划,再跑一次。这比“抢救”一个进行中的Agent更快,结果也更干净。测试驱动开发的新玩法让Agent写测试,确认测试失败,提交测试,然后让Agent写实现代码并持续迭代直到全部通过。关键是要明确告诉它“现在是TDD阶段,不要写模拟实现”,以及“不要修改测试,只写能通过测试的代码”。Agent在有清晰迭代目标时表现最好。测试就是那个目标——它让AI能边改边验证,而不是盲目输出。并行运行多个Agent一个很强的技巧:让同一个提示词同时在多个模型上运行,然后比较结果。这对棘手问题特别有效。不同模型会采用不同方法,你可以从中选出最优解,甚至发现某个模型遗漏的边缘情况。那些用得最好的开发者有什么共同点?他们写具体的提示。“给auth.ts加测试”和“为auth.ts的登出边界情况写测试用例,参考__tests__目录的模式,避免使用mock”——效果天差地别。他们认真审查。AI生成的代码看起来可能是对的,但细节里藏着魔鬼。Agent工作得越快,你的审查流程就越重要。他们提供可验证的目标。Agent无法修复它“看不见”的问题。强类型、代码检查工具、测试——这些都是给AI的明确信号。他们把Agent当作有能力的协作者,而不是听话的工具。让它给出计划,要求它解释,对不认可的方案敢于质疑。说到底,用好AI编程助手的本质,是学会当一个好甲方:需求清晰、目标明确、验收严格,但也给足空间让对方发挥。cursor.com/cn/blog/agent-best-practices

26. 谁来制定全球 AI 道德伦理规范,如何执行?

27. 字跳TRAE团队发了个《2026 企业级AI编程实践手册》,总结了他们的AI编程方法论和工程实践网页链接“在2026年,AI编程已不再是实验性的尝试,而应该成为企业软件开发的核心生产力。本手册源于TRAE团队在构建AI编程助手过程中的真实实践——我们用AI构建AI,在这个过程中积累了从方法论到工程实践的完整经验。这不是一本理论书籍,而是一线研发团队的实战总结。我们将分享如何将AI真正融入企业级开发流程,如何建立可复制的工程规范,以及如何让团队从“会用AI”到“精通AI编程”。无论你是技术决策者、架构师还是一线开发者,都能在这里找到可落地的方法和工具。AI时代的软件开发不是替代人类,而是重构协作方式。让我们一起探索这个新范式。”#How I AI#

28. 干翻 GPT-5.4!MiroThinker 升级「重型推理」,AI 学会了自我验证

29. AI生成的测试用例,真的靠谱吗?我们试了试

30. 测试工程化实践

31. 用例数量上来了,覆盖率为什么还是说不清?

32. AI写测试用例,为什么越写越像,越看越不对?

33. AI生成的测试用例

34. AI提示词模板库

35. AI 生成用例评审 Checklist

36. AI生成的测试用例究竟能信多深?

37. AI写测试用例?人类审核才是核心竞争力

38. 别再让 AI 帮你写测试用例了!你以为在提效,其实是在“慢性自杀”

39. 当AI算法只懂取悦

40. 一道面试题刷掉 90% 的人,测试人必懂

41. 在AI赋能测试的时代更需要人类守住质量的门槛:效率陷阱与 TMMi Level 3 的破局之道

42. AI辅助生成测试用例的实践中,如何保证生成的用例质量(如相关性、全面性)并避免“幻觉”?

43. 使用AI测试大幅提升软件测试覆盖率?别再迷信覆盖率了,测试用例数量是幻觉!

44. 如何评估 AI 生成测试用例的准确性?

45. 这款AI“外置大脑”,一键提升测试用例生成质量!

46. AI辅助软件测试

47. AI测试工具落地实践

48. AI测试工具落地实践深度解读

49. ​2026年,70%企业测试用例将由AI生成

50. AI自动生成测试用例?这些坑不踩,新手也能直接用!

51. DeepSeek落地实战

52. 2026年AI测试工具的5大认知误区

53. 2026测试覆盖率优化

54. 测试覆盖率优化2026最新趋势

55. 2026年AI驱动测试如何真正落地?

56. 2026年兼容性测试指南

57. 2026年AI十大突破

58. 2026年AI测试工具开源方案全景图

59. Testin XAgent拆解

60. 精准测试之覆盖

61. 让 AI 理解需求和产品设计,生成测试用例与覆盖分析

62. 告别“AI幻觉”:写好提示词,一键生成高质量测试用例

63. AI驱动Unity测试:从手动到智能的进化之路

64. ‌2026开年,AI测试工具如何让测试团队效率提升800%?

65. 当大模型开始写测试用例:AI对测试工作的颠覆与边界

66. AI赋能设计验证:让开发高效编写测试用例的新范式

67. AI赋能测试重塑测试用例生成流程2.0

68. AI一分钟生成测试用例二

69. 字节AI操作:AI生成接口自动化测试用例,效率拉满

70. 字节AI神操作:AI生成接口自动化测试用例,效率拉满

71. Apifox AI 生成测试用例——从原理到采纳的实战应用

72. AI 驱动的代码审查与测试用例生成:iFlow CLI在提测阶段的应用实践

73. 我们用AI生成测试用例,从半天压缩到20分钟,踩了哪些坑?

74. AI一分钟生成测试用例

75. 测试人必看!用好提示词工程,让AI成为你的「测试加速器

76. AI驱动测试革命:智能生成测试用例的实践指南与未来展望

77. 用AI搞测试用例:一天干完一周的活

78. 2026了,还在手动写测试用例?隔壁团队已经用AI提效50%

79. 测试用例 Prompt 模板库:让 AI 帮你写出专业级测试用例(附 10 个可直接套用的模板)

80. AI生成测试用例调研:实战指南与头部企业最佳实践

81. AI测试元年,70%企业的测试用例将由AI生成,你的岗位准备好了吗?

82. 从人工到AI驱动:天猫测试全流程自动化变革实践

83. AI自动生成测试用例为什么越来越不准确?很多团队开始重新研究知识图谱

84. [基础篇]第3章 AI测试的核心理念

85. AI产品测试 | 如何为 “AI智能添加字幕”设计用例?

86. 测试工程师的AI实战:自动化用例生成,从没这么轻松过

87. Ai测试进步最快的方式,没有之一 测试最怕啥?用例写不全、断言写不细、脚本写不动,只会点点点。这个有点变态的AI练法,就靠三招直接砍掉这些痛点。第一招:用例全交给AI暴力生成。把需求、接口定义、流程图、历史Bug扔给大模型,让它产功能用例、接口用例、场景用例、边界组合,再顺手加断言字段、预期结果、优先级,你只做删减和标记。第二招:脚本让AI写到吐。选定Postman+Pytest+Playwright+JMeter,把用例表、环境信息、数据样例一股脑贴给AI,让它写接口自动化脚本、UI回归脚本、性能压测脚本骨架,你只补配置和参数化。第三招:Bug分析不再熬夜。失败用例、错误栈、慢SQL、监控截图全丢给模型,让它做缺陷分类、推测可疑模块、生成复现步骤、推荐回归用例。别再只靠人脑硬扛了,让AI当测试实习生给你打下。 #软件测试工程师 #Ai软件测试 #涨知识 #一分钟干货教学 #找工作

88. AI测试革命:如何确保生成用例的可靠性与一致性

89. 接口文档一丢,AI自动生成测试用例和自动化脚本?

90. Ai生成测试用例实操流程,效率提升300%,太牛了!

91. 2026年测试用例自动生成工具TOP5对比

92. AI大模型如何破解测试用例生成难题

93. ALL in AI|告别测试用例内耗,让每一次测试都精准高效

94. 测试用例自动生成:2026年五大突破趋势

95. 测试提质增效|AI自动化生成测试用例,全流程落地方案来了

96. AI Test:AI 测试平台落地实践

97. 操作教程|在MeterSphere中通过AI生成测试用例 - 哔哩哔哩

98. AI大模型产品完整测试流程全景图

99. 2026 最全 AI 测试工具矩阵:不用写代码,这 5 款工具让你的效率直接拉满

100. AI驱动测试用例生成:智能化功能测试实践全解析

101. 用AI编写测试用例的5种实战方法

102. AI智能体项目的测试流程

103. 2026 AI+ 测试前沿技术:5 个趋势颠覆传统测试

104. 利用AI生成测试用例,提升QA工作效率

105. 什么是AI测试?如何用AI提升测试效率?

106. AI测试工具2026年五大趋势

107. AI 智能用例评审系统:让测试用例“零歧义”

108. Gartner预测:到2027年,80%的企业将部署AI测试工具,现在上车正是时候!

109. 2026年实测好用的AI自动化测试工具,AI赋能测试效率翻倍

110. 2026 AI自动化测试工具TOP 10盘点

111. 自动化单元+静态测试驱动开发:AI编码时代的确定性验证

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章