AI生成测试用例的覆盖盲区与破局之道
05-21 11:31
精选参考来源
精选参考来源
1. iMetaOmics高引论文 | 罗鹏/袁硕峰/苗凯/程全发表STAGER: 生成式人工智能可靠性的标准化测试和评估推荐
微信公众号 2026-04-27 00:00:00
2. 把方法论装进 AI:从这场 Skill 黑客松里,我们找到了 6 个值得参考的样本
微信公众号 2026-04-07 00:00:00
3. DeepSeek V4 + Open WebUI + Hermes = 我帮你搭的私人AI员工!
哔哩哔哩 2026-05-04 00:00:00
4. 刷榜AI全挂了!Meta斯坦福地狱级测试,GPT/Claude/Gemini交出0分
知乎 2026-05-08 00:00:00
5. 测试工程师招聘的新方向,真的爆了!!附行情解读+转型路线+实操干货
知乎 2025-12-02 00:00:00
6. 当AI能写测试脚本时,测试工程师需要具备这些能力(附升职涨薪关键策略+保姆级资源)
知乎 2025-12-08 00:00:00
7. 华为AI开发三大颠覆性突破:代码生成、自动测试、Bug修复全搞定!码农福音还是大锤? 华为云码道(CodeArts) 代码智能体公测版今日发布,集代码大模型、IDE、自主开发模式为一体,覆盖代码生成、研发知识问答、单元测试用例生成、专家技能Skills、Codebase代码库索引、规范驱动开发等AI Coding技术,同时接入开源模型GLM-5.0、DeepSeek-V3.2以及华为自研模型,并提供鸿蒙的专属模型。 鸿蒙专属模型,纯血鸿蒙应用开发简单,后续鸿蒙APP将爆发,各种鸿蒙APP会填补缺口。对一些公司来说是个机会窗。
新浪微博 2026-02-27 00:00:00
8. 打造13个Claude Agent 互相 review 彼此↓ Reddit 一个开发者用 OpenClaw 框架搭建了 13 个 Claude Agent,让它们像真实团队一样工作:有人写代码,有人 review,有人测试,有人查安全漏洞。然后还互相 review 彼此的工作。 1 Writer Agent → 生成代码 2 Reviewer Agent → 逐行审查,对标 code review 标准 3 Tester Agent → 设计测试用例,验证逻辑 4 SecurityAuditor Agent → 扫描安全漏洞 5 Optimizer Agent → 性能优化建议 6 DocumentWriter Agent → 生成 API 文档 7 QA Agent → 最后一关,综合检查 ... + 6 个其他专业角色 vs. 链式流程(A→B→C),这个设计采用质量门控流程。Reviewer 必须 approve 才能进入下一阶段。出问题时反馈重做。 成本控制? 看起来 13 个 Agent 全力跑,tokens 肯定爆炸。但这个哥们用了几个聪明的招: 1. Context 优化 Writer 不需要看 test cases,Tester 不需要看文档。每个 Agent 只加载相关上下文。这一招可以干掉 80% 冗余 token。 2. 采样策略 不是每一行代码都通过全部 13 个 Agent。核心路径 100% 检查,非关键路径采样。 3. 缓存和复用 已审查过的代码片段不重复审查。测试用例库复用。架构决策缓存。 结果呢? - 单个开发者 Claude Code:每天 5-20刀 - 13 个 Agent 团队:每天 15-30刀(成本增加不多,质量翻倍) 实际对比维护 10 万行代码库: 1. 传统手工做法 - 人工 code review:8 小时 - token:50-80刀 - bug 漏过率:5-10% 2. 13 个 Agent 团队 - 总耗时:30 分钟(Architect 规划 → Writer 并行生成 → Reviewer 自动审查 → 全流程质量门控) - token:20-25刀 - bug 漏过率:<1% 为什么这个方案特别? 1. 角色化 > 能力化 不是「给 Claude 一个超级 Prompt 让它什么都会」,而是「给每个 Agent 一个明确的职责」。 Writer Prompt:「你是代码作者,你的工作是...」 Reviewer Prompt:「你是资深 code reviewer,标准是...」 角色专业化自动带来质量提升。 2. 质量门控自动化 传统 code review 是人工 bottleneck。Agent review 是自动化 + 可扩展的。 3. 知识积累 每个 Agent 的执行历史(什么被 reject、为什么)可以持续优化 Prompt。这是机器学习意义上的反馈循环。 4. 工程意义 这不是「用 AI 替代人」,而是「用 AI 团队协作替代个人英雄主义」。更接近真实团队的工作方式。背后的思想转变 从「Prompt Engineering」→ 「Architecture Engineering」 以前我们花时间优化单个 Prompt,试图让一个 AI 更聪明。现在聪明的做法是设计系统,让多个 AI 通过角色分工和质量门控,集体产出更高质量的结果。 原文:www.reddit.com/r/ClaudeAI/comments/1rga7f5/how_i_built_a_13agent_claude_team_where_agents/ #how i ai##程序员#
新浪微博 2026-03-10 00:00:00
9. AI编程代理经常缺乏生产级工程技能,容易跳过规格编写、测试验证、代码审查等关键步骤,导致代码质量低下、后期维护成本高。agent-skills 为AI编码代理提供生产级工程技能包,覆盖从需求定义到部署上线全开发生命周期的最佳实践。包含19个结构化技能工作流和7个斜杠命令,支持Claude、Cursor、Gemini CLI等多平台AI工具,让代理像资深工程师一样规范开发。GitHub:github.com/addyosmani/agent-skills主要功能:- 7个开发生命周期命令:`/spec`(规格先行)、`/plan`(任务分解)、`/build`(增量实现)、`/test`(测试验证)、`/review`(代码审查)、`/code-simplify`(代码简化)、`/ship`(安全部署);- 19个核心技能:从`idea-refine`(想法提炼)到`shipping-and-launch`(上线发布),每个技能包含步骤、工作流验证和反合理化表;- 专业代理角色:`code-reviewer`(资深工程师视角)、`test-engineer`(测试专家)、`security-auditor`(安全审计);- 参考清单:测试模式、安全检查、性能优化、无障碍标准等快速参考;- Google工程实践:集成Hyrum's Law、测试金字塔、Chesterton's Fence、Trunk-based Development等实战经验;- 多平台集成:Claude Code一键安装,Cursor规则文件,Gemini原生技能,支持任何Markdown提示的AI代理。通过`git clone`本地运行或Marketplace安装,适合开发团队、AI代理爱好者和工程实践训练。#AI编程# #工程技能# #AgentSkills#
新浪微博 2026-04-06 00:00:00
10. 企业级AI Coding的落地方法,都在这本实战手册里了|甲子光年
微信公众号 2026-03-10 00:00:00
11. Claude Code 使用小贴士:(把这些加到你的 CLAUDE.md 文件里)1、写代码之前,先说清楚你打算怎么做,等我确认了再动手。2、如果我给的需求不够明确,先问清楚再写代码,别自己猜。3、每次写完代码之后,把你能想到的边界情况列出来,再建议几个测试用例覆盖它们。4、如果一个任务需要改三个以上的文件,先停下来,把它拆成更小的任务再做。5、遇到 bug 的时候,先写一个能复现这个 bug 的测试,然后修到测试通过为止。6、每次我纠正你的时候,想想自己哪里做错了,拿出一个方案确保以后不再犯同样的错。#科技先锋官##How I AI#
新浪微博 2026-03-03 00:00:00
12. OpenAI 如何打造AI原生工程团队的最佳实践 《Building an AI-native engineering team》,归纳如下。文档介绍了团队应该如何真正把 AI 智能体嵌入工程体系,从计划、设计、开发、测试到上线运维形成闭环,加速整个 SDLC(软件开发生命周期)。1. 规划(Plan)规划往往需要大量代码语境理解,过去必须依赖资深工程师反复澄清。文档强调可以先让智能体读取需求、遍历代码库、标记模糊点、拆分工作项,把早期对齐成本显著降低。团队应该做的是专注决策、风险判断与优先级。因此,智能体不止是“辅助写代码”,而是可以提前介入需求—代码映射,用它来减少来回沟通。2. 设计(Design)设计通常被大量样板工作拖慢,例如项目结构初始化、组件框架搭建、样式规范套入。文档强调应让代理完成“从设计 → 组件 → 代码”的流水线式生成,再由工程师审阅架构一致性和 UX 合理性。设计阶段不是用 AI 画原型,而是让智能体直接产出“可运行验证的版本”,显著减少返工。3. 构建(Build)这是 AI 代理提升最明显的阶段。文档给出的最佳姿势,是让智能体负责端到端的初稿实现,包括模型、API、UI、测试和文档,工程师则把精力转向性能、架构、长期可维护性。构建阶段应把 AI 视为“第一实施者”。工程师不再负责逐行写,而负责判断生成方案是否符合系统演进方向。4. 测试(Test)随着智能体承担更多实施工作,测试反而成为工程师控制质量的主轴。最佳实践是让智能体生成测试用例、补全边界场景,并在代码变更后更新测试。不要只让智能体写代码,要让它写测试、跑测试、基于失败结果迭代;测试越强,智能体越可靠。5. 代码审查(Review)智能体可以持续、稳定地进行第一遍代码审查,尤其擅长发现逻辑漏洞、竞态、错误的数据库访问方式等。工程师则聚焦架构一致性与复杂变更的判断。AI 审查不是为了“更快合并”,而是为了“减少重大缺陷进入主干分支”。工程师的关注点应从细节检查转为整体正确性。6. 文档与知识沉淀(Document)智能体非常擅长根据代码生成结构化说明、依赖图和变化总结。最佳做法是把文档维护接入流水线,例如在发布流程中让智能体自动产出变更摘要,并由工程师确认关键部分。把文档写作视为“可自动化的持续任务”,而不是阶段性集中补齐。7. 部署与运维(Deploy & Maintain)让智能体读取日志、Trace、部署记录,再结合代码自动定位可能问题,并给出可行修复。工程师负责判断、确认和实施关键决策。在运维中使用智能体的关键不是预测故障,而是让其整合多源上下文,减少人工排查时间。重点:团队角色的重定义文档贯穿始终的主题是三个动词:Delegate、Review、Own。1 工程师应把重复性、结构化的工作交给智能体。2 工程师需要对智能体产出进行审阅,但专注关键决策点。3 工程师必须对系统的长期演进负责,对所有上线内容最终背书。AI-native 团队不是“工程师被取代”,而是“工程师从执行者变成决策者与架构塑造者”。#微博兴趣创作计划##人工智能#
新浪微博 2025-11-22 00:00:00
13. 大语言模型评估指南
知乎 2026-01-13 00:00:00
14. Anthropic 发布 AI Agent 评估体系完整指南,对 AI Agent 发展有何意义?
知乎 2026-01-14 00:00:00
15. 回复@_imlh:第一版不需要写测试,重点是跑通主要流程//@_imlh:既然第一版代码是乱飞的,那可测试性应该很低? 那如何编写可靠的测试?//@宝玉xp:重构代码这事,最佳实践是先写自动化测试,先保证自动化测试覆盖,然后再去替换模块代码,确保替换后测试还能通过,这样重构后系统还是相对稳定的。AI 正适合写自动化测试,另外对于用 AI Agent 写代码,有了自动化测试,也更容易验证生成结果的好坏,能提升效率,至于工具,主流的 Coding Agent 工具
新浪微博 2026-01-06 00:00:00
16. 【AI病毒大乱斗】当AI被“投毒”,哪只小龙虾能活到最后?
哔哩哔哩 2026-03-27 00:00:00
17. Y Combinator 总裁 Garry Tan 写了一篇很长的文章,讲他过去一年用 AI 写代码的核心方法论。他做了两个开源项目,GStack(93K stars)和 GBrain(14K stars),加起来大约 97 万行代码、665 个测试文件,基本全部由 Claude Code 和 Codex 在他的指挥下完成。他提出了一个概念叫"复杂度棘轮"(Complexity Ratchet)。棘轮就是那种只能往一个方向转的机械装置,比如扳手拧螺丝只能往前不能往后。他说用 AI 写代码也可以做到这一点:质量只能上升,不能下降。前提是你得有 90% 的测试覆盖率。具体怎么运作的?每次 AI agent 写代码的时候,同时会产出三样东西:测试(定义什么是"正确")、文档(记录为什么这么做)、评估结果(建立质量基线)。下一次 agent 再来改代码的时候,它会加载这三样东西到上下文里。测试不过就不能提交,文档就在眼前不能忽略,质量低于基线就会被发现。质量底线每一轮都在上升,这就是棘轮效应。他举了个很具体的例子。GBrain 有个功能是从大量文本里提取"谁相信什么",第一版跑出来质量 6.8 分(满分 10),最大的问题是搞混了"谁持有这个观点"。于是评估结果被记录下来,6 个失败模式被识别,第二版 prompt 针对性修复,17 个测试锁定了这些规则。以后任何版本的代码都必须通过这 17 个测试才能上线,没有人需要记住这些细节,测试替你记住了。为什么 90% 这个数字这么重要?他引用了 Capers Jones 对一万多个软件项目的研究:覆盖率在 70% 以下时,缺陷逃逸率很高;到了 85%-95% 的区间,缺陷捕获率跳到 92%-97%。这个关系不是线性的,在 85% 附近有一个拐点,过了这个点,漏网的 bug 数量会断崖式下降。航空软件行业几十年前就发现了这一点,所以 FAA 对飞行关键系统强制要求极高覆盖率。过去 50 年,90% 覆盖率对人类团队来说太贵了,因为最后那 20% 的测试写起来极其枯燥费力,大多数团队到 70% 就停了。但 AI agent 不会无聊,不会在周五下午偷懒,不会觉得"以后再补"。那堵挡住人类的"意志力墙",对 AI 来说根本不存在。所以 90% 覆盖率从一个奢侈品变成了默认设置。他还展示了棘轮可以测试的范围远超传统单元测试。他用 Bun 的 TTY 功能造了一个测试框架,能在伪终端里启动 Claude Code,观察它的实际行为,比如"有没有在 review 过程中问用户问题"。如果 agent 跳过了交互直接输出结果,测试就会失败。这已经不是在测代码逻辑了,是在测 AI agent 有没有遵守行为契约。最后他的结论很直接:任何软件公司如果还没采用这套模式(agent + 品味 + 只升不降的测试套件),在速度和质量上已经输给了一个用这套方法的单人团队。工具是开源的,免费的,去用就行。#科技先锋官##How I AI#
新浪微博 2026-05-12 00:00:00
18. 以后产品真正的全链路:1、有想法描述给agent,让agent继续发散想法,并从商业、运营、增长、研发、法规、竞品等多个角度去提前预研这个想法是否可行;2、如果可行,让agent给出详细的设计文档,包括设计、产品prd、架构、数据库、网络、安全、测试等全面的设计方案;3、review没问题之后,让agent启动研发,然后自己写测试用例,造测试数据,验证各个产品功能;4、功能测试ok后,agent对接云平台CLI,完成自动化部署、域名路由配置等,最后给出访问地址即可。
新浪微博 2026-04-16 00:00:00
19. AI学会“科学交接班”,解决上下文难题——Anthropic智能(牛马)方法论
知乎 2025-11-27 00:00:00
20. AI 术语通俗词典:交叉验证法
微信公众号 2026-05-15 00:00:00
21. AI的崛起能改写程序员熬夜赶工、高压攻坚的现状吗?能切实降低这一岗位的猝死概率吗?答案是肯定的。当下AI写代码能力已实现规模化落地,为程序员筑起职业健康防护墙,重塑高压岗位的工作生态。AI以高效代码生成能力,从源头压缩无效加班时长。如今GitHub Copilot、通义灵码等工具,可基于业务需求快速生成80%-95%的标准化代码,不仅覆盖CRUD、接口调用等基础场景,还能适配Java、Python等多语言开发。这让程序员无需为重复编码消耗深夜时光,原本需通宵完成的模块开发,借助AI辅助可缩短至数小时,大幅减少熬夜频次,降低因睡眠不足引发的心血管疾病风险。AI精准调试与漏洞排查能力,缓解高压场景下的精神内耗。猝死往往与长期焦虑、突发压力叠加相关,而代码报错、逻辑漏洞排查曾是程序员的主要压力源。现在Devin、CodeGeeX等AI工具可自动定位语法错误、逻辑BUG,甚至给出优化方案,避免程序员因反复调试陷入情绪内耗,减少交感神经持续兴奋带来的健康负担,同时降低因紧急修复漏洞被迫极限加班的概率。AI还能通过工作流优化,规避赶工式高压。它可自动生成测试用例、完成代码格式化与注释撰写,将程序员从繁琐的辅助工作中解放,聚焦核心架构设计与业务逻辑拆解。AI能基于项目进度预判工时缺口,提前提醒团队合理分配任务,避免临近截止日期的冲刺式加班,让工作节奏更可控,从作息与心态上双重降低猝死风险。#程序员周末晕倒后猝死##猝死程序员28岁升部门经理##微博超有用视频大赛##热点解读# 种斌Marco的微博视频
新浪微博 2026-01-22 00:00:00
22. 都2026了,Obsidian还不接AI?保姆级教程来了
哔哩哔哩 2026-04-07 00:00:00
23. Y Combinator 总裁 Garry Tan 最近发了一篇长文,分享他过去一年用 AI 写代码的核心心得。这篇文章信息密度极高,里面有一个非常重要的概念,他管它叫“复杂度棘轮”(Complexity Ratchet)。这个概念不仅对程序员有用,对任何想用 AI 做复杂工作的人都有启发。1、一个人做出了什么先说背景。Garry Tan 做了两个开源项目:GStack(让 AI 编程 agent 更好用的框架,93K GitHub stars)和 GBrain(把你读过和写过的所有东西变成 AI 可搜索的知识库,14K stars)。两个项目加起来大约 97 万行代码,665 个测试文件。基本全部由 Claude Code 和 Codex 在他的指挥下完成,他大部分时候同时开 15 个并行的 Conductor 会话。这在传统认知里是不可能的。软件工程有一条古老的信条:速度和质量只能选一个。快就会出 bug,稳就得慢。但 Garry Tan 说,现在你不用选了。关键在于 90% 的测试覆盖率,而 AI agent 让达到这个覆盖率变得几乎零成本。2、什么是“复杂度棘轮”棘轮是一种机械装置,只能往一个方向转动。扳手拧螺丝的时候,螺丝只能往前拧不能往后退,就是这个原理。Garry Tan 把这个概念搬到了 AI 编程里。他说,每次 AI agent 写代码的时候,同时会产出三样东西:第一,测试。这些测试定义了什么叫“正确”。每次有人改代码,测试都会自动跑一遍,如果改坏了什么,测试会立刻报错。第二,文档。记录的是“为什么这么做”,包括背后的推理和取舍。第三,评估结果。建立一个质量基线,比如这次输出质量是 6.8 分,下次必须比这个高。下一次 agent 再来改代码的时候,它会把这三样东西全部加载到上下文里。测试不过就不能提交,文档就在眼前不能忽略,质量低于基线就会被发现。于是质量底线每一轮都在上升,永远不会下降。这就是棘轮效应:只能往前,不能后退。3、一个具体的例子GBrain 有一个功能叫“认识论提取”,就是从大量文本里提取“谁相信什么,置信度多高”。比如“Garry 认为比特币会涨到 30 万美元(置信度 0.45)”,“Jared 认为这家创业公司留存率很强(置信度 0.80)”。它要从 28000 页文档里做这件事。第一版跑出来,用 GPT-5.5 和 Claude 交叉打分,质量 6.8 分(满分 10)。最大的问题是“持有者混淆”:一个观点到底是谁说的?是写文章的人自己的观点,还是他引用别人的,还是系统从播客转录稿里推断出来的?第一版有 35% 的概率搞混这个区分。于是评估结果被记录下来,6 个具体的失败模式被识别出来,第二版的 prompt 针对性地修复了所有 6 个问题,置信度分数的精度规则在数据库层面做了强制约束,17 个测试锁定了这些规则。从此以后,任何未来版本的代码都必须通过这 17 个测试才能上线。没有人需要记住“持有者混淆”是什么,也没有人需要记住为什么置信度必须用 0.05 的步长。测试替你记住了一切。质量底线永久性地上升了一格。这就是棘轮转了一圈。4、为什么是 90% 这个数字Garry Tan 引用了 Capers Jones 对超过一万个软件项目的研究数据。这个研究测量的是“缺陷移除效率”(DRE),也就是 bug 在到达用户之前被抓住的比例。数据显示,覆盖率在 70% 以下时,DRE 大概在 65%-75%,意味着每 4 个 bug 里有 1 个会漏到用户手里。但到了 85%-95% 的区间,DRE 跳到了 92%-97%。这个关系不是线性的,在 85% 附近有一个明显的拐点,过了这个点,漏网的 bug 数量会断崖式下降。航空软件行业几十年前就发现了这一点。FAA 对飞行关键系统的标准 DO-178C 要求极高的覆盖率,原因很简单:数据表明,低于某个覆盖率阈值,关键缺陷的逃逸率高到“和不死人这个目标不兼容”。他还用了制造业的六西格玛做类比。3 sigma 的流程每百万件产品有 67000 个缺陷,4 sigma 降到 6200 个,5 sigma 降到 233 个。从 4 到 5 sigma 的跳跃不是渐进式改善,是相变。测试覆盖率也一样,从 70% 到 90% 带来的不是 30% 的改善,是一个数量级的缺陷减少。5、AI 为什么能打破“意志力墙”这里有一个关键的历史背景。研究 Windows Vista 的学者发现,虽然高覆盖率确实能减少 bug,但达到 90% 以上的努力成本会急剧上升。最后那 20% 的覆盖率需要的工作量远超前面 70% 的总和。这就是为什么过去 50 年里,大多数团队到 70%-80% 就停了,觉得“够好了”。但 AI agent 不会感到疲惫。它不会在写第 14 个边界条件测试的时候觉得无聊。它不会在周五下午 5 点偷工减料。它不会看到一个复杂的集成测试然后想“以后再说吧”。那堵挡住人类团队的“意志力墙”,对 AI 来说根本不存在。所以真正的突破不在于 AI 让你写代码更快。很多人已经注意到了这一点。真正的突破在于,AI 让你能以一种过去成本高到不可持续的水平去验证代码质量。90% 覆盖率过去是奢侈品,现在是默认设置。过去需要英雄般的努力,现在只是一个普通的周二。6、测试的范围远比你想象的大大多数人想到测试,想到的是“我的函数返回的数字对不对”。但 Garry Tan 展示了一个更大的图景:任何计算机能观察到的东西,都可以被测试,都可以被棘轮化。操作系统层面:数据库迁移有没有创建正确的表?定时任务有没有按时触发?进程还活着吗?浏览器层面:页面渲染了吗?agent 有没有正确填写表单?API 层面:模型返回的 JSON 格式对吗?schema 对吗?行为层面:AI agent 有没有遵守协议?有没有在删除之前先问用户?被叫停的时候有没有停下来?他举了一个特别有意思的例子。GStack 有一个功能叫“交互式计划评审”,你让 AI 审查你的架构方案,它应该一节一节地跟你讨论,提问题,挑战你的假设。但 Claude Code 有时候会跳过整个交互环节,直接把所有发现一口气倒出来就退出了。怎么测试“AI 有没有跟你对话”这件事?传统测试框架根本做不到。Garry Tan 用 Bun 的 TTY 功能造了一个测试框架,在伪终端里启动 Claude Code,喂给它一个具体的代码场景,触发评审功能,然后实时观察终端输出。如果 agent 没有提出任何交互式问题就结束了,测试就失败。这已经不是在测代码逻辑了,是在测 AI agent 有没有遵守行为契约。7、测试就是不会离职的“组织记忆”传统软件公司里,组织记忆存在人的脑子里。那个知道缓存层为什么这么设计的高级工程师,那个记得某次数据库迁移差点炸掉的架构师,那个能解释计费系统里奇怪边界条件的技术负责人。人会离开。退休、被挖走、倦怠。人走了,知识就跟着走了。每个软件公司都遇到过这种情况:打开一个关键文件,看到一行注释写着“不要改这里,问 Dave”,而 Dave 三年前就走了。测试套件不会离职,不会被挖走,不会忘记。当测试里编码了“置信度分数必须用 0.05 的步长”,文档里解释了“因为交叉评估显示虚假精度会降低用户对置信度分数的信任”,这个知识就是持久的。任何 agent,任何模型,任何时候都可以加载这个上下文并理解这个约束。对于一个人的项目来说,测试更加关键,因为它是你唯一的组织记忆。8、Vibecoding 为什么会失败Andrej Karpathy 发明了一个词叫 vibecoding,就是用自然语言描述你想要什么,让 AI 生成代码。Garry Tan 说他自己就是这么写代码的,这个方法很强大。但他在 YC 的申请项目和开源仓库里观察到,大多数跳过测试的 vibecoding 项目,一旦达到中等复杂度(几千行代码,几个相互交互的功能),就开始崩塌。原因很简单:它们跳过了棘轮。没有测试,没有文档,没有评估。Agent 在不断增加复杂度,但没有任何东西阻止退化。每加一个新功能都有可能破坏旧功能,而没有测试的话,你要等到用户来报 bug 才知道。到了 0.5 版本,代码库就变成了一栋鬼屋,改任何地方都会在意想不到的地方出问题。然后开发者写一篇博客说“AI 编程根本不行”。AI 编程没问题。他们只是没有建棘轮。9、软件复杂度的天花板被抬高了过去,一个软件系统能有多复杂,取决于一个团队能同时在脑子里装下多少东西。现在,这个上限变成了一个人加上能把完整代码库、schema 历史、测试套件和文档全部加载到上下文里的 AI agent。这是一个大得多的数字。而且随着上下文窗口越来越大、模型推理代码的能力越来越强,这个数字还在持续增长。Garry Tan 最后说了一句很重的话:任何软件公司如果还没采用这套模式(agent + 品味 + 只升不降的测试套件),在速度和质量上已经输给了一个用这套方法的单人开发者。### 这件事对我们意味着什么跳出编程的语境来看,棘轮这个思维模型其实适用于任何需要持续积累质量的工作。写作、研究、产品设计,任何领域里你都可以问自己:我有没有一个机制,能确保质量只升不降?我上一次犯的错误,有没有被编码成某种“测试”,让我下次不可能再犯同样的错?过去这种机制依赖人的记忆力和自律性,所以很难持续。但现在 AI 可以帮你维护这套系统。关键是你得主动去建它。大多数人用 AI 的方式是“帮我做完这件事”,然后就结束了。但如果你在每次完成任务的同时,让 AI 帮你把“什么是对的、为什么这么做、质量底线在哪里”也一并记录下来,你就在建自己的棘轮。50 年来,90% 的验证覆盖率是航空和医疗设备行业的专属奢侈品,只有那些有预算把大量人力投入到“意志力墙”上的团队才能做到。AI agent 把这堵墙拆了。让软件可靠的那个覆盖率阈值,不再昂贵,它只是一个设置项。问题不再是“你能不能负担得起 90%”,问题变成了“你能不能负担得起没有 90%”。#科技先锋官# #How I AI#
新浪微博 2026-05-17 00:00:00
24. 用过 AI 编程的朋友应该都有一个感受,AI 写代码这件事,一开始挺爽,但项目一复杂就开始拉胯。前面定好的接口后面对不上了,改了前端后端又乱了,你得一直盯着它,稍微没看住就跑偏。说白了就像带一个实习生,能力有,但你不能撒手。这个问题的根源在于,单个 AI Agent 处理长任务的时候,上下文越撑越大,早期的信息会被压缩甚至丢掉,步骤遗漏、前后矛盾就来了。需求越复杂,崩得越快。Qoder 最近上线了一个叫专家团模式的功能,思路很不一样。你给一个需求,AI 自动组建一支团队帮你干活。有一个 Leader Agent 负责拆任务、组团队、盯进度,下面有前端开发、后端开发、测试工程师、代码审查员,各管一摊,同时开工。关键是这些专家不是同一个模型换个名字在演戏。每个专家是经过专项调优的,而且会自动路由到最适合的模型,规划任务用 Opus,写代码用 GLM5,浏览器测试用 Kimi K2.5,是真的术业有专攻。我实测了一下,给了一个英语单词听写应用的需求,专家团模式自动拆分任务,前后端同步开发,开发完了还自动引入测试工程师和代码审查员。审查员发现前后端接口不一致,Leader Agent 立刻召唤后端工程师来修,修完又安排新一轮测试。最后交付的项目,没有 Bug,颜值在线,前后端接口对得上,测试覆盖到位。这里有一个很关键的体感变化:以前用单 Agent,你是带实习生的 mentor,得一直盯着。用了专家团模式之后,你变成了项目经理,工作变成了审计划、验收结果。从执行者变成决策者,这个转变听起来只是流程上的区别,但实际体验完全是两回事。AI 编程这几年的进化路径其实很清晰,从代码补全,到问答,到单 Agent 执行,再到现在的多 Agent 团队协作。每一步都在改变你和 AI 之间的关系,从 AI 辅助你,到 AI 替你执行,再到 AI 团队替你交付。详细的实测,请看这篇文章。地址:网页链接#How I AI##科技先锋官#
新浪微博 2026-03-23 00:00:00
25. 【用好AI编程助手,你需要学会“当甲方”】当我们还在纠结AI写的代码对不对时,顶尖开发者已经在思考另一个问题:如何让AI持续工作数小时,自动完成大规模重构,直到所有测试通过。这不是科幻,而是Cursor团队分享的真实工作方式。核心认知转变:从“写代码”到“管上下文”当你习惯让Agent编码后,你的主要工作就变成了一件事——为每个Agent提供恰到好处的上下文。不多不少,刚刚好。芝加哥大学的研究发现,有经验的开发者更倾向于在生成代码前先规划。这个发现很有意思:越是高手,越不急着让AI动手。规划不是浪费时间,而是在帮AI明确目标。目标越清晰,AI的成功率越高。几个反直觉的实践:第一,不要手动标记每个文件。Agent有强大的搜索能力,让它自己去找。你塞太多“可能相关”的文件进去,反而会让它分不清主次。第二,对话不是越长越好。过长的对话会让Agent失去焦点,上下文里积累的噪音会分散它的注意力。当你发现效果下降,果断开启新对话。第三,当Agent跑偏时,别试图用后续提示修修补补。回滚改动,重新细化计划,再跑一次。这比“抢救”一个进行中的Agent更快,结果也更干净。测试驱动开发的新玩法让Agent写测试,确认测试失败,提交测试,然后让Agent写实现代码并持续迭代直到全部通过。关键是要明确告诉它“现在是TDD阶段,不要写模拟实现”,以及“不要修改测试,只写能通过测试的代码”。Agent在有清晰迭代目标时表现最好。测试就是那个目标——它让AI能边改边验证,而不是盲目输出。并行运行多个Agent一个很强的技巧:让同一个提示词同时在多个模型上运行,然后比较结果。这对棘手问题特别有效。不同模型会采用不同方法,你可以从中选出最优解,甚至发现某个模型遗漏的边缘情况。那些用得最好的开发者有什么共同点?他们写具体的提示。“给auth.ts加测试”和“为auth.ts的登出边界情况写测试用例,参考__tests__目录的模式,避免使用mock”——效果天差地别。他们认真审查。AI生成的代码看起来可能是对的,但细节里藏着魔鬼。Agent工作得越快,你的审查流程就越重要。他们提供可验证的目标。Agent无法修复它“看不见”的问题。强类型、代码检查工具、测试——这些都是给AI的明确信号。他们把Agent当作有能力的协作者,而不是听话的工具。让它给出计划,要求它解释,对不认可的方案敢于质疑。说到底,用好AI编程助手的本质,是学会当一个好甲方:需求清晰、目标明确、验收严格,但也给足空间让对方发挥。cursor.com/cn/blog/agent-best-practices
新浪微博 2026-01-16 00:00:00
26. 谁来制定全球 AI 道德伦理规范,如何执行?
知乎 2026-04-26 00:00:00
27. 字跳TRAE团队发了个《2026 企业级AI编程实践手册》,总结了他们的AI编程方法论和工程实践网页链接“在2026年,AI编程已不再是实验性的尝试,而应该成为企业软件开发的核心生产力。本手册源于TRAE团队在构建AI编程助手过程中的真实实践——我们用AI构建AI,在这个过程中积累了从方法论到工程实践的完整经验。这不是一本理论书籍,而是一线研发团队的实战总结。我们将分享如何将AI真正融入企业级开发流程,如何建立可复制的工程规范,以及如何让团队从“会用AI”到“精通AI编程”。无论你是技术决策者、架构师还是一线开发者,都能在这里找到可落地的方法和工具。AI时代的软件开发不是替代人类,而是重构协作方式。让我们一起探索这个新范式。”#How I AI#
新浪微博 2026-03-17 00:00:00
28. 干翻 GPT-5.4!MiroThinker 升级「重型推理」,AI 学会了自我验证
微信公众号 2026-03-19 00:00:00
29. AI生成的测试用例,真的靠谱吗?我们试了试
微信公众号 2026-04-19 00:00:00
30. 测试工程化实践
知乎 2026-01-17 00:00:00
31. 用例数量上来了,覆盖率为什么还是说不清?
知乎 2026-05-10 00:00:00
32. AI写测试用例,为什么越写越像,越看越不对?
知乎 2026-04-29 00:00:00
33. AI生成的测试用例
微信公众号 2025-12-26 00:00:00
34. AI提示词模板库
微信公众号 2026-05-06 00:00:00
35. AI 生成用例评审 Checklist
微信公众号 2026-04-02 00:00:00
36. AI生成的测试用例究竟能信多深?
微信公众号 2026-05-11 00:00:00
37. AI写测试用例?人类审核才是核心竞争力
微信公众号 2025-12-26 00:00:00
38. 别再让 AI 帮你写测试用例了!你以为在提效,其实是在“慢性自杀”
知乎 2026-05-10 00:00:00
39. 当AI算法只懂取悦
微信公众号 2026-04-13 00:00:00
40. 一道面试题刷掉 90% 的人,测试人必懂
微信公众号 2026-05-07 00:00:00
41. 在AI赋能测试的时代更需要人类守住质量的门槛:效率陷阱与 TMMi Level 3 的破局之道
微信公众号 2026-04-01 00:00:00
42. AI辅助生成测试用例的实践中,如何保证生成的用例质量(如相关性、全面性)并避免“幻觉”?
微信公众号 2026-05-11 00:00:00
43. 使用AI测试大幅提升软件测试覆盖率?别再迷信覆盖率了,测试用例数量是幻觉!
知乎 2026-03-30 00:00:00
44. 如何评估 AI 生成测试用例的准确性?
微信公众号 2026-04-04 00:00:00
45. 这款AI“外置大脑”,一键提升测试用例生成质量!
微信公众号 2025-12-12 00:00:00
46. AI辅助软件测试
哔哩哔哩 2026-03-23 00:00:00
47. AI测试工具落地实践
微信公众号 2026-05-18 00:00:00
48. AI测试工具落地实践深度解读
微信公众号 2026-03-23 00:00:00
49. 2026年,70%企业测试用例将由AI生成
微信公众号 2026-05-13 00:00:00
50. AI自动生成测试用例?这些坑不踩,新手也能直接用!
微信公众号 2026-04-10 00:00:00
51. DeepSeek落地实战
知乎 2026-03-25 00:00:00
52. 2026年AI测试工具的5大认知误区
微信公众号 2026-04-21 00:00:00
53. 2026测试覆盖率优化
微信公众号 2026-03-22 00:00:00
54. 测试覆盖率优化2026最新趋势
微信公众号 2026-04-06 00:00:00
55. 2026年AI驱动测试如何真正落地?
微信公众号 2026-03-31 00:00:00
56. 2026年兼容性测试指南
知乎 2026-04-02 00:00:00
57. 2026年AI十大突破
知乎 2026-04-16 00:00:00
58. 2026年AI测试工具开源方案全景图
微信公众号 2026-05-07 00:00:00
59. Testin XAgent拆解
今日头条 2026-04-17 00:00:00
60. 精准测试之覆盖
知乎
61. 让 AI 理解需求和产品设计,生成测试用例与覆盖分析
知乎 2026-03-08 00:00:00
62. 告别“AI幻觉”:写好提示词,一键生成高质量测试用例
微信公众号 2026-05-11 00:00:00
63. AI驱动Unity测试:从手动到智能的进化之路
微信公众号 2026-04-22 00:00:00
64. 2026开年,AI测试工具如何让测试团队效率提升800%?
今日头条 2026-01-01 00:00:00
65. 当大模型开始写测试用例:AI对测试工作的颠覆与边界
知乎 2026-01-13 00:00:00
66. AI赋能设计验证:让开发高效编写测试用例的新范式
微信公众号 2026-01-31 00:00:00
67. AI赋能测试重塑测试用例生成流程2.0
微信公众号 2026-01-27 00:00:00
68. AI一分钟生成测试用例二
微信公众号 2026-04-01 00:00:00
69. 字节AI操作:AI生成接口自动化测试用例,效率拉满
微信公众号 2025-12-08 00:00:00
70. 字节AI神操作:AI生成接口自动化测试用例,效率拉满
微信公众号 2025-12-07 00:00:00
71. Apifox AI 生成测试用例——从原理到采纳的实战应用
什么值得买 2025-11-29 00:00:00
72. AI 驱动的代码审查与测试用例生成:iFlow CLI在提测阶段的应用实践
知乎 2025-11-26 00:00:00
73. 我们用AI生成测试用例,从半天压缩到20分钟,踩了哪些坑?
知乎 2026-04-27 00:00:00
74. AI一分钟生成测试用例
微信公众号 2026-03-31 00:00:00
75. 测试人必看!用好提示词工程,让AI成为你的「测试加速器
知乎 2026-03-25 00:00:00
76. AI驱动测试革命:智能生成测试用例的实践指南与未来展望
今日头条 2026-01-19 00:00:00
77. 用AI搞测试用例:一天干完一周的活
小红书 2025-11-22 00:00:00
78. 2026了,还在手动写测试用例?隔壁团队已经用AI提效50%
今日头条 2026-02-25 00:00:00
79. 测试用例 Prompt 模板库:让 AI 帮你写出专业级测试用例(附 10 个可直接套用的模板)
微信公众号 2026-04-01 00:00:00
80. AI生成测试用例调研:实战指南与头部企业最佳实践
微信公众号 2026-01-22 00:00:00
81. AI测试元年,70%企业的测试用例将由AI生成,你的岗位准备好了吗?
微信公众号 2026-04-25 00:00:00
82. 从人工到AI驱动:天猫测试全流程自动化变革实践
知乎 2025-11-25 00:00:00
83. AI自动生成测试用例为什么越来越不准确?很多团队开始重新研究知识图谱
微信公众号 2026-03-15 00:00:00
84. [基础篇]第3章 AI测试的核心理念
知乎 2026-03-22 00:00:00
85. AI产品测试 | 如何为 “AI智能添加字幕”设计用例?
微信公众号 2026-04-21 00:00:00
86. 测试工程师的AI实战:自动化用例生成,从没这么轻松过
今日头条 2026-04-12 00:00:00
87. Ai测试进步最快的方式,没有之一 测试最怕啥?用例写不全、断言写不细、脚本写不动,只会点点点。这个有点变态的AI练法,就靠三招直接砍掉这些痛点。第一招:用例全交给AI暴力生成。把需求、接口定义、流程图、历史Bug扔给大模型,让它产功能用例、接口用例、场景用例、边界组合,再顺手加断言字段、预期结果、优先级,你只做删减和标记。第二招:脚本让AI写到吐。选定Postman+Pytest+Playwright+JMeter,把用例表、环境信息、数据样例一股脑贴给AI,让它写接口自动化脚本、UI回归脚本、性能压测脚本骨架,你只补配置和参数化。第三招:Bug分析不再熬夜。失败用例、错误栈、慢SQL、监控截图全丢给模型,让它做缺陷分类、推测可疑模块、生成复现步骤、推荐回归用例。别再只靠人脑硬扛了,让AI当测试实习生给你打下。 #软件测试工程师 #Ai软件测试 #涨知识 #一分钟干货教学 #找工作
抖音 2025-12-21 00:00:00
88. AI测试革命:如何确保生成用例的可靠性与一致性
微信公众号 2026-04-09 00:00:00
89. 接口文档一丢,AI自动生成测试用例和自动化脚本?
微信公众号 2026-03-18 00:00:00
90. Ai生成测试用例实操流程,效率提升300%,太牛了!
今日头条 2025-12-25 00:00:00
91. 2026年测试用例自动生成工具TOP5对比
微信公众号 2026-05-07 00:00:00
92. AI大模型如何破解测试用例生成难题
微信公众号 2026-04-18 00:00:00
93. ALL in AI|告别测试用例内耗,让每一次测试都精准高效
微信公众号 2026-05-07 00:00:00
94. 测试用例自动生成:2026年五大突破趋势
微信公众号 2026-04-04 00:00:00
95. 测试提质增效|AI自动化生成测试用例,全流程落地方案来了
微信公众号 2026-04-12 00:00:00
96. AI Test:AI 测试平台落地实践
微信公众号 2025-12-26 00:00:00
97. 操作教程|在MeterSphere中通过AI生成测试用例 - 哔哩哔哩
哔哩哔哩 2025-11-25 00:00:00
98. AI大模型产品完整测试流程全景图
微信公众号 2026-04-08 00:00:00
99. 2026 最全 AI 测试工具矩阵:不用写代码,这 5 款工具让你的效率直接拉满
微信公众号 2026-04-14 00:00:00
100. AI驱动测试用例生成:智能化功能测试实践全解析
今日头条 2026-01-20 00:00:00
101. 用AI编写测试用例的5种实战方法
知乎 2026-02-09 00:00:00
102. AI智能体项目的测试流程
微信公众号 2026-03-17 00:00:00
103. 2026 AI+ 测试前沿技术:5 个趋势颠覆传统测试
知乎 2026-03-22 00:00:00
104. 利用AI生成测试用例,提升QA工作效率
微信公众号 2026-03-31 00:00:00
105. 什么是AI测试?如何用AI提升测试效率?
微信公众号 2026-02-04 00:00:00
106. AI测试工具2026年五大趋势
微信公众号 2026-03-15 00:00:00
107. AI 智能用例评审系统:让测试用例“零歧义”
微信公众号 2025-12-04 00:00:00
108. Gartner预测:到2027年,80%的企业将部署AI测试工具,现在上车正是时候!
微信公众号 2026-04-01 00:00:00
109. 2026年实测好用的AI自动化测试工具,AI赋能测试效率翻倍
今日头条 2026-03-20 00:00:00
110. 2026 AI自动化测试工具TOP 10盘点
今日头条 2026-02-07 00:00:00
111. 自动化单元+静态测试驱动开发:AI编码时代的确定性验证
知乎 2026-05-14 00:00:00
-
又学到了,暑期旅行的15个隐藏妙招,学会可太省心了!391 101 -
不听劝自己在卫生间砌了个浴缸!夏天泡着真舒服~成本仅需400252 433 -
40岁再就业,年薪20万有社保还能干到65:房地产估价师(下)137 159
已收藏
去我的收藏夹