惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Engineering at Meta
Engineering at Meta
Cloudbric
Cloudbric
云风的 BLOG
云风的 BLOG
A
About on SuperTechFans
The GitHub Blog
The GitHub Blog
IT之家
IT之家
F
Full Disclosure
B
Blog RSS Feed
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Hugging Face - Blog
Hugging Face - Blog
B
Blog
H
Help Net Security
The Cloudflare Blog
Recorded Future
Recorded Future
P
Proofpoint News Feed
P
Proofpoint News Feed
C
Cisco Blogs
T
Tailwind CSS Blog
P
Palo Alto Networks Blog
D
Docker
爱范儿
爱范儿
Know Your Adversary
Know Your Adversary
博客园 - 聂微东
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Y
Y Combinator Blog
雷峰网
雷峰网
AWS News Blog
AWS News Blog
D
DataBreaches.Net
博客园 - 司徒正美
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
博客园 - Franky
C
Cybersecurity and Infrastructure Security Agency CISA
Blog — PlanetScale
Blog — PlanetScale
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Latest news
Latest news
Google DeepMind News
Google DeepMind News
Martin Fowler
Martin Fowler
MongoDB | Blog
MongoDB | Blog
C
CERT Recently Published Vulnerability Notes
阮一峰的网络日志
阮一峰的网络日志
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
C
CXSECURITY Database RSS Feed - CXSecurity.com
酷 壳 – CoolShell
酷 壳 – CoolShell
C
Cyber Attacks, Cyber Crime and Cyber Security
腾讯CDC
小众软件
小众软件
G
Google Developers Blog
Hacker News - Newest:
Hacker News - Newest: "LLM"
Scott Helme
Scott Helme
O
OpenAI News

博客园 - 狂师

从 LLM 评测到 AI Agent 评测,我的一些思考! 测试开发必备的 AI 技能库:推荐6 个让接口自动化测试效率翻倍的 Skills 推荐一款开源工具:让 AI Agent 替你做 iOS、Android 自动化测试,能平替 Appium? AI 测试必备:多Agent Skill 智能编排,从「脚本执行」到「失败自愈」到「报告生成」,一键跑通全流程! 10万人都在用的 top10 skills,我帮你试了! Agent 工具到底怎么选? 还在手写测试报告?推荐一款 AI 测试Skill:只需一句指令,自动生成专业定制化测试报告! 测试人员必备:推荐一款智能测试数据清理AI Skill,支持db、redis、mq等 AI 测试必备:推荐一款能让自动化失败脚本「自己修好」的 AI skill! 端开发必装 Skill 清单:6 款 AI 技能,让你的开发效率原地起飞 AI 测试提效神器:推荐一款接口自动化测试提效skill! 做一款企业真正敢用的 AI 测试应用,到底难在哪? 新手学 Skills:是什么、怎么找、如何开发?(最通俗易懂版) 2026 最新 AI 学习路线全景图:从零基础到 AI 全栈测试与开发实战(附一站式智能测试平台) 2026 最具幸福感的互联网大厂排名! 聊一聊近年来互联网公司的裁员情况 比 Playwright 更给力,推荐一个AI Agent的浏览器自动化开源项目! 测试工程师的AI 技能库:推荐5个让你效率翻倍的Skills AI测试必学 | AI 赋能接口自动化测试系列(四):接口自动化脚本质量检查与优化Agent Skill AI测试必学 | AI 赋能接口自动化测试系列(三):接口自动化测试脚本生成Agent Skill AI测试必学 | AI 赋能接口自动化测试系列(二):全场景测试数据智能构造Agent Skill AI测试必学 | AI 赋能接口自动化测试系列(一):接口文档智能解析Agent Skill推荐 测试必学:推荐4个测试用例设计最值得掌握的Agent Skill,几乎覆盖所有用例设计场景! 面试官问:你用 AI 编程半年了,那怎么保证 Claude Code 写出来的代码是对的? AI 测试赋能全流程实战 | Agent Skill + AI 赋能「需求分析」 6000 字干货|Coze 智能体实战:搭建需求文档到测试用例自动生成工作流! QA Use:推荐一款AI 原生 E2E 测试平台,自然语言一键跑通用例! 2026学扣子Coze看这篇就够了!(新手入门教程) Codex新手保姆级教程:新手从安装到跑通第一个项目! 做一款企业真正敢用的AI测试应用,到底有多难?究竟难在哪? Claude Code 9 大神级 Skills,开发效率直接翻倍(安装、使用场景、踩坑经验) 别再瞎搞 AI 了!大厂AI业务落地的五个关键环节!(建议新手直接照搬) 有了AI测试工具,还需要掌握Playwright、Pytest、Selenium这些框架吗? 最近面完 30 个想转 AI 测试的人,我麻了:80% 都踩了这 4 个坑! 2026年我做了一个大胆的决定:我要收徒弟了! 程序员逼格拉满!ccstatusline:让你的 Claude Code 状态栏直接封神! AI 测试全场景提效:功能 / 性能 / 安全 / 自动化,用 AI 重塑测试工作流 2026 年 AI 编程实测:6 款顶流大模型对比,效率直接翻倍! 面试必问:公司用AI 赋能自动化,你是怎么用AI 做自动化测试的呢?(附落地全流程) 牛逼!119K star,软微开源神器,一款功能超强大的markdown 文档转换工具! 你说你会AI测试,那你是怎么实现AI+软件测试的呢?(附带5 层AI 质量管理体系) 一道面试题刷掉 90% 的人,测试人必懂:AI 生成用例的3 大陷阱 + 7 项审核指标 零代码 AI 自动化测试神器!Browser‑Use Web UI 保姆级教程,测试人直接上手 不用写脚本!Browser-Use 实操:AI 直接驱动浏览器自动化测试 推荐一个测试人必备的Skills,从功能到性能全搞定(附详细实操和安装下载方式) 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 CC‑Switch 原来是这么玩的!90% 的人都没用对 为什么你的OpenClaw做不好自动化测试? AI到底会不会导致大规模失业?一次性把所有问题讲透!(深度好文) 推荐3款必备“测试神器”Skill:用例生成、根因分析一键搞定 为什么现在所有大厂都在做 CLI ?(附Cluade Code接入飞书CLI教程) 自动生成用例:基于OCR+ LLM的设计方案(附落地指南) 太强了!GLM-5.1 第一手实测,平替Claude Opus 4.6? 测试人必备的4个AI Skills(附下载地址和详细用法) 我带学员用 AI 做了个热点监控工具,太好用了! 测试必学:UI 自动化最值得掌握的两个Skills,几乎能覆盖所有UI测试场景! Cursor 生成测试用例实战:一个 Skill,10 分钟产出可评审测试用例 90% 的人都用错了!Playwright vs Chrome DevTools MCP到底该怎么选? 全球首个龙虾模型:GLM-5-Turbo(手把手安装、配置、使用教程)来了! 测试开发效率翻10倍!这10款AI Skills神器,我敢说90%的人没用过 对标OpenClaw,腾讯版国产“小龙虾” WorkBuddy正式上线了! Claude Code+GLM 5 安装配置与10个快速上手技巧 OpenClaw新手必看!推荐10个神器技能包 新手保姆级教程:OpenClaw 自动化操作浏览器!
毫不夸张地说,这将是目前最全的AI测试教程!测试必看!
狂师 · 2026-05-22 · via 博客园 - 狂师

过去两年,AI已经从"加分项"变成了"必选项"。

不只是大厂,二线公司、甚至传统行业的测试团队都在要求:"能熟练使用AI工具提效"

更关键的是,面试的玩法也变了。现在的技术面试早就跳出了 “考 AI 零散知识点” 的阶段。面试官不会再问 “你知道哪些 AI 测试工具” 这类浅层问题,而是把AI 玩法揉进业务场景、技术方案设计,甚至开放性问题里 ——考查的是你对AI的理解深度和实际应用能力

现在行业里人人都在说 “转 AI 测试”,仿佛这是软件测试行业在AI 时代下的唯一出路。

但我始终觉得,与其跟风喊口号,不如先沉下心来想清楚:我们常说的 AI 测试,到底是什么?它和我们做了很多年的传统测试,核心差异到底在哪?

这篇内容,我们就来回归本质,把这事儿掰开揉碎讲清楚。

一、先搞清楚:AI测试不是"用AI做测试"那么简单

很多人一听到"AI测试",第一反应是:"哦,就是用ChatGPT、Cursor、Claude Code 这些AI 工具生成测试用例呗。"

这只是AI测试的冰山一角,而且是最浅的那一角。

我面试过不少号称"做过AI测试"的候选人,问他们具体怎么做的,回答基本就三类:

  1. "我用ChatGPT写过测试用例"——这叫"用AI辅助测试",不叫"AI测试"
  2. "我测过公司的大模型产品"——这叫"测试AI系统",是AI测试的一部分
  3. "我用AI生成了自动化脚本"——这叫"AI驱动的自动化",也只是AI测试的一个分支

这三类都对,但都不完整。就像你问"什么是汽车",有人说"能跑的东西",有人说"有四个轮子的",有人说"烧油的"——都对,但都没触达本质。

二、AI测试的本质

首先得明确,AI 测试从来不是 “用 AI 替代测试工程师”,这是我接触下来发现很多人最容易走进的误区。

在我看来,AI 测试本质上是把人工智能的技术思路和方法,融入到软件测试的全生命周期里 —— 从测试需求分析、用例设计,到用例执行、缺陷定位,再到回归测试优化,用技术手段解决传统测试里效率低、覆盖不全、重复性工作多的问题。它不是对传统测试的否定,而是在原有体系上的补充和升级。

说到传统测试,相信做过的人都深有体会:

  • 要花大量时间理解需求、写测试用例、写测试脚本

  • 每次上线前需要人工手动或写脚本自动回归上百个核心场景,不仅耗时耗力,还偶尔会因为人为疏忽出现漏测

  • 面对复杂业务场景时,很难覆盖到所有边缘情况,上线后提心吊胆等反馈

  • 而且一旦产品迭代快,测试资源跟不上,很容易出现漏测,甚至为了赶进度牺牲测试深度。

AI 测试的核心价值,在我看来就是 “降低技术门槛、解放人力,聚焦核心”。

比如用 AI 生成测试用例,它能基于业务逻辑和历史缺陷数据,快速覆盖到人工容易忽略的边缘场景,还能根据需求变更自动调整用例,省去了我们手动梳理、编写的大量时间;

再比如用 AI 做自动化测试的脚本维护,传统自动化脚本一旦界面或接口变更就容易失效,AI 能通过视觉识别、语义理解自动适配变更,减少我们反复修改脚本的工作量;

还有缺陷定位,AI 能分析测试日志、代码提交记录,快速定位到可能出问题的代码模块,比我们人工逐行排查效率高得多。

三、AI测试的三种形态:我理解的定义

我认为,AI测试应该包含三个层面,这三个层面构成了一个完整的AI测试能力模型:

形态一:AI辅助测试(AI-Assisted Testing)

定义:用AI工具提升传统测试活动的效率和质量。

典型场景

  • 用ChatGPT/Copilot/Cursor/Claude Code生成测试用例
  • 用AI分析需求文档,自动提取测试点
  • 用AI生成自动化脚本框架
  • 用AI分析测试报告,定位失败原因

核心价值提效

让测试人员从重复性劳动中解放出来,把时间花在更有价值的分析和设计上。

局限:AI只是工具,测试策略、质量标准、风险评估仍然由人把控。AI生成的内容需要人工审核,不能直接信任。

形态二:测试AI系统(Testing AI Systems)

定义:对AI模型、AI应用、AI服务进行质量验证和风险评估。

什么是AI 系统,可以简单理解为,凡是集成了AI 能力的应用,都可以称之为AI 系统。比如各类AI 助手(豆包、DeepSeek、ChatGPT)、AI 客服、智能推荐、嵌入式AI(自动驾驶、智能音箱)等。

典型场景

  • 测试大语言模型(LLM)的幻觉率、偏见性、安全性
  • 测试AI对话机器人的上下文理解能力
  • 测试推荐系统的准确性和公平性
  • 测试AI生成内容的合规性(版权、隐私、有害信息)

核心价值保障AI产品的质量

AI系统的输出是概率性的、不确定的,传统测试的"输入A→输出B"的确定性逻辑在这里失效了。

关键挑战

  • 没有标准答案:AI的回答可能是"合理但不唯一"的,怎么判断对错?
  • 上下文依赖:同一个问题,不同上下文下答案可能不同
  • 安全风险:Prompt注入、敏感词绕过、隐私泄露
  • 偏见与公平:AI可能在性别、种族、地域上产生系统性偏见

形态三:AI驱动的测试(AI-Driven Testing)

定义:AI不仅是辅助工具,而是测试活动的核心决策者,能够自主规划测试策略、生成测试数据、执行测试、分析结果。

AI驱动的测试 = 以AI为核心引擎,能够自主完成"测试策略制定 → 测试设计 → 测试执行 → 结果分析 → 策略优化"全链路的测试范式。

典型场景

  • AI自主探索被测系统,生成探索性测试路径
  • AI根据代码变更自动选择回归测试范围
  • AI根据历史缺陷数据预测高风险模块
  • AI自主修复失败的自动化脚本

核心价值智能化Agent 化

从"人设计测试"进化到"AI设计测试",从"被动执行"进化到"主动发现"。

传统测试的流程一般是这样子的:

需求 → 人工设计用例 → 人工执行 → 人工分析 → 人工决策

AI驱动的测试流程是闭环的:

系统反馈 → AI感知 → AI决策 → AI执行 → AI分析 → AI优化策略 → 下一轮
         ↑_________________________________________________↓

人在这个闭环中的角色:设定目标、定义边界、审核关键决策、处理异常情况。

当前阶段:AI 驱动的测试还处在早期,目前大部分场景是"人机协作",AI提供建议,人做最终决策,完全自主的AI测试目前还在研究和试点阶段。

在软件测试工作中,AI 驱动测试的常见场景(供开拓思路):

场景一:自主测试策略生成

传统做法:测试负责人根据经验,决定"测什么、怎么测、用什么工具"。

AI驱动做法

  • AI分析代码变更(Diff分析),判断哪些模块受影响
  • AI分析历史缺陷数据,识别高风险区域
  • AI分析用户行为日志,识别高频使用路径
  • 综合以上,自动生成测试策略:测哪些模块、用什么方法、分配多少资源

场景二:自主测试设计

传统做法:人根据需求文档,逐条编写测试用例。

AI驱动做法

  • 自主探索:AI像真实用户一样"乱点"系统,记录路径,生成探索性测试用例
  • 自主建模:AI分析系统行为,自动生成状态机/流程图,推导测试路径
  • 自主变异:AI对已有用例进行智能变异(改参数、改顺序、加异常),生成新用例

比如

  • Facebook的Sapienz:AI自动探索Android App,发现崩溃场景,生成复现步骤
  • 微软的CheckDev:AI分析代码结构,自动生成边界值测试、异常输入测试

场景三:自主测试执行

传统做法:人配置环境、触发执行、监控进度。

AI驱动做法

  • 动态调度:AI根据系统负载、测试优先级、资源可用性,实时调整执行顺序

  • 自愈执行:测试环境崩了,AI自动重启、恢复状态、继续执行

  • 智能并发:AI判断哪些用例可以并行、哪些必须串行,最大化资源利用率

  • 智能回归:每次代码提交,AI自动决定跑哪些用例,不是全量也不是固定子集,而是动态智能选择

  • 环境自适应:AI检测到被测系统版本变了,自动调整测试数据、更新配置

场景四:自主结果分析与缺陷定位

传统做法:人看测试报告,逐条分析失败原因。

AI驱动做法

  • 失败分类:AI自动判断失败是"产品Bug"、"脚本问题"、"环境问题"还是" flaky test"
  • 根因定位:AI分析日志、堆栈、代码变更,自动定位缺陷引入的代码行
  • 影响评估:AI判断这个缺陷的影响范围、严重程度、修复优先级
  • 相似缺陷发现:AI在历史缺陷库中找相似模式,提示"这个Bug和3个月前的#1234很像"

比如

  • Amazon的CodeGuru:AI分析测试失败日志,自动推荐修复方案
  • Netflix的Chaos Monkey + AI:AI分析故障注入后的系统行为,自动判断系统韧性

场景五:自主策略优化与持续进化

传统做法:测试团队定期复盘,人工优化流程。

AI驱动做法

  • 测试用例优胜劣汰:AI分析用例的历史表现(发现Bug率、执行稳定性、维护成本),自动淘汰低效用例
  • 测试数据生成优化:AI根据覆盖率反馈,自动生成更精准的测试数据
  • 预测性维护:AI预测哪些脚本即将失效(页面即将改版、接口即将变更),提前预警

四、三种形态的关系:不是替代,是叠加

很多人问:这三种形态,我该学哪个?

我的答案是:这不是选择题,是递进关系

第一层:AI辅助测试(现在就能用)
    ↓ 打好基础
第二层:测试AI系统(当前市场最缺人)
    ↓ 深入理解AI
第三层:AI驱动的测试(未来方向)

现实情况是

  • 大部分测试工程师目前停留在第一层,用AI写写用例、生成脚本
  • 第二层(测试AI系统)的人才极度稀缺,因为需要同时懂测试和AI原理
  • 第三层还是前沿,但2026年Agent技术爆发,这个方向正在加速落地

五、AI测试 vs 传统测试:核心区别在哪?

为了讲清楚AI 测试与传统测试之间的区别,我列了一个对比表,但先声明:这不是"AI测试取代传统测试"的意思,而是"AI测试扩展了传统测试的边界"

对比维度 传统测试 AI测试
测试对象 确定性系统:输入A→输出B 概率性系统:输入A→输出可能是B、C、D
质量判断标准 对与错(Pass/Fail) 好与坏(相关性、准确性、安全性、公平性)
测试用例设计 基于需求文档,人工设计 AI辅助生成 + 人工审核,或AI自主探索
断言方式 精确匹配:assertEquals(expected, actual) 模糊匹配:语义相似度、人工评估、A/B测试
缺陷定义 功能不符合预期 幻觉、偏见、不安全、不符合伦理
测试数据 人工构造或从生产环境脱敏 合成数据、对抗样本、Prompt注入样本
测试工具 JMeter、Selenium、Postman LangChain、LangSmith、专用LLM评估框架
技能要求 业务理解 + 测试设计 + 工具使用 以上全部 + AI原理理解 + Prompt工程 + 风险评估
职业发展 功能测试→自动化测试→测试开发 AI测试工程师→AI测试架构师→AI质量负责人

其中,最核心的几个关键区别:

1、从"确定性"到"概率性"

传统测试的世界里,1+1必须等于2。如果等于3,就是Bug。

AI测试的世界里,模型回答"1+1约等于2"可能是对的(取决于上下文),但回答"1+1等于3"也可能是对的(如果上下文是"在某种特殊代数体系中")。

怎么判断这个回答的质量?这是AI测试的核心难题。 (别着急,后续会有专门的教程详细介绍)

2、从"精确断言"到"多维评估"

传统测试的断言是二元的:通过/失败。

而,AI测试的评估是多维的:

  • 准确性:回答的事实是否正确?
  • 相关性:回答是否切题?
  • 流畅性:表达是否自然?
  • 安全性:是否有害内容、隐私泄露?
  • 公平性:是否对特定群体有偏见?

这些维度往往需要用人工评估 + 自动指标 + A/B测试综合判断。

3、从"测功能"到"测行为"

传统测试验证的是"功能有没有实现"。

AI测试验证的是"AI在未知场景下会怎么表现"。比如:

  • 用户输入恶意Prompt,AI会不会被诱导说出有害内容?
  • 连续对话10轮后,AI会不会遗忘关键约束?
  • 不同文化背景的用户问同一个问题,AI的回答是否公平?

这些都不是"功能"层面的问题,而是"行为"层面的风险。

4、为什么需要理解这些区别?

我面试过一个五年经验的测试工程师,技术底子很好,自动化框架搭得漂亮。但聊到AI测试时,他坚持认为:"AI测试就是用AI工具帮我写脚本,核心还是那些测试理论。"

我反问了他一个问题:

"如果你要测试一个AI客服机器人,用户问'怎么取消订单',AI回答'您可以点击订单页面的取消按钮'。这个回答看起来正确,但实际上用户当时处于'已发货'状态,取消按钮根本不存在。这个场景,你的传统测试框架怎么覆盖?"

他沉默了。

这就是区别所在:传统测试基于"已知需求"设计用例,AI测试必须覆盖"未知场景下的行为风险"。

六、给测试工程师的转型建议

如果你正在考虑往AI测试方向转,我的建议是:

第一步(现在就能做):把AI辅助测试用起来

  • 用ChatGPT/Cursor生成测试用例,但一定要人工审核
  • 用AI分析需求文档,提取测试点
  • 把AI当成"效率放大器",而不是"替代者"

第二步(进阶):深入理解测试AI系统

  • 学习LLM基础:Token、上下文、幻觉、RAG、微调
  • 学习AI评估指标:ROUGE、BLEU、Perplexity、人工评估
  • 学习AI安全测试:Prompt注入、偏见检测、敏感词绕过

第三步(高阶):探索AI驱动的测试

  • 学习Agent技术:AutoGPT、LangChain、MCP协议
  • 学习AI自主探索测试:基于强化学习的测试路径生成

如果你还不会这些,也别怕,这只是帮你提前打一个预防针,这些后续在「AI 进化社」中,都会有相应的专栏教程详细介绍。

写在最后

写在最后,我也想强调一下,AI 测试并不是万能的,更不是要取代测试工程师。

比如涉及到业务逻辑的核心决策、用户体验的主观判断、合规性的严谨校验,这些依然需要我们测试人员基于对业务的理解、对用户的洞察来把控 ——AI 能提供数据和思路,但最终的判断和决策,还是要靠人。

我见过有些团队盲目追求 “全 AI 测试”,把所有测试环节都交给 AI,结果反而因为 AI 对业务场景的理解不透彻,出现了大量无效测试、误判缺陷的情况,反而拖慢了项目进度。

AI测试并不是单纯的传统测试的"升级版",也不是"用AI工具做传统测试"。AI 测试 它是一个新的测试范式,需要新的思维方式、新的评估维度、新的技能栈。

理解这一点,是你转型AI测试的第一步。

其实说到底,AI 测试和传统测试的核心目标是一致的 —— 都是为了保障软件质量,只是实现的手段和效率不同。

  • 传统测试是靠人的经验和细致,构建起软件质量的基础防线;
  • 而 AI 测试是借助技术手段,把人从重复、机械的工作中解放出来,让我们有更多时间去关注更核心的问题:比如业务逻辑是否合理、用户体验是否流畅、系统是否满足长期的稳定性和扩展性。

对于测试从业者来说,与其纠结 “要不要转 AI 测试”,不如换个思路:把 AI 当成提升自己工作效率的工具,而不是需要追赶的 “风口”

不用害怕自己学不会 AI 相关的知识,也不用盲目跟风学各种工具,而是结合自己的工作场景,思考 “哪些环节能用 AI 提效”、“AI 能解决我当前工作中的哪些痛点”。

比如:

  • 如果你日常做功能测试,先从用 AI 生成测试用例、辅助回归测试开始;
  • 如果你做自动化测试,先试试用 AI 做脚本优化和维护。

一步步落地,一点点验证,让 AI 真正服务于自己的工作,而不是被技术牵着走。

软件测试行业从来不是一成不变的,从手工测试到自动化测试,再到如今的 AI 测试,本质上是技术发展推动的行业升级。

但无论技术怎么变,对业务的理解、对质量的敬畏、对问题的思考能力,永远是测试人员最核心的竞争力。

AI 只是工具,能把我们从繁琐的重复劳动中解放出来,但真正决定测试质量的,还是使用工具的人。

如果你想系统化学习AI 落地实战技能,包括AI 全场景测试赋能、AI大模型测试、AI 编程、AI 开发,欢迎加入:「AI 进化社

感兴趣的同学可以了解一下,「AI进化社」目前开放报名,具体信息可以私信我(wx: 762357658)。