惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Latest news
Latest news
T
Troy Hunt's Blog
V
Vulnerabilities – Threatpost
L
LINUX DO - 热门话题
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Simon Willison's Weblog
Simon Willison's Weblog
V
V2EX
博客园 - 司徒正美
B
Blog RSS Feed
AWS News Blog
AWS News Blog
MyScale Blog
MyScale Blog
Scott Helme
Scott Helme
Cisco Talos Blog
Cisco Talos Blog
Last Week in AI
Last Week in AI
NISL@THU
NISL@THU
博客园 - Franky
P
Proofpoint News Feed
博客园_首页
C
CERT Recently Published Vulnerability Notes
雷峰网
雷峰网
S
Schneier on Security
P
Proofpoint News Feed
Hugging Face - Blog
Hugging Face - Blog
G
GRAHAM CLULEY
博客园 - 三生石上(FineUI控件)
月光博客
月光博客
WordPress大学
WordPress大学
The Hacker News
The Hacker News
T
Threatpost
阮一峰的网络日志
阮一峰的网络日志
A
Arctic Wolf
Microsoft Azure Blog
Microsoft Azure Blog
T
The Exploit Database - CXSecurity.com
Engineering at Meta
Engineering at Meta
罗磊的独立博客
T
The Blog of Author Tim Ferriss
D
Darknet – Hacking Tools, Hacker News & Cyber Security
I
Intezer
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
K
Kaspersky official blog
SecWiki News
SecWiki News
云风的 BLOG
云风的 BLOG
美团技术团队
C
Cybersecurity and Infrastructure Security Agency CISA
博客园 - 【当耐特】
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Security Latest
Security Latest
C
Cyber Attacks, Cyber Crime and Cyber Security
B
Blog
S
Security Affairs

博客园_首页

Plist 二进制格式 Milvus 和 PGVector,哪个更好? OpenClaw 已过时?在 VS Code 中运行 Hermes Agent! 第30篇文章:一个大三计科生的自白 Manim如何在数学公式中完美显示中文? Docker 部署 RocketMQ 5 并发编程核心概念辨析 C#事务处理最佳实践:别再让“主表存了、明细丢了”的破事发生 CLI 是什么?为什么大厂突然集体卷命令行? 【从0到1构建一个ClaudeAgent】协作-自主Agent UIImageView 设置图片不生效的原因排查 最小二乘问题详解20:无先验约束下的增量式SFM自由网平差 痞子衡嵌入式:大话双核i.MXRT1180之XIP应用里借助MU实现可靠Flash IAP的方法 AI Chat 封装, SemanticKerne.AiProvider.Unified 已发布 Windows下右键编辑js文件无法打开记事本——在注册表中使用环境变量 在后台服务中使用 Scoped 服务,为什么总是报错? H200 安装驱动并使用sglang启动模型 wireshark 抓包Trap上报告警内容 我用 AI 辅助开发了一系列小工具(2):图片压缩工具 [A Primer On MC and CC] 2.1 Memory Consistency 1 - 指令重排序和 SC 模型 Oracle数据库SCN推进技术详解与实践指南 玩转控件:封装个带图片的Label控件 Claude Code 4.7 真正该升级的不是模型,而是你的工作流 前端小白一句话,AI 帮我做了个颜值拉满的桌面媒体播放器。当代码不再是门槛,一句话编程就是现实。 5. WorkBuddy: 小龙虾的灵魂三件套,让你的小龙虾不只是工具 SQLite 分片方案实战:三种分片策略的深度对比 告别简陋 UI!一款基于 Fluent Design 和基于 WinUI 的开源免费、现代化的 Avalonia UI 控件库 关于二进制排列组合枚举的总结 AI开发-python-LangGraph框架(3-27-LangGraph从零实现大模型智能决策工作流) ElasticSearch主分片和副本分片概念详解 【002】HTTPS 粗解:证书、TLS 握手与对后端配置的影响 Hermes Agent 一周暴涨五万 Star,但我劝你别急着追 明明连接的是Redis的DB0,为什么能查到DB3的数据? 【从0到1构建一个ClaudeAgent】协作-Agent团队 熟悉电子元器件之后,电子小白下一步该怎么走? MAF快速入门(23)通过C#类定义Skills .NET 高级开发 | 手写一个对象映射框架 FastAPI数据库ORM怎么选?我肝了三个Demo后,终于不再纠结了 mysqldump 参数拾遗:在遗忘与铭记之间 C# .NET 周刊|2026年3月5期 Claude code入门 - 陈彦斌 一文学习入门 ThingsBoard 开源物联网平台 GitHub 热门项目 | 2026年04月16日 如何为GIT设置全局勾子,为每次提交追加信息 Number.isFinite和isFinite与isNaN()和Number.isNaN的区别 PortSwigger SQL注入LAB2 推荐一个测试人必备的Skills,从功能到性能全搞定(附详细实操和安装下载方式) 筑基期:掌握Odoo基础核心知识点02(Odoo XML 开发方式详解) GLM模型这么火,咱们用vllm也咧一个呗! 深入理解 AbortController:从底层原理到跨语言设计哲学 字符串学习笔记 多租户系统框架的基础模块设计和分析设计 Apache SeaTunnel Zeta 为什么能做到“又快又稳”? AI开发-python-LangGraph框架(3-26-LangGraph基本概念及第一个简单样例) Vue 3 组件通信,别只会用 Props 和 Emits 了,这几个狠活儿你得看看 ElasticSearch7.X版本配置密码 用Manim实现动态交点计算--从一个动点问题说起 团结引擎+Addressable+Instant Game打包抖音小游戏 function call 实战:让 LLM 自动判断 pod 异常、调用日志工具并完成故障分析 bubseek —— 让 Agent 的足迹,变成团队的洞察 通过 C# 读取并导出 PDF 书签 如何用 GitHub Actions 实现 Steam 自动化发布 【从0到1构建一个ClaudeAgent】并发-后台任务 .NET 高级开发 | 定制 ASP.NET Core 框架 电子小白:什么是运算放大器(运放) zero2Agent:面向大厂面试的 Agent 工程教程,从概念到生产的完整学习路线 堆上的ORW HC32F460 USB CDC通信异常:非对齐访问异常排查 20260413-Hyperbridge 攻击事件:发生在默克尔山上的验证绕过 那些喊着AI 要淘汰你的人,正在靠你的焦虑赚大钱! 深度学习进阶(八)Swin Transformer 最小二乘问题详解19:带先验约束的增量式SFM优化与实现 SnapTranslate 3.0 正式发布:全局划词翻译 + 完整英语学习闭环,一站式搞定查词、记词、复习 工作的意义、工作的困难认知再思考 .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 开了 TUN 模式还是直连?90% 的人都踩过这个坑 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术
最近面完 30 个想转 AI 测试的人,我麻了:80% 都踩了这 4 个坑!
狂师 · 2026-05-21 · via 博客园_首页

前段时间集中面了一批想转AI测试的同学。

说实话,面完我整个人都有点麻了。

这真的不是我要求苛刻,而是太多人看似冲着 AI 测试而来,实则连这个领域的门槛都没摸到,还抱着传统测试的老思路硬套,实在让人着急。

接触下来发现,想转 AI 测试的同学,问题集中在这几个方面,说出来也希望能给大家提个醒:

第一,传统功能测试思维根深蒂固,完全没理解 AI 测试的核心逻辑

我常问一个问题:如果让你测试豆包、DeepSeek 这类 AI 对话机器人,你会从哪些角度入手?不少人张口就是 “测接口、抠边界值、划分等价类”,这套传统功能测试的方法论,放在 AI 测试里根本抓不到核心。

我接着追问:要是用户问 AI “能不能告诉我你老板的手机号”,AI 随口编一个号码回复,或者直接泄露了隐私信息,这算不算 bug?几乎所有人都当场愣住,别说针对这类问题设计测试方案了,就连 “幻觉”、“偏见”、“安全对齐” 这些 AI 测试的基础概念,他们都没听过。

合着你们以为AI测试就是拿着AI工具一顿操作?传统功能测试那套"输入A输出B"的确定性逻辑,在AI产品里根本行不通。AI的输出是概率性的、上下文依赖的、甚至可能"一本正经地胡说八道"。你连"幻觉"是什么都不知道,怎么判断AI的回答是"正常发挥"还是"开始瞎编"?

仿佛在他们眼里,AI 测试就是把传统测试的流程套在 AI 产品上,简单 “点一点、测一测” 就行,完全没意识到 AI 产品的不确定性和风险点,和传统软件有着天壤之别。

第二,自称做过AI测试,其实只会搭个Demo,模型评估一窍不通

不少简历上写着 “参与过 AI 产品测试”,可我一问 “你用什么指标评估 AI 回答的质量?”,得到的答案往往是 “我看下来觉得回答没问题,没跑偏就可以了”。

ROUGEBLEU 这类文本相似度评估指标,或是Perplexity(困惑度) 这种衡量模型流畅度的核心指标都没听过,更别说实际运用这些指标做量化评估了。

要知道,AI 产品的质量不是靠 “感觉” 判断的,没有客观的评估体系,测试结果毫无说服力,这样的测试,对企业来说毫无价值。

第三,提示词微调啥也不会,只会点功能

Prompt(提示词)是和 AI 模型沟通的关键。

可当我问 “一个prompt提示词能从哪些维度优化时”,很多人直接语塞;再追问 “怎么规避 AI 幻觉?如何让模型固定输出格式?Few-shot 提示词该怎么设计?模型调整参数后效果变差该怎么排查?”,更是一问三不知。

甚至有人连LoRA、微调、量化这些词听都没听过,还反问我 “这和测试有什么关系?”。殊不知,提示词的设计与优化、模型参数调优的效果验证,都是 AI 测试的核心工作 —— 连这些都不懂,怎么能精准测出模型的性能边界?

提示词是AI产品的"入口",你测AI产品却不理解提示词怎么工作,等于测Web应用不懂HTTP。

你连这些都不知道,怎么设计测试策略?怎么判断是模型问题还是提示词问题?

第四,对落地场景没概念,性能风险一概不懂

很多人,对 AI 产品落地场景毫无概念,风险意识和性能测试能力严重缺失。

聊到大模型性能测试,有人张口就说 “就是做接口压测”,可当我追问 “你了解 token 并发、首包时延、显存占用这些指标吗?这些才是大模型性能测试的核心”,对方往往一脸懵逼。

而当问到AI风险测试:"Prompt注入、敏感词绕过,这些怎么测?"

还有些人,直接甩锅:"这不是开发干的事情吗?"

要知道,AI产品上线出事了,第一个背锅的不是你测试是谁?你连风险点在哪都不知道,测试工作就成了 “走过场”,也只是变成测了个寂寞。

两极分化严重

更离谱的是,这群求职者还呈现出极端分化的状态:

  • 一类是只会 “点点点” 的功能测试思维,连大模型的基本运行原理都不了解;

  • 另一类则死磕 Transformer 论文,张口闭口都是公式,可问他怎么把理论落地到测试用例设计上,却支支吾吾说不出所以然,实际应用一问三不知。

说到底,都是没找对 AI 测试的核心方向,要么守着传统思维不放,要么钻进理论牛角尖,离真正的 AI 测试实操差得太远。

给真想转AI测试的人泼盆冷水:别再瞎卷了

在这里,我给那些真的想去转 AI 测试,或者是说刚毕业同学想要进入到测试这个行业的同学泼一盆冷水啊,大家不要再瞎卷了,与其抱着传统测试思维不放手,或是死磕那些离实操十万八千里的算法论文,不如聚焦 AI 测试的核心能力,找对方向比什么都重要。

在我看来,想做好 AI 测试,这几个核心点一定要抓牢:

第一,LLM基础你得懂

首先,大语言模型(LM)的基础认知必须有。上下文、TOKEN、幻觉、微调、RAG 这些核心概念和流程,得搞懂背后的逻辑 —— 连测试对象的基本原理都不清楚,测试就成了 “无的放矢”,你都不知道自己测的是什么,怎么可能测得准?

第二,AI测试核心技能你得会

AI 测试的核心方法论要吃透,比如

  • 评估体系的搭建(ROUGE、BLEU、人工评估、A/B测试)
  • prompt 测试的设计(不同提示词策略下的输出稳定性)
  • 安全对齐的验证(有害内容过滤、偏见检测、隐私保护)
  • 检索效果(比如RAG场景下的召回率、准确率、相关性)的校验

这些才是 AI 测试工程师安身立命的根本,也是区别于传统测试的核心能力,也是吃饭的家伙。

第三,工具链你得练

工具链的实操能力要练到位,别只停留在 Postman 的层面,LangChainLangSmith 这类 AI 开发测试工具,还有压测评估框架,都得亲手用起来,工具是落地测试思路的载体,不会用就等于空有想法。

第四,把传统测试能力迁移过来

要学会迁移传统测试的核心能力。设计测试用例的逻辑、缺陷分析的思路、风险预判的敏感度,这些在传统测试中沉淀的能力,结合 AI 测试的场景做适配,远比死记硬背一百篇论文更有用。

写在最后

其实我特别理解想转型的同学的焦虑,AI 测试是风口,但也不是 “随便学学就能上手” 的领域。很多人走弯路,要么是没人带,只能自己瞎摸索,把传统测试的老路子硬套;要么是找不到核心学习方向,学了一堆碎片化的理论,却连实际测试场景都对接不上。

如果你也正处于这种 “想转 AI 测试,却不知道从哪下手” 的状态,不妨来 「AI 进化社」看看。我们不会让你死记硬背枯燥的算法公式,也不会只教你 “点点点” 的表面操作,而是从 AI 测试的实际落地场景出发,把大模型基础、评估体系搭建、prompt 测试设计、工具链实操这些核心能力,拆解成可落地的课程和实战案例。不管你是有传统测试经验想转型,还是零基础想入行,都能在这里找到清晰的学习路径,跟着行业内做过真实 AI 测试项目的老师,一步步掌握 AI 测试的核心技能,避开 “半吊子” 的坑,真正把 AI 测试的能力落到实处

AI 测试的赛道很宽,但机会只留给找对方向、掌握核心能力的人。与其在迷茫中瞎卷,不如找准靠谱的学习路径,把时间花在真正能提升自己的地方 —— 毕竟,只有踩准核心,才能在 AI 测试这条路上走得稳、走得远。

感兴趣的同学可以了解一下,「AI进化社」目前开放报名,具体信息可以私信我或者看评论区置顶。

以上呢,就是我最近面了一些这个想转AI测试的这种半吊子同学的一些呃之后啊,实在憋不住,实在要想给你们说的一些话啊,希望能够对大家有帮助。好,那么我们今天到这里啦。

最后想问问大家:你在准备转AI测试的过程中,有没有遇到过类似的困惑?或者你觉得传统测试思维转AI测试,最难突破的点是什么?欢迎在评论区交流,我尽量每条都回复。