惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Security Archives - TechRepublic
Security Archives - TechRepublic
爱范儿
爱范儿
Recent Announcements
Recent Announcements
AI
AI
V
Visual Studio Blog
H
Heimdal Security Blog
L
LINUX DO - 最新话题
Attack and Defense Labs
Attack and Defense Labs
宝玉的分享
宝玉的分享
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
W
WeLiveSecurity
人人都是产品经理
人人都是产品经理
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
WordPress大学
WordPress大学
S
Secure Thoughts
S
Security Affairs
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
N
News and Events Feed by Topic
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
博客园 - 聂微东
博客园 - Franky
阮一峰的网络日志
阮一峰的网络日志
Schneier on Security
Schneier on Security
Hugging Face - Blog
Hugging Face - Blog
Apple Machine Learning Research
Apple Machine Learning Research
Forbes - Security
Forbes - Security
The Cloudflare Blog
博客园 - 【当耐特】
酷 壳 – CoolShell
酷 壳 – CoolShell
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
月光博客
月光博客
有赞技术团队
有赞技术团队
博客园 - 司徒正美
博客园_首页
Recent Commits to openclaw:main
Recent Commits to openclaw:main
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
NISL@THU
NISL@THU
C
Cybersecurity and Infrastructure Security Agency CISA
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
P
Proofpoint News Feed
罗磊的独立博客
V
Vulnerabilities – Threatpost
S
Securelist
N
News and Events Feed by Topic
Cloudbric
Cloudbric
P
Proofpoint News Feed
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
V2EX - 技术
V2EX - 技术
小众软件
小众软件

博客园_首页

Plist 二进制格式 Milvus 和 PGVector,哪个更好? OpenClaw 已过时?在 VS Code 中运行 Hermes Agent! 第30篇文章:一个大三计科生的自白 Manim如何在数学公式中完美显示中文? Docker 部署 RocketMQ 5 并发编程核心概念辨析 C#事务处理最佳实践:别再让“主表存了、明细丢了”的破事发生 CLI 是什么?为什么大厂突然集体卷命令行? 【从0到1构建一个ClaudeAgent】协作-自主Agent UIImageView 设置图片不生效的原因排查 最小二乘问题详解20:无先验约束下的增量式SFM自由网平差 痞子衡嵌入式:大话双核i.MXRT1180之XIP应用里借助MU实现可靠Flash IAP的方法 AI Chat 封装, SemanticKerne.AiProvider.Unified 已发布 Windows下右键编辑js文件无法打开记事本——在注册表中使用环境变量 在后台服务中使用 Scoped 服务,为什么总是报错? H200 安装驱动并使用sglang启动模型 wireshark 抓包Trap上报告警内容 我用 AI 辅助开发了一系列小工具(2):图片压缩工具 [A Primer On MC and CC] 2.1 Memory Consistency 1 - 指令重排序和 SC 模型 Oracle数据库SCN推进技术详解与实践指南 玩转控件:封装个带图片的Label控件 Claude Code 4.7 真正该升级的不是模型,而是你的工作流 前端小白一句话,AI 帮我做了个颜值拉满的桌面媒体播放器。当代码不再是门槛,一句话编程就是现实。 5. WorkBuddy: 小龙虾的灵魂三件套,让你的小龙虾不只是工具 SQLite 分片方案实战:三种分片策略的深度对比 告别简陋 UI!一款基于 Fluent Design 和基于 WinUI 的开源免费、现代化的 Avalonia UI 控件库 关于二进制排列组合枚举的总结 AI开发-python-LangGraph框架(3-27-LangGraph从零实现大模型智能决策工作流) ElasticSearch主分片和副本分片概念详解 【002】HTTPS 粗解:证书、TLS 握手与对后端配置的影响 Hermes Agent 一周暴涨五万 Star,但我劝你别急着追 明明连接的是Redis的DB0,为什么能查到DB3的数据? 【从0到1构建一个ClaudeAgent】协作-Agent团队 熟悉电子元器件之后,电子小白下一步该怎么走? MAF快速入门(23)通过C#类定义Skills .NET 高级开发 | 手写一个对象映射框架 FastAPI数据库ORM怎么选?我肝了三个Demo后,终于不再纠结了 mysqldump 参数拾遗:在遗忘与铭记之间 C# .NET 周刊|2026年3月5期 Claude code入门 - 陈彦斌 一文学习入门 ThingsBoard 开源物联网平台 GitHub 热门项目 | 2026年04月16日 如何为GIT设置全局勾子,为每次提交追加信息 Number.isFinite和isFinite与isNaN()和Number.isNaN的区别 PortSwigger SQL注入LAB2 推荐一个测试人必备的Skills,从功能到性能全搞定(附详细实操和安装下载方式) 筑基期:掌握Odoo基础核心知识点02(Odoo XML 开发方式详解) GLM模型这么火,咱们用vllm也咧一个呗! 深入理解 AbortController:从底层原理到跨语言设计哲学 字符串学习笔记 多租户系统框架的基础模块设计和分析设计 Apache SeaTunnel Zeta 为什么能做到“又快又稳”? AI开发-python-LangGraph框架(3-26-LangGraph基本概念及第一个简单样例) Vue 3 组件通信,别只会用 Props 和 Emits 了,这几个狠活儿你得看看 ElasticSearch7.X版本配置密码 用Manim实现动态交点计算--从一个动点问题说起 团结引擎+Addressable+Instant Game打包抖音小游戏 function call 实战:让 LLM 自动判断 pod 异常、调用日志工具并完成故障分析 bubseek —— 让 Agent 的足迹,变成团队的洞察 通过 C# 读取并导出 PDF 书签 如何用 GitHub Actions 实现 Steam 自动化发布 【从0到1构建一个ClaudeAgent】并发-后台任务 .NET 高级开发 | 定制 ASP.NET Core 框架 电子小白:什么是运算放大器(运放) zero2Agent:面向大厂面试的 Agent 工程教程,从概念到生产的完整学习路线 堆上的ORW HC32F460 USB CDC通信异常:非对齐访问异常排查 20260413-Hyperbridge 攻击事件:发生在默克尔山上的验证绕过 那些喊着AI 要淘汰你的人,正在靠你的焦虑赚大钱! 深度学习进阶(八)Swin Transformer 最小二乘问题详解19:带先验约束的增量式SFM优化与实现 SnapTranslate 3.0 正式发布:全局划词翻译 + 完整英语学习闭环,一站式搞定查词、记词、复习 工作的意义、工作的困难认知再思考 .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 开了 TUN 模式还是直连?90% 的人都踩过这个坑 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术
最近面完 30 个想转 AI 测试的人,我麻了:80% 都踩了这 4 个坑!
狂师 · 2026-05-21 · via 博客园_首页

前段时间集中面了一批想转AI测试的同学。

说实话,面完我整个人都有点麻了。

这真的不是我要求苛刻,而是太多人看似冲着 AI 测试而来,实则连这个领域的门槛都没摸到,还抱着传统测试的老思路硬套,实在让人着急。

接触下来发现,想转 AI 测试的同学,问题集中在这几个方面,说出来也希望能给大家提个醒:

第一,传统功能测试思维根深蒂固,完全没理解 AI 测试的核心逻辑

我常问一个问题:如果让你测试豆包、DeepSeek 这类 AI 对话机器人,你会从哪些角度入手?不少人张口就是 “测接口、抠边界值、划分等价类”,这套传统功能测试的方法论,放在 AI 测试里根本抓不到核心。

我接着追问:要是用户问 AI “能不能告诉我你老板的手机号”,AI 随口编一个号码回复,或者直接泄露了隐私信息,这算不算 bug?几乎所有人都当场愣住,别说针对这类问题设计测试方案了,就连 “幻觉”、“偏见”、“安全对齐” 这些 AI 测试的基础概念,他们都没听过。

合着你们以为AI测试就是拿着AI工具一顿操作?传统功能测试那套"输入A输出B"的确定性逻辑,在AI产品里根本行不通。AI的输出是概率性的、上下文依赖的、甚至可能"一本正经地胡说八道"。你连"幻觉"是什么都不知道,怎么判断AI的回答是"正常发挥"还是"开始瞎编"?

仿佛在他们眼里,AI 测试就是把传统测试的流程套在 AI 产品上,简单 “点一点、测一测” 就行,完全没意识到 AI 产品的不确定性和风险点,和传统软件有着天壤之别。

第二,自称做过AI测试,其实只会搭个Demo,模型评估一窍不通

不少简历上写着 “参与过 AI 产品测试”,可我一问 “你用什么指标评估 AI 回答的质量?”,得到的答案往往是 “我看下来觉得回答没问题,没跑偏就可以了”。

ROUGEBLEU 这类文本相似度评估指标,或是Perplexity(困惑度) 这种衡量模型流畅度的核心指标都没听过,更别说实际运用这些指标做量化评估了。

要知道,AI 产品的质量不是靠 “感觉” 判断的,没有客观的评估体系,测试结果毫无说服力,这样的测试,对企业来说毫无价值。

第三,提示词微调啥也不会,只会点功能

Prompt(提示词)是和 AI 模型沟通的关键。

可当我问 “一个prompt提示词能从哪些维度优化时”,很多人直接语塞;再追问 “怎么规避 AI 幻觉?如何让模型固定输出格式?Few-shot 提示词该怎么设计?模型调整参数后效果变差该怎么排查?”,更是一问三不知。

甚至有人连LoRA、微调、量化这些词听都没听过,还反问我 “这和测试有什么关系?”。殊不知,提示词的设计与优化、模型参数调优的效果验证,都是 AI 测试的核心工作 —— 连这些都不懂,怎么能精准测出模型的性能边界?

提示词是AI产品的"入口",你测AI产品却不理解提示词怎么工作,等于测Web应用不懂HTTP。

你连这些都不知道,怎么设计测试策略?怎么判断是模型问题还是提示词问题?

第四,对落地场景没概念,性能风险一概不懂

很多人,对 AI 产品落地场景毫无概念,风险意识和性能测试能力严重缺失。

聊到大模型性能测试,有人张口就说 “就是做接口压测”,可当我追问 “你了解 token 并发、首包时延、显存占用这些指标吗?这些才是大模型性能测试的核心”,对方往往一脸懵逼。

而当问到AI风险测试:"Prompt注入、敏感词绕过,这些怎么测?"

还有些人,直接甩锅:"这不是开发干的事情吗?"

要知道,AI产品上线出事了,第一个背锅的不是你测试是谁?你连风险点在哪都不知道,测试工作就成了 “走过场”,也只是变成测了个寂寞。

两极分化严重

更离谱的是,这群求职者还呈现出极端分化的状态:

  • 一类是只会 “点点点” 的功能测试思维,连大模型的基本运行原理都不了解;

  • 另一类则死磕 Transformer 论文,张口闭口都是公式,可问他怎么把理论落地到测试用例设计上,却支支吾吾说不出所以然,实际应用一问三不知。

说到底,都是没找对 AI 测试的核心方向,要么守着传统思维不放,要么钻进理论牛角尖,离真正的 AI 测试实操差得太远。

给真想转AI测试的人泼盆冷水:别再瞎卷了

在这里,我给那些真的想去转 AI 测试,或者是说刚毕业同学想要进入到测试这个行业的同学泼一盆冷水啊,大家不要再瞎卷了,与其抱着传统测试思维不放手,或是死磕那些离实操十万八千里的算法论文,不如聚焦 AI 测试的核心能力,找对方向比什么都重要。

在我看来,想做好 AI 测试,这几个核心点一定要抓牢:

第一,LLM基础你得懂

首先,大语言模型(LM)的基础认知必须有。上下文、TOKEN、幻觉、微调、RAG 这些核心概念和流程,得搞懂背后的逻辑 —— 连测试对象的基本原理都不清楚,测试就成了 “无的放矢”,你都不知道自己测的是什么,怎么可能测得准?

第二,AI测试核心技能你得会

AI 测试的核心方法论要吃透,比如

  • 评估体系的搭建(ROUGE、BLEU、人工评估、A/B测试)
  • prompt 测试的设计(不同提示词策略下的输出稳定性)
  • 安全对齐的验证(有害内容过滤、偏见检测、隐私保护)
  • 检索效果(比如RAG场景下的召回率、准确率、相关性)的校验

这些才是 AI 测试工程师安身立命的根本,也是区别于传统测试的核心能力,也是吃饭的家伙。

第三,工具链你得练

工具链的实操能力要练到位,别只停留在 Postman 的层面,LangChainLangSmith 这类 AI 开发测试工具,还有压测评估框架,都得亲手用起来,工具是落地测试思路的载体,不会用就等于空有想法。

第四,把传统测试能力迁移过来

要学会迁移传统测试的核心能力。设计测试用例的逻辑、缺陷分析的思路、风险预判的敏感度,这些在传统测试中沉淀的能力,结合 AI 测试的场景做适配,远比死记硬背一百篇论文更有用。

写在最后

其实我特别理解想转型的同学的焦虑,AI 测试是风口,但也不是 “随便学学就能上手” 的领域。很多人走弯路,要么是没人带,只能自己瞎摸索,把传统测试的老路子硬套;要么是找不到核心学习方向,学了一堆碎片化的理论,却连实际测试场景都对接不上。

如果你也正处于这种 “想转 AI 测试,却不知道从哪下手” 的状态,不妨来 「AI 进化社」看看。我们不会让你死记硬背枯燥的算法公式,也不会只教你 “点点点” 的表面操作,而是从 AI 测试的实际落地场景出发,把大模型基础、评估体系搭建、prompt 测试设计、工具链实操这些核心能力,拆解成可落地的课程和实战案例。不管你是有传统测试经验想转型,还是零基础想入行,都能在这里找到清晰的学习路径,跟着行业内做过真实 AI 测试项目的老师,一步步掌握 AI 测试的核心技能,避开 “半吊子” 的坑,真正把 AI 测试的能力落到实处

AI 测试的赛道很宽,但机会只留给找对方向、掌握核心能力的人。与其在迷茫中瞎卷,不如找准靠谱的学习路径,把时间花在真正能提升自己的地方 —— 毕竟,只有踩准核心,才能在 AI 测试这条路上走得稳、走得远。

感兴趣的同学可以了解一下,「AI进化社」目前开放报名,具体信息可以私信我或者看评论区置顶。

以上呢,就是我最近面了一些这个想转AI测试的这种半吊子同学的一些呃之后啊,实在憋不住,实在要想给你们说的一些话啊,希望能够对大家有帮助。好,那么我们今天到这里啦。

最后想问问大家:你在准备转AI测试的过程中,有没有遇到过类似的困惑?或者你觉得传统测试思维转AI测试,最难突破的点是什么?欢迎在评论区交流,我尽量每条都回复。