我的测试学习站TEST LEARNING HUB
开始学习
首页/精华文章/传统测试如何转 AI 测试

传统测试如何转 AI 测试?

AI 浪潮来了,很多测试同学最焦虑的问题是:测试工程师会不会被取代?

我的判断是:只会重复点点点的人会越来越危险,但能掌握 AI 测试方法和 AI 测试开发能力的人,机会会变多。

一、AI 测试不是会用 ChatGPT

很多人以为会用 ChatGPT 写用例、写 SQL、写脚本,就叫 AI 测试。

这只是 AI 工具使用,不是 AI 测试能力。

真正的 AI 测试包括:

  • 大模型回答质量评测;
  • Prompt 测试;
  • 幻觉率评估;
  • RAG 知识库测试;
  • AI Agent 工具调用测试;
  • AI 应用安全测试;
  • AI 服务性能和稳定性测试;
  • 自动化评测平台建设。

也就是说,AI 测试不是让 AI 替你测试,而是你要测试 AI 应用是否可靠。

二、传统测试转 AI 测试,先补哪些能力?

建议按这个顺序:

1. 先理解大模型基础

你要知道:

  • Prompt 是什么;
  • Token 是什么;
  • 上下文窗口是什么;
  • 幻觉是什么;
  • 温度参数是什么;
  • API 调用和网页对话有什么区别。

2. 学会设计 AI 测试场景

比如测试一个 AI 客服,你要关注:

  • 回答是否准确;
  • 是否引用了正确知识;
  • 不知道时会不会胡编;
  • 多轮对话是否保持上下文;
  • 敏感问题是否拒答;
  • 输出格式是否稳定;
  • 响应速度是否可接受。

3. 学会 RAG 测试

企业 AI 应用很多都会接知识库,所以 RAG 测试很重要。

你要会测:

  • 文档切分是否合理;
  • 向量召回是否准确;
  • TopK 结果是否覆盖关键内容;
  • 回答是否忠实于知识库;
  • 引用来源是否正确;
  • 知识更新后答案是否同步。

4. 学会 Agent 测试

Agent 不只是回答问题,还会调用工具、拆解任务、执行动作。

测试重点包括:

  • 任务规划是否合理;
  • 工具选择是否正确;
  • 参数传递是否准确;
  • 调用失败后是否能恢复;
  • 是否存在越权调用;
  • 多步骤执行是否稳定。

三、为什么自动化基础很重要?

AI 测试最终一定会走向自动化评测。

你需要用 Python 或 Java 去做:

  • 批量构造问题集;
  • 调用大模型 API;
  • 收集模型回答;
  • 根据规则或模型自动评分;
  • 统计准确率、幻觉率、拒答率;
  • 生成评测报告;
  • 接入 CI/CD。

所以传统测试同学想转 AI 测试,接口测试、Python、自动化基础仍然非常重要。

四、AI 测试项目怎么准备?

可以准备 3 类项目:

1. 大模型问答质量评测平台

支持批量导入问题、调用模型、保存回答、自动评分、生成报告。

2. RAG 知识库测试平台

测试文档召回、答案忠实度、引用准确性和知识更新效果。

3. AI Agent 测试平台

测试任务拆解、工具调用、执行链路、异常恢复和权限边界。

这些项目写进简历,比“熟悉 ChatGPT”有价值很多。

五、推荐学习路径

建议按顺序看:

如果你还想系统整理求职资料,可以查看: