AI 测试学习路线专题页
AI 测试不是简单地“会用 ChatGPT”，而是把大模型、RAG、Agent、自动化测试和测试平台能力结合起来，真正提升测试效率和质量保障能力。
AI Testing Roadmap
传统测试转 AI 测试，从概念到项目落地
适合功能测试、自动化测试、测试开发同学，用一条路线搞清楚大模型评测、RAG 测试、Agent 测试和 AI 测试平台怎么学、怎么做项目、怎么写进简历。
学习路线总览
01 AI 基础
大模型、Prompt、Token、上下文、幻觉、安全边界。
02 大模型评测
准确性、相关性、完整性、幻觉率、稳定性、成本。
03 RAG 测试
文档切分、向量召回、答案忠实度、引用准确性。
04 Agent 测试
任务拆解、工具调用、权限边界、异常恢复。
05 自动化评测
Python 调 API、批量评测、报告生成、CI/CD 集成。
06 项目包装
AI 评测平台、RAG 测试平台、Agent 测试平台写进简历。
如果你是传统测试工程师，想切入 AI 测试，可以按下面这条路线学习。
一、先搞清楚 AI 测试到底测什么
AI 测试主要分成四类：
- AI 应用测试：测试智能客服、AI 助手、AI 搜索、AI 写作等应用功能是否可用、稳定、安全。
- 大模型评测：评估回答准确性、相关性、幻觉率、安全性、拒答能力等。
- RAG 测试：测试知识库检索、召回、引用、忠实度和答案质量。
- AI Agent 测试：测试任务规划、工具调用、执行链路、权限边界和异常恢复。
传统测试关注“输入确定，输出确定”；AI 测试更多关注“输入开放，输出概率化”，所以测试方法也要升级。
二、第一阶段：补齐 AI 基础认知
这个阶段不要求你会算法，但要理解基本概念：
- 大模型是什么；
- Prompt 是什么；
- Token、上下文窗口、温度参数是什么意思；
- 幻觉、越狱、提示注入是什么；
- API 调用和网页对话有什么区别；
- 本地模型和云端模型的区别。
推荐先看：
三、第二阶段：掌握 Prompt 测试和大模型评测
Prompt 测试是 AI 测试的入门基本功。
你要能设计这些测试场景：
- 正常问题回答是否准确；
- 模糊问题是否能澄清；
- 多轮对话上下文是否保持；
- 敏感问题是否正确拒答；
- 提示注入是否能绕过系统约束；
- 输出格式是否稳定；
- 同类问题多次回答是否一致。
大模型评测要关注：
- 准确性；
- 相关性；
- 完整性；
- 幻觉率；
- 安全性；
- 稳定性；
- 响应时延和成本。
四、第三阶段：学习 RAG 知识库测试
很多企业 AI 应用都会接知识库，所以 RAG 测试非常重要。
重点掌握：
- 文档切分是否合理；
- 向量召回是否准确；
- TopK 召回结果是否覆盖关键知识；
- 回答是否忠实于资料原文；
- 引用来源是否正确；
- 知识库更新后答案是否同步；
- 无资料支撑时是否会胡编。
这部分是 AI 测试岗位里非常容易拉开差距的能力。
五、第四阶段：学习 AI Agent 测试
AI Agent 不只是回答问题，还会拆任务、调用工具、执行动作。
测试重点包括：
- 任务拆解是否合理；
- 工具选择是否正确；
- 工具参数是否准确；
- 多步骤执行是否能保持状态；
- 工具调用失败后是否能恢复；
- 是否越权调用敏感工具；
- 是否能控制成本和执行时间。
推荐阅读：
六、第五阶段：结合自动化测试能力
AI 测试不是替代自动化，而是升级自动化。
你需要掌握：
- 用 Python 调用大模型 API；
- 批量构造测试问题集；
- 自动执行模型评测；
- 自动统计评分结果；
- 自动生成评测报告；
- 把 AI 评测接入 CI/CD；
- 用 AI 辅助生成接口自动化和 UI 自动化脚本。
推荐阅读：
七、第六阶段：准备一个能写进简历的 AI 测试项目
不要只停留在概念层面，最好做一个完整项目。
推荐项目方向：
1. 大模型问答质量评测平台
功能包括：批量导入问题、调用模型回答、自动评分、生成评测报告。
2. RAG 知识库测试平台
功能包括：文档导入、向量检索、召回评估、答案忠实度评估、引用准确性检查。
3. AI Agent 测试平台
功能包括：任务链路测试、工具调用校验、异常恢复、安全边界测试。
这些项目比单纯写“会使用 AI 工具”更有含金量。
八、学习顺序建议
如果你是功能测试：
- AI 基础概念；
- Prompt 测试；
- 大模型测试场景；
- Python API 调用；
- RAG 测试；
- AI 测试项目。
如果你已经会自动化：
- 大模型 API；
- 批量评测脚本；
- RAG 和 Agent 测试；
- AI 自动化测试平台；
- 项目包装和面试表达。