职位信息

工作地点：广州

岗位职责：

1、参与 AI Agent 产品的测试和质量保障。

2、设计测试用例，验证回答准确性、工具调用、多轮交互、权限和系统稳定性。

3、参与评测数据集、自动化评测工具及版本回归体系建设。

4、分析失败案例，协助定位模型、检索、工具、数据或系统问题。

5、参与接口、性能、安全和异常场景测试。

任职要求：

1、具备良好的计算机基础，了解软件测试基本方法和流程。

2、熟悉 Python、JavaScript/TypeScript 等至少一种编程语言，能够编写测试脚本。

3、对大语言模型和 AI Agent 有兴趣，了解 Prompt、RAG 或工具调用等基本概念。

4、具备良好的逻辑分析、问题定位、质量意识和沟通协作能力。

5、计算机、软件工程、人工智能、数据科学、信息管理等相关专业。

加分项：

1、有 Langfuse、LangSmith 等大模型可观测与评测平台的使用或项目实践。

2、了解 LLM-as-a-Judge、人工评审、规则评分、成对比较、A/B 测试及 Agent 轨迹评测等方法。

3、了解任务完成率、工具选择与参数正确性、回答相关性、事实一致性、检索质量和多轮稳定性等评测指标。

4、了解评测集构建、自动化回归、CI/CD 集成相关实践。

5、了解 Prompt Injection、越权调用、敏感数据泄露等 AI 安全风险。

6、有大模型、Agent、智能问答或自动化测试相关课程、实习、竞赛或个人项目。