别把 eval 当验收
角度从 Madhu Guru 和 Aaron Levie 的同日判断切入:Agent 产品的规格书,正在从 PRD 变成 eval 基础设施。
很多团队还在等 Agent 做完后再补一轮测试,但今天两个 builder 同时反过来说:eval 不是 QA,是产品规格本身。真正的瓶颈也不是模型不够聪明,而是企业没有真实文件、CRM、邮件环境里的仿真测试场。
AI 产品最大冲突是:用户要可靠执行,但团队还在用传统软件的验收思路做不可预测系统。
过去 eval 像上线前检查表,现在它更像产品经理写需求、工程师定义边界、企业采购判断风险的共同语言。
写 Agent 产品时先写 eval:任务样本、失败标准、真实环境夹具和回归测试,比先堆功能更能决定产品是否能卖进企业。
- [01]buildersMadhu Guru:Your evals are your product spec
- [02]buildersAaron Levie:企业缺少 Agent 测试和调优基础设施
- [03]pulsetester-army/e2e 一周 1398 stars,下一代 Web 与移动端 E2E 测试