别再按 token 买模型了
角度从模型采购的计价错觉切入:企业真正该优化的不是每百万 token 单价,而是每次任务成功的总成本。
最便宜的模型,可能反而让你花最多钱。Thibault 说按 token 比价就像按披萨切片数比便宜,而今天 GitHub 和趋势数据里,Switchyard 这类模型路由工具正在起飞。模型战争进入下一阶段:不是谁报价低,而是谁能把失败、延迟和回退算进账单。
AI 团队习惯用 token 单价做采购决策,但不同模型的 tokenizer、成功率、重试次数和延迟会让表面低价失真。
真正值得买的可能不是某个模型,而是能在多模型之间动态路由、审计和回退的基础设施。
把内部 AI 成本看板从 token 单价改成任务成功成本,并为关键流程记录模型、重试、延迟和最终结果。
- [01]buildersThibault Sottiaux 关于按 token 比价像按披萨切片数比便宜的推文
- [02]buildersThibault Sottiaux 追问企业为何还在用 Opus 而不是 Sol 的推文
- [03]pulseNVIDIA-NeMo/Switchyard GitHub 项目,本周 1326 星