OpenAI Jalapeño：自研推理芯片把 AI 竞争推向能效与延迟
OpenAI's first AI chip outperforms Nvidia
这封 AI Valley 聚焦两件大事：OpenAI 公布自研 700W 推理芯片 Jalapeño 的早期结果，以及 Anthropic 对 IPO 投资人提出超过 30 万亿美元的 AI 市场空间叙事。最重要的信息是，Jalapeño 在 OpenAI 的 InferenceX 测试中，相比 Nvidia GB200/GB300 系统，在 GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T 等模型上实现了更高每瓦 AI 工作量和更低端到端延迟。它不是训练芯片，而是面向推理，尤其是低成本、低延迟的模型服务与 Agent 工作负载。
OpenAI Jalapeño 值得作为今日精读，因为它把 AI 竞争从“谁有更强模型”进一步推到了“谁能控制推理基础设施成本”。邮件称，Jalapeño 是 OpenAI 与 Broadcom 合作开发的 700W 自研推理芯片，OpenAI 发布的早期基准显示，它在 InferenceX 测试中相比 Nvidia GB200 和 GB300 系统实现了 1.5 到 1.9 倍的每瓦 AI 工作量，并将端到端延迟降低 1.7 到 3.6 倍，测试覆盖 GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T 等不同规模模型。对 builder 来说，真正关键的不是“OpenAI 是否马上替代 Nvidia”，而是推理成本曲线可能被重新改写。训练仍然需要 Nvidia，Jalapeño 主要用于 OpenAI 自己的数据中心推理，并计划今年晚些时候开始部署，2027 年继续扩量，后续还有两代芯片在开发。邮件还强调 OpenAI 只用了九个月开发，并在开发过程中使用了自己的模型和 Codex，这暗示 AI 已经开始反过来加速芯片设计和底层系统工程。这个事件也应放在更大的背景里看：Google、Amazon、Microsoft、Anthropic 等都在减少对通用 GPU 供应链的单点依赖。对于 AI 产品公司，未来差异化可能不只是模型能力，还包括推理延迟、能耗、吞吐、部署位置和成本结构。尤其当 Agent 工作流需要多轮调用、工具使用和长时间运行时，单次 token 成本和响应延迟会直接决定产品形态。Jalapeño 还没有证明能大规模稳定运行，也不能用于训练，但它代表了一个方向：头部 AI 公司正在把模型、软件栈、芯片和数据中心作为一个整体优化，而不是只购买通用算力。
这是 AI 基础设施格局的核心变化：推理正在成为大规模 AI 产品的成本中心，自研芯片可能改变头部模型公司的单位经济模型。它也说明 Agent 时代的硬件优化目标会更偏向低延迟、多轮调用和服务端吞吐。
对 builder 来说，短期影响是头部平台可能继续降低推理价格或提供更低延迟体验；中长期影响是 AI 应用生态会更依赖少数具备模型、芯片和数据中心能力的平台。对行业来说，Nvidia 仍在训练端强势，但推理端可能出现更多垂直优化芯片。
- 01Jalapeño 是 OpenAI 与 Broadcom 合作开发的 700W 推理芯片，面向 OpenAI 自有基础设施。
- 02邮件称其在 InferenceX 测试中实现 1.5 到 1.9 倍每瓦 AI 工作量，并降低 1.7 到 3.6 倍端到端延迟。
- 03测试涉及 GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T 等模型。
- 04Jalapeño 不是训练芯片，OpenAI 仍然需要 Nvidia 支撑训练。
- 05OpenAI 计划今年晚些时候部署，2027 年继续扩大，两代后续芯片已在开发。
- 06Anthropic 的 30 万亿美元 TAM 叙事也出现在同封邮件中，显示资本市场正在围绕 AI 可替代工作总量讲故事。
- — 关注这些早期基准是否来自可复现、可横向比较的生产环境，而不仅是实验室指标。
- — 区分训练算力和推理算力：Jalapeño 的战略意义主要在推理成本和延迟。
- — 观察 OpenAI 是否会把成本优势传导给 API 价格、Agent 产品体验或企业合同。
- — 留意 Nvidia 在推理端的软件生态和新硬件回应，而不是简单理解为被替代。
SaaS 的下一步：不是更多 App，而是 Agent 可调用的能力
Latent.Space 采访 Lovable CTO Fabian Hedin，核心判断是 SaaS 正从“人打开界面使用应用”转向“Agent 直接调用应用能力”。Lovable 仍是 AI 应用构建平台，但正在把发布后的应用函数暴露为 hosted MCP server 上的 tools，让同一个应用同时拥有传统 UI 和 Agent 接口，可被 ChatGPT、Claude 等 MCP 兼容客户端调用。邮件还回顾了 Lovable 从 GPT Engineer 到商业平台的快速演化，并引用其超过 5 亿美元年化收入、6000 万项目、9 亿月访问等增长数据。
这抓住了 AI 应用层的关键转向：未来 SaaS 的价值可能不只在 UI，而在可被 Agent 编排、组合和自动执行的能力边界。
- — Lovable 定义的 capability 是 Agent 可直接调用的应用功能。
- — 发布后的应用可通过 hosted MCP server 暴露选定函数。
- — 同一个应用将同时服务人类 UI 和 Agent 工具接口。
物理世界的基础模型不能只靠 token scaling
这封 Latent.Space 介绍 Caltech 教授 Anima Anandkumar 在 AI for science，尤其是天气、融合、流体和热流等连续物理系统上的工作。核心观点是，物理世界的数据规模、分辨率和多尺度特征不适合直接套用语言模型的 token scaling 路线；工业级网格会把上下文长度推到数千亿甚至万亿级。Anima 的 Neural Operators、Fourier Neural Operator 和球谐基等方法，通过把物理结构和归纳偏置放进模型，在较小数据量下实现稳定预测，例如 FourCastNet 让消费级 GPU 也能做短期天气预测。
这提醒 AI builder：并不是所有领域都适合“更大模型加更多数据”。在物理、仿真和工程设计中，结构化先验可能比盲目扩大上下文更重要。
- — FourCastNet 展示了 AI 天气模型可接近传统物理仿真能力。
- — 物理系统上下文规模极大，普通 transformer 路线难以直接适配。
- — Neural Operators 通过建模函数演化而不是单纯网格，结合数据和物理规律。
TLDR AI：Jalapeño、本地 Agent、短期凭证和 AI 计算集中化
TLDR AI 今天覆盖了 AI 基础设施和 Agent 工程的多个关键方向：OpenAI Jalapeño 推理加速器开始走向部署；Perplexity 与 Nvidia 推出可在本地硬件运行的 Portable Computer，默认在设备上执行任务，必要时才请求云端模型，并要求 RTX GPU 至少 24GB VRAM；深度分析部分讨论 Claude tokenizer 可能只有约 1.5 万词表、OpenAI 和 Anthropic 到 2028 年可能控制大部分可用 AI 计算，以及应用层护城河如何从模型能力转向工作流、数据和结果交付。工程部分还提到 Vercel Connect 用短期任务凭证替代长期 API token，以及 IBM Granite 4.2、EchoWM 等研究和模型进展。
这封邮件把同一天的硬件、Agent、本地化、安全凭证和计算集中化趋势放在一起看，适合判断 AI 产品的底层约束。
- — Perplexity Portable Computer 默认本地执行，部分步骤需用户许可后才发送到云端。
- — Vercel Connect 强调任务级、自动过期的运行时凭证。
- — AI 计算可能进一步向 OpenAI、Anthropic 等高变现能力公司集中。
Anthropic 的 30 万亿美元 TAM：愿景、IPO 叙事与估值压力
The Neuron 先提到 OpenAI Jalapeño 在推理上优于竞争芯片、但仍不能训练模型，随后把主线放在 Anthropic 准备向 IPO 投资人展示超过 30 万亿美元 TAM。邮件解释，这个数字来自估算 AI 模型理论上可完成的所有工作，而不只是聊天机器人订阅收入；同时提到 Anthropic 2028 年收入预测为 1900 亿到 2000 亿美元。其观点是，TAM 既是估值和数据中心投入的资本叙事，也反映 AI 公司相信模型会触及几乎所有行业预算和工作流程。
它不是技术突破，而是资本市场如何理解 AI 的重要信号：AI 公司正在把“工作本身”而非软件品类作为市场边界。
- — Anthropic 据称准备提出超过 30 万亿美元 TAM。
- — TAM 基于 AI 可理论完成的工作总价值。
- — 邮件同时提到 OpenAI Jalapeño 和 Perplexity 本地 Agent 等当天新闻。
TLDR Dev：生产级 LLM 评测、Agentic Engineering 与 AI 安全
TLDR Dev 今天偏工程实践：生产前评测 LLM 不能只看初始 benchmark，而要围绕产品目标、真实边界条件、类似集成测试的流程和错误分析来做；Agentic Engineering 一文强调给 coding agent 定义成功条件、使用确定性检查、限制权限、记录动作和持续从失败中改进。工具部分包括 Apple M6/M5 Ultra 带来的本地 AI 开发性能提升、Go 编写的 coding-agent harness Whip，以及结合向量、全文和图遍历的嵌入式图数据库 LatticeDB。安全文章则提醒 AI 让“安全靠隐藏”更加失效，攻防双方都能更系统地探测漏洞。
这封邮件对实际做 AI 产品的团队很实用：从模型评测、Agent 可靠性到安全暴露面，都是上线后会直接出问题的环节。
- — LLM 评测要从 benchmark 转向真实产品目标和错误分析。
- — 可靠 coding agent 需要成功条件、权限边界和可审计记录。
- — AI 正在改变安全威胁模型，暴露面管理更重要。
TLDR：OpenAI 芯片、本地 AI Mac、知识压缩与安全执行 SDK
TLDR 综合科技版涵盖 Apple 新 Mac mini/Mac Studio 面向本地 AI 开发的性能升级、OpenAI Jalapeño 芯片在测试中优于 Nvidia 现有产品、SpaceX 路易斯安那新发射设施、Amazon 自动化配送站等。对 AI builder 更相关的是两条工程内容：一项关于技术文档知识压缩的研究称，典型技术文档 token 数可减少约一半而不显著降低对语言模型的有用性；Vercel Run SDK 则用于在隔离 QuickJS 上下文中执行不可信 JavaScript/TypeScript，并通过 hostFunctions 暴露受控操作，适合 Agent 安全评测和沙箱执行场景。
这封邮件把 AI 硬件、本地开发和 Agent 安全执行串起来，尤其知识压缩与 Run SDK 对降低 token 成本和提升 Agent 安全性有直接启发。
- — 技术文档可能在不明显损失模型可用性的前提下大幅减少 token。
- — Vercel Run SDK 提供不可信 JS/TS 的隔离执行方式。
- — Apple 新硬件继续强化本地 AI 推理和开发场景。
Emerging AI 的增长复盘：把 AI 内容做成可复制的实践指南
Opinion AI 这封更像自我增长复盘和付费指南推广：Emerging AI 称过去 30 天获得 110 万读者和 2.1 万新增订阅者，原因是每篇内容都试图让读者在 10 分钟内拿到可执行产物，例如 AI Agent、Claude Skill、工作流、可复制设置或 AI 变现蓝图。邮件强调“用最新 AI 学 AI”，并列出近期热卖指南主题，包括 AI 相关新职业、Claude 不只是聊天框、围绕 GTA VI 信息需求的 AI 商业机会、本地 LLM 私有系统等。事实增量较少，但能看出 AI 内容产品化的一种定位：不卖观点，卖可立即上手的 workflow。
它对技术新闻价值不高，但对做 AI 教育、newsletter、模板和微产品的 builder 有参考：用户愿意为可复制、可执行的工作流付费。
- — Emerging AI 称 30 天内获得 110 万读者和 2.1 万新增订阅者。
- — 其内容策略强调测试工具后输出可执行指南。
- — 主要推广近期付费指南，事实增量有限。