10月,Vercel 的 AI 模型路由器上,超过四分之一的请求流向了决策模型,而不是大语言模型(LLM)——这种计算机智能形式诞生才一个月,却已经承担了极大份额的工作。
决策模型本质上也是 LLM,但它们不会输出 token;相反,它们被调校为利用通用智能,快速且低成本地在预设选项之间做出判断,并同时记录自己对选择的置信度。它们适用于生产环境,因为在这些场景里,快速决策可能比更慢、也更昂贵的前沿模型所提供的推理更重要。
TypeSafe 在发布 Jev 系列模型后成为一家估值 75 亿美元的公司,而该系列模型至今仍主导着使用量(至少从我们能看到的指标来看如此,例如 OpenRouter;该服务上周处理了超过 15 亿次针对 TypeSafe 模型的查询)。
不过,决策模型其实很容易制作,Jev 发布后又有数十个同类模型面世。一名亚马逊工程师在周末就做出了一个,随后几乎每家超大规模云厂商都有了自己的选项。周二,微软首席执行官萨提亚·纳德拉表示,公司正立即在 Azure 上大范围推出其决策模型 Microsoft-Decision-1.1。
这一动作发生在生态系统的两端:英国 AI 初创公司 Sqwish 今天宣布完成 300 万美元的种子前融资,该公司背后是一个名为 kettei fat 的决策模型。联合创始人 Ushnish Sengupta 和 Federica Freddi 在剑桥读研时相识,他们原本一直在开发小型 LLM,直到 Jev 出现,他们意识到自己的架构可以被改造为强大的决策模型。
数据似乎是这一类别中成功模型的关键。TypeSafe 首席执行官 Diogo Almedia 告诉 TechCrunch,构建 Jev 最困难的部分,是利用经过统计调整的合成数据对其判断能力进行精细校准。Sqwish 也一直在使用合成数据,但其独特之处在于内置的后训练工具,可利用客户自己的数据来提升模型判断能力。
“我认为让我们不至于沦为商品的,是我们能向客户提供同样的能力……他们可以持续上传自己的生产数据,而就像我们训练模型一样,他们的模型也能持续在他们关心的任务上变得更好,”联合创始人兼首席执行官 Ushnish Sengupta 告诉 TechCrunch。
要对决策模型进行排名并不容易;Sqwish 的 “kettei fat” 模型在一些基准测试中表现不错,但大多数该技术的开发者都表示,真正的检验在于实际效果:开发者通常很容易把一个模型替换成另一个,然后在特定场景中观察表现。
“基准测试更像是一个邀请,邀请大家来试用模型,而持续调优才是他们应该留下来的原因,”Sengupta 说。
微软的 Decision 1.1 模型同样是在成本、延迟、智能和校准之间仔细权衡的结果。主导该项目的工程副总裁 Achint Srivastava 也同意,过度关注基准测试是个错误。
“我们看到,过度追求基准分数的模型会很快在真实企业使用中失去作用,”Srivastava 在一封电子邮件中写道。“我们的测试强调了,要在单一模型中同时实现准确性、可靠性、速度和成本效率是多么困难。Microsoft-Decision-1.1 和 Jev 是少数几个能在这四个维度上都表现强劲的模型之一,即便在反映真实用例的‘留出’或未见过的基准上进行评估也是如此。”
对 Sqwish 这样的初创公司来说,与超大规模云厂商和前沿实验室竞争反而是机会。Freddi 预测,未来系统会看到所谓的 System One 智能——例如决策模型——与 System Two 智能——例如前沿 LLM——协同工作。
“即便在那样的未来,System One 也许仍然是一个 100 亿美元、500 亿美元的机会,而 OpenAI 做 IPO 时考虑的可是 1 万亿美元、2 万亿美元的市值,”她告诉 TechCrunch。“这就是我们全部关注的事情;而对他们来说,这只是一个副项目。”











