10月,在Vercel的AI模型路由器上,超過四分之一的請求流向了決策模型,而非大語言模型(LLM)——這種計算機智能形式雖然才誕生一個月,卻已經承擔了極大份量的工作。
決策模型本質上也是 LLM,但它們不會輸出 token;相反,它們被調校為利用通用智能,快速且低成本地在預設選項之間做出判斷,並同時記錄自己對選擇的置信度。它們適用於生產環境,因為在這些場景中,快速決策可能比更慢、也更昂貴的先進模型所提供的推論更加重要。
在發布 Jev 系列模型後,TypeSafe 成為了一家估值 75 億美元的公司,而該系列模型至今仍主導著使用量(至少從我們能看到的指標來看是這樣的,例如 OpenRouter;該服務上週處理了超過 15 億次針對 TypeSafe 模型的查詢)。
不過,決策模型其實很容易製作,Jev發布後又有數十個類似模型面世。一名亞馬遜工程師在週末就製作出了一個,隨後幾乎每家超大型雲服務供應商都有自己的選項。週二,微軟執行長薩蒂亞・納德拉表示,公司正立即在Azure上大範圍推出其決策模型Microsoft-Decision-1.1。
這一動作發生在生態系的两端:英國的創業公司今日宣佈完成300萬美元的種子前融資,該公司背後是一個名為的決策模型。聯合創始人在劍橋讀研時認識,他們原本一直在開發小型軟件,直到出現,他們意識到自己的架構可以被改造為強大的決策模型。
數據似乎是這一類別中成功模型的關鍵。TypeSafe 首席執行官 Diogo Almedia 告訴 TechCrunch,構建 Jev 最困難的部分,是運用經過統計調整的合成數據來對其判斷能力進行精細校準。Sqwish 也一直在使用合成數據,但其獨特之處在於內置的後訓練工具,可以運用客戶自己的數據來提升模型判斷能力。
「我認為不會讓我們淪為商品的,是能夠向客戶提供同樣的能力……他們可以持續上傳自己的生產數據,而就如同我們訓練模型一樣,他們的模型也能持續在他們關心的任務上變得更好,」聯合創始人兼執行長 Ushnish Sengupta 告訴 TechCrunch。
對決策模型進行排名並非易事;Sqwish的“kettei fat”模型在某些基準測試中表現不錯,但大多數該技術的開發者表示,真正的考驗在於實際效果:開發者通常可以輕鬆地將一個模型替換為另一個,然後在特定場景中觀察其表現。
「基準測試更像是邀請,邀請大家來試用模型,而持續調優才是他們應該留下的原因,」Sengupta說。
微軟的 Decision 1.1 模型同樣是在成本、延遲、智能和校準之間仔細權衡的結果。主導該項目的工程副總裁 Achint Srivastava 也同意,過度關注基準測試是一個錯誤。
「我們發現,過度追求基準分的模型在實際企業應用中很快就會失去效力,」Srivastava 在一封電子郵件中寫道。「我們的測試強調了,在單一模型中同時實現準確性、可靠性、速度和成本效率有多麼困難。Microsoft-Decision-1.1 和 Jev 是為數不多的幾個能在這四個維度上表現出色的模型之一,即使在反映實際案例的『留出』或前所未見的基準進行評估時也是如此。」
對於像 Sqwish 這樣的創業公司來說,與超大型雲服務供應商和前沿實驗室競爭反而是機會。 Freddi 預測,未來系統將會看到所謂的 System One 智能——例如決策模型——與 System Two 智能——例如前沿 LLM——協同工作。
「即便在那样的未來,System One 也許仍然是一個100億美元、500億美元的機會,而OpenAI 在從事IPO時考慮的卻是1萬億美元、2萬億美元的市場價值,」她告訴TechCrunch。「這就是我們全部關注的事情;而對他們來說,這只不過是一個副業項目。」











