幣界網消息，字節跳動正在討論訓練一個超過5萬億參數的大語言模型，希望能夠通過擴大模型規模來追趕國內外領先對手。如果計劃落實，該模型將超過阿里的2.4萬億參數和月之暗面的2.8萬億參數，成爲目前國內已知參數規模最大的模型。不過，項目仍處於早期討論階段，最終是否訓練和發布尚未確定。新模型計劃由字節跳動負責人項亮主導，與大語言模型預訓練數據負責人沈科合作。字節跳動已經開始預訓練一個最高10萬億參數的大模型，如果按上限訓練，將達到現有中國團隊中參數規模最大的模型的三倍以上。該模型目前還在預訓練階段，通常需要3至6個月，之後還要繼續後訓練，順利才能發布。張一鳴近期在字節跳動內部明確反對模仿競爭對手模型，要求團隊接受短期落後，依靠自主研發來衝擊世界第一梯隊。