_Elon Musk via X
這也是馬斯克年初簽署一份宣言,呼籲OpenAI等業者暫停開發進階AI語言模型,及7月宣布旗下AI公司xAI後,這位科技大亨對AI的投入成果。
Grok底層大型語言模型Grok-1,是xAI團隊四個月訓練的結果。xAI 7月問世後,團隊就訓練330億個參數的原型LLM Grok-0,強調僅用了Meta LLaMA 2一半的訓練資源就達到其能力。9月份xAI就完成了Grok-1的訓練,它在標竿測試HumanEval編程任務及MMLU中,分別達到63.2%及73%。
X引用GSM8k、MML、HumanEval、MATH的四項標竿測試數據,顯示Grok-1表現都超越OpenAI的GPT-3.5,及Inflection-1,4項測試都比它優異的只有訓練資料及資源都大得多的GPT-4。不過Google Palm2及Anthropic Claude 2也都在3個項目中超越Grok-1。
X強調Grok-1訓練過程以明確而可驗證的情境來發展理解力,以確保AI模型的安全性、穩定性,現在也具理解上下文(context)能力以提供相關答案,不過目前只支援文字輸入/輸入。團隊目前正在強化Grok-1應需求發現及檢索資訊、防止惡意濫用的能力,以及視覺及聲音輸出/輸入的支援能力。X公司說新功能會於未來幾個月內陸續公布。



2023-11-06
