／Meta

結果顯示Llama 3.1 405B在通用的IFEval、數學上的GSM8K、推論的ARC Challenge、工具使用的Nexus、長脈絡的ZeroSCROLLS/QuALITY及InfiniteBench/En.MC及多語言的Multilingual MGSM基準測試上，凌駕上述所有模型。

Meta也比較了Llama 3.1 8B、Gemma 2 9B IT與Mistral 7B Instruct，以及Llama 3.1 70B、Mixtral 8x22B Instruct與GPT 3.5 Tubo，發現不管是Llama 3.1 8B及Llama 3.1 70B，在許多基準測試上都超越競爭模型。

／Meta

而在人類專家的評估中，Llama 3.1 405B與GPT-4-0125、Claude 3.5 Sonnet的表現不相上下，但明顯不及GPT-4o。

／Meta

祖克柏：開源才是AI的未來

祖克柏認為，AI應該以Unix及Linux的發展作為借鏡。Unix作業系統的封閉政策讓基於Unix的開源Linux興起，儘管Unix現今仍在某些專業領域或高性能環境中保持重要地位，但開源的Linux卻開枝散葉，帶來多元的發行版本，現在不僅已成為全球伺服器的主作業系統，亦與時俱進地支援雲端運算與虛擬化技術，並成為嵌入式系統及物聯網裝置的首選平臺。

祖克柏相信AI也會以類似的方式發展。指出雖然目前有幾家業者開發了領先的封閉模型，但開源模型正在迅速縮小差距。去年的Llama 2僅能與尖端模型的舊版相提並論，今年的Llama 3便能與最新的尖端模型競爭，自明年開始，未來的Llama將成為業者最先進的模型，而在實現此一目標之前，Llama已經在開放性、變更能力及成本效益上領先群倫。

相較於封閉性模型，Llama 3.1家族除了具備更好的成本與性能之外，Llama 3.1 405B模型的開放性，也讓它成為微調及蒸餾出小模型的最好選擇。

Meta的終極目標是讓Llama如同Linux一樣成為業界標準，因此已與多家業者合作以發展更完善的生態體系，包括Amazon、Databricks、Nvidia與Groq。Databricks已支援開發人員微調及蒸餾自己的模型，Groq則替所有新模型提供低延遲與低成本的推論服務，而各種雲端服務已準備要協助企業採用Llama並使用自家資料訓練自定義模型。

開源模型的好處之一是讓企業得以根據需求、利用自家敏感資料來建置模型，而不受封閉模型供應商的箝制，其次則是在自家基礎設施上以Llama 3.1 405B進行推論，成本只有使用GPT-4o等封閉模型的50%。

祖克柏強調，出售AI模型的存取權並非Meta的商業模式，因此，將Llama開源不會削弱Meta的營收、可持續性或投資研究的能力，他也相信開源將讓AI模型變得更安全，在應對中國威脅時，相較於封閉所帶來的限制，最好的策略是建立一個強大的開放生態體系，並讓領先業者與政府及盟友密切合作，以確保可利用最新的進步，實現長期且可持續的先發優勢。