登入

會員權益

獲取需求

查看名片

專屬客服

尊貴標識

VIP低至1.5U/天

Meta釋出擁有700億參數的Code Llama,為目前最佳開源程式碼生成模型

分享

2024-01-31

Meta發布Code Llama 70B模型,成為目前效能最佳的開源程式碼生成模型,HumanEval Pass@1測試分數達67.8%

根據Meta所更新的HumanEval Pass@1指標分數,Code Llama-70B-Instruct分數為67.8%,不只遠超過之前Code Llama-34B-Instruct的41.5%,也是目前開源模型中的最佳表現,甚至超過當初GPT-4的67.0%。

HumanEval Pass@1是專門用於評估程式碼生成模型的效能,而Pass@1是指在模型不進行任何重試的情況下,第一次嘗試就成功解決問題的機率。在對程式碼生成模型進行測試時,研究人員會提供一系列程式開發問題給模型,針對每個問題,模型只有一次機會生成解決方案,而模型所生成的解決方案,會經過一連串單元測試確認其正確性。因此Pass@1是一個重要指標,代表模型沒有多次嘗試或是人工干預的情況下解決問題的能力。

針對Code Llama 70B模型的發布,Mark Zuckerberg也特地發文並提到,撰寫和編輯程式碼已經成為人工智慧模型重要的用途之一,而且編寫程式碼的能力,也對於人工智慧模型能更嚴謹且更有邏輯地處理其他領域資訊有著重要的影響。

免責聲明:
詳情
HUIDU.io

GROWTH DRIVEN GLOBAL PTE. LTD. 202618650K

101 THOMSON ROAD, #28-03A, UNITED SQUARE, SINGAPORE 307591

Copyright 2026 HuiDu