/arXiv:2406.11794
第二款DCLM-1B模型參數量為14億。蘋果宣稱,在Alpaca bench測試中,效能優於Hugging Face上周公布的小模型SmolLM。
蘋果最後將DCLM模型框架、高品質訓練資料集DCLM-BASELINE以及預訓練方法,都開源公布在https://datacomp.ai/dclm專案網站。
蘋果再公布二款小模型DCLM
Share

2024-07-22
蘋果發表規模分別為14億及70億參數的DCLM模型家族,號稱效能與Llama 3、Gemma或Mistral不相上下,同時更節省訓練運算資源
/arXiv:2406.11794
第二款DCLM-1B模型參數量為14億。蘋果宣稱,在Alpaca bench測試中,效能優於Hugging Face上周公布的小模型SmolLM。
蘋果最後將DCLM模型框架、高品質訓練資料集DCLM-BASELINE以及預訓練方法,都開源公布在https://datacomp.ai/dclm專案網站。

Popular selection
GROWTH DRIVEN GLOBAL PTE. LTD. 202618650K
101 THOMSON ROAD, #28-03A, UNITED SQUARE, SINGAPORE 307591