Sign in

Member Benefits

Get Demands

View Business Cards

Exclusive Service

Noble Identity

AS LOW AS 1.5U /DAY

Mistral AI發表程式碼生成模型Codestral Mamba及數學推論模型Mathstral

Share

支付動態

2024-07-17

有別於Transformer模型強調自注意機制與支援複雜時空的運算能力,Mistral AI強調Codestral Mamba採用新型架構,支援線性時間推論,因此得以更有效地處理長序列,對於產生程式碼特別有效率

/Mistral AI

此外,Mistral AI也已測試多達256K Token的Codestral Mamba脈絡檢索能力,預期它可成為出色的本地端程式碼助手。

至於Mathstral 7B則是個奠基在Mistral 7B的數學推論模型,專攻科學、技術、工程及數學(STEM)相關領域的主題,將它與DeepSeek Math 7B、Llama 3 8B、GLM4 9B、QWen2 7B、Gemma2 9B進行比較,Mathstral 7B不管是在MATH、GSM8K、Odyssey Math、GRE Math、AMC 2023或AIME 2024等基準測試上都有出色的表現,而且若能擁有更多的運算資源與時間,就會有更好的推論表現。

/Mistral AI

Mathstral 7B是個預訓練模型,已可直接用來推論,亦可根據需求來微調它。

Disclaimer:
Details
HUIDU.io

GROWTH DRIVEN GLOBAL PTE. LTD. 202618650K

101 THOMSON ROAD, #28-03A, UNITED SQUARE, SINGAPORE 307591

Copyright 2026 HuiDu