登录

会员权益

获取需求

查看名片

专属客服

尊贵标识

VIP低至1.5U/天

Liquid AI發表非Transformer的AI模型

分享

支付動態

2024-10-01

由4名MIT研究人員聯合創辦的Liquid AI,利用非Transformer架構所建置的LFM基礎模型家族,宣稱在基準測試表現上,已凌駕其他相同規模的Transformer模型,包括Meta Llama、微軟 Phi、Stability Stable以及Google Gemma

/Liquid AI

其中,LFM-1.3B在許多基準測試中擊敗了1B領域的眾多好手,包括蘋果的OpenELM、Meta的Llama 3.2、微軟的Phi 1.5或是Stability的Stable LM 2,Liquid AI說,這是首次有非GPT架構的模型明顯超越Transformer模型。

而LFM-3.1B不僅超越了3B領域的各種Transformer模型、混合模型與RNN模型,甚至超越了前一代的7B與13B模型,不管是Google的Gemma 2,蘋果的AFM Edge AFM,Meta的Llama 3.2,微軟的Phi-3.5都屈居下風。

LFM-40.3B則強調模型規模與輸出品質之間的平衡,儘管擁有400億個參數,但執行時啟用120億個參數來推論,能比美比自己還大的模型,此外,其MoE架構能實現更高的吞吐量,也能部署在更具成本效益的硬體上。

現階段的LFMs擅長一般知識及專業知識,也能處理數學及邏輯推理,並可有效率地處理長文任務,主要支援英文,也支援中文、法文、德文、西班牙文、日文、韓文與阿拉伯文。較不擅長的則有零樣本的程式碼任務,精確的數值計算,具時效性的資訊,也無法計算Strawberry這個字中有多少個R,以及尚未部署人類偏好的優化。

免责声明:
详情

Please Play Responsibly:

Casino Games Disclosure: Select casinos are licensed by the Malta Gaming Authority. 18+