
/Liquid AI
其中,LFM-1.3B在許多基準測試中擊敗了1B領域的眾多好手,包括蘋果的OpenELM、Meta的Llama 3.2、微軟的Phi 1.5或是Stability的Stable LM 2,Liquid AI說,這是首次有非GPT架構的模型明顯超越Transformer模型。
而LFM-3.1B不僅超越了3B領域的各種Transformer模型、混合模型與RNN模型,甚至超越了前一代的7B與13B模型,不管是Google的Gemma 2,蘋果的AFM Edge AFM,Meta的Llama 3.2,微軟的Phi-3.5都屈居下風。
LFM-40.3B則強調模型規模與輸出品質之間的平衡,儘管擁有400億個參數,但執行時啟用120億個參數來推論,能比美比自己還大的模型,此外,其MoE架構能實現更高的吞吐量,也能部署在更具成本效益的硬體上。
現階段的LFMs擅長一般知識及專業知識,也能處理數學及邏輯推理,並可有效率地處理長文任務,主要支援英文,也支援中文、法文、德文、西班牙文、日文、韓文與阿拉伯文。較不擅長的則有零樣本的程式碼任務,精確的數值計算,具時效性的資訊,也無法計算Strawberry這個字中有多少個R,以及尚未部署人類偏好的優化。