Google 前研究員 Leon Jones （Transformer 論文作者之一）與 David Ha 於東京共同成立的 AI 新創公司「Sakana AI」，近期發表了研究成果，並釋出兩種模型。

Sakana AI 導入了「進化模型合併」（Evolutionary Model Merge）通用方法，使用進化的概念以有效率的找出不同模型相互結合的最佳方法，新創認為 Hugging Face 上目前超過 50 萬個不同模型，是可以相互組合成具備新功能的新模型。

 Sakana AI 的進化模型合併方法結合了兩種不同的手法，分別為：在「資料流」層合併模型，找出不同模型各層的最佳組合，以形成新的模型；以及在「參數空間」（權重）中合併模型，也就是找出混合多個模型權重的方法。這兩種手法可同時採用，融合出創新的模型。

為了測試這項方法論， Sakana AI 以自動化的方式演化出一款能進行數學推理的日語 7B LLM「EvoLLM-JP」，此模型基準測試的分數超越了過去具 70B 參數的日語 LLM，且有趣的是模型在數學之外的語言任務也能有良好表現。

另一款演化出的模型則是日語視覺語言模型（VLM）「EvoVLM-JP」，在處理日本文化內容相關的輸入時表現很好，舉例來說，當提供模型一張出現亮著綠燈的日本街道圖，並提問「交通號誌燈亮什麼燈？」，AI 會回覆「藍色」而非綠色，因為日本會將綠燈稱為「藍燈」。

除了上述兩種模型外， Sakana AI 也演化出第三種圖像生成模型「EvoSDXL-JP」，前兩者基礎模型已在  Hugging Face 和 GitHub 上發布。

Sakana AI 用天擇的概念，將模型以創新方式相互組合

Sakana AI 表示「我們相信受天擇啟發的演化演算法，將開啟更有效合併（模型）的解方」。公司認為演化過程能找出傳統方法或人類直覺錯過的模型組合方式，進而產出新基礎模型，且可在使用者指定的應用領域中有良好表現。

Sakana 考慮到從頭開始訓練大規模基礎模型的成本正在上升中，而透過基礎模型的開源生態系，結合現有模型來發展出具意想不到能力的新模型，有望成為政府機構和企業等大型組織更具成本效益發展 AI 的方式。

公司在宣布創立時就曾分享其創立理念，AI 的未來不會由單一個需要巨大能源來訓練、運作和維護的 AI 系統，而是由大量各具自己專長的小型 AI 所組成和互動，來滿足某個利基市場。

：Chris

快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！