臺新金控在2024年臺北金融科技展上公開展示運用自行訓練的LLM打造的擬真客服人員。（攝影：李昀璇）

今年臺北金融科技展上，多家金融業者展示自家GenAI應用。臺新金控也是其中一間業者，展示包括用生成式AI升級的智慧客服、服務企金客戶的擬真客服人員、影片生成服務，和音樂生成服務等應用。

不過，臺新的亮點不僅在GenAI應用本身，而是背後運用的模型。沒有直接採用雲端現成的生成式AI服務，臺新用現成的基礎模型進行預訓練，來客製出專屬的大型語言模型。在今年臺北金融科技展上，臺新展出的客服相關應用，就是透過一個名為臺新腦的LLM打造而成。甚至，臺新金控資訊長孫一仕也喊出，預計最快年底對外推出運用臺新腦升級的智慧客服。

自行訓練LLM，靠臺新腦和工具腦分工發展GenAI客服和特定任務

臺新現有大型語言模型分為兩種，一種是臺新腦，是一個擁有370億參數量的LLM，負責「懂臺新」，發展智慧客服等應用。另一種是工具腦，包含數個參數量較小的LLM，負責處理單一工作任務，如報告生成、圖片生成、影片生成等任務。

就臺新腦來說，臺新金控資訊長孫一仕表示，他們和外部廠商合作，先運用雲端資源訓練370億參數量的LLM。訓練完成後，再將模型放置於臺新內部的地端環境運作。自今年5月，臺新就訓練出第一版臺新腦。孫一仕表示，在測試臺新腦過程中，臺新除了運用基本的中英文測試集，也運用金融專業人士的考試題目來測試「臺新腦」的金融知識。目前，臺新腦經過5輪測試，預計會再進行2輪測試。

除了運用臺新腦打造客服應用，臺新也預訓練數個參數量較小的開源大型語言模型，打造數個處理特定工作任務的「工具腦」。例如，臺新在臺北金融科技展上展出的影片生成服務和音樂生成服務，就是透過不同工具腦開發而成，而非透過臺新腦打造。

為了發展AI，臺新預估已投入約3,000萬，光是硬體資源就包含16片Nvidia H100 GPU。此外，臺新也組成一支擁有20位AI專業人員的團隊，負責訓練模型、開發應用，和將AI應用介接IT系統。並且，這支團隊也要負責和業務單位討論GenAI需求。

目前，臺新內部落地的GenAI應用分為三類，「一個是智慧客服，一個是內部知識管理，第三個是內部圖片生成。」孫一仕表示，內部正在積極和各子公司合作，預計明年將推出12支AI應用，包括智慧理專和智慧對練等對內服務。