
再來,在寫程式方面,FFM-Llama 2可在程式碼中保留所需的中文,而非如Llama 2以英文呈現文字內容。(如下圖)
另外,台智雲在AFS中還新添新功能,比如能提高訓練效率的LoRA(Low-Rank Adaptation),特別適合資料量不多的企業使用者,預計10月上線FFM-Llama 2、Meta Llama 2和FFM-BLOOM系列支援LoRA。另一個新功能則是BitsAndBytes,結合了LoRA和模型縮小技術,有利於模型部署於運算資源有限的裝置。(如下圖)
專攻生成式AI,重整推4大服務
吳漢章指出,早在幾年前,華碩雲端就在思考如何創新雲端服務。近期生成式AI崛起,他們看到新契機,藉由原本儲存於雲端的知識,結合生成式AI模型,就能讓模型運用這些知識,來回答用戶各種問題,就像是第二個大腦。
再加上台智雲的算力優勢,他們在今年陸續推出生成式AI 4大服務,包括用於LLM正式環境的AFS、容器服務CCS,以及用於算力和研究的OneAI、HPC。其中,台智雲在CCS容器服務中新添了生成式AI類別,內含多種基礎模型,如BLOOM、Llama 2等,使用者可快速建立生成式AI容器。該服務以GPU每小時計費,目前台智雲的計價方式為1小時58元(臺幣)。吳漢章表示,他們接下來會上架更多開源模型,以及合作夥伴所開發的模型。(如下圖)
而HPC則提供跨節點平行運算環境,來供使用者開發模型使用。此外,OneAI是一款無程式碼平臺,提供多種AI工具,適合快速嚐鮮的使用者,來快速打造模型、管理模型生命周期。(如下圖)