登入

會員權益

獲取需求

查看名片

專屬客服

尊貴標識

VIP低至1.5U/天

台智雲揭企業級LLM服務新進展,9月底將上線3種繁中優化的Llama 2模型

分享

2023-09-22

華碩子公司台智雲揭露新進展,要在企業級大型語言模型服務AFS中納入更多模型,包括以繁中資料強化的FFM-Llama 2 7B、13B和70B版本,預計9月底上線。

再來,在寫程式方面,FFM-Llama 2可在程式碼中保留所需的中文,而非如Llama 2以英文呈現文字內容。(如下圖)

另外,台智雲在AFS中還新添新功能,比如能提高訓練效率的LoRA(Low-Rank Adaptation),特別適合資料量不多的企業使用者,預計10月上線FFM-Llama 2、Meta Llama 2和FFM-BLOOM系列支援LoRA。另一個新功能則是BitsAndBytes,結合了LoRA和模型縮小技術,有利於模型部署於運算資源有限的裝置。(如下圖)

專攻生成式AI,重整推4大服務

吳漢章指出,早在幾年前,華碩雲端就在思考如何創新雲端服務。近期生成式AI崛起,他們看到新契機,藉由原本儲存於雲端的知識,結合生成式AI模型,就能讓模型運用這些知識,來回答用戶各種問題,就像是第二個大腦。

再加上台智雲的算力優勢,他們在今年陸續推出生成式AI 4大服務,包括用於LLM正式環境的AFS、容器服務CCS,以及用於算力和研究的OneAI、HPC。其中,台智雲在CCS容器服務中新添了生成式AI類別,內含多種基礎模型,如BLOOM、Llama 2等,使用者可快速建立生成式AI容器。該服務以GPU每小時計費,目前台智雲的計價方式為1小時58元(臺幣)。吳漢章表示,他們接下來會上架更多開源模型,以及合作夥伴所開發的模型。(如下圖)

而HPC則提供跨節點平行運算環境,來供使用者開發模型使用。此外,OneAI是一款無程式碼平臺,提供多種AI工具,適合快速嚐鮮的使用者,來快速打造模型、管理模型生命周期。(如下圖)

免責聲明:
詳情

Please Play Responsibly:

Casino Games Disclosure: Select casinos are licensed by the Malta Gaming Authority. 18+