登录

会员权益

获取需求

查看名片

专属客服

尊贵标识

VIP低至1.5U/天

中研院正式開源釋出繁中優化的Llama 2大型語言模型,正式採用Apache2.0釋出

分享

2023-10-09

中研院CKIP Lab中文詞知識庫小組,最新開源釋出了以Llama 2開發的繁中優化的大型語言模型CKIP-Llama-2-7b,並提供學術和商用,可運用在文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等。

中研院公開展示了經過多任務微調訓練的 CKIP-Llama-2-7b-chat 模型。例如,當你輸入「台灣最高的山?」,它可以回答「玉山」,甚至問他「在台灣,什麼是22K?」,模型都能夠提供相應的回答。此外,你也可以要求它針對台灣的特定主題進行討論。如「規劃一下日月潭二日遊」或是能用七言絕句吟詩作對。

其中,CKIP-Llama-2-7b使用了5.8GB資料進行預訓練,總共包含273萬筆資料,大約28億個token數。這些資料包括了中英維基百科、CommonCrawl子集、臺灣碩博士論文摘要、中央研究院漢語平衡語料庫、徐志摩詩歌全集、朱自清散文全集等內容。另外,使用純人工產生的COIG-PC資料集和dolly資料集來進行多任務微調訓練。

根據他們的測試,經過C-Eval中文模型評測結果,CKIP-Llama-2-7b-chat和CKIP-Llama-2-7b模型表現在整體平均都高於Llama2-7b、Atom-7B等模型,例如,CKIP-Llama-2-7b平均分數約37.03,高於Llama2-7b的22.26和Atom-7B 的35.95。甚至多任務微調訓練後的CKIP-Llama-2-7b-chat,平均分更高,有38.39分。

CKIP Lab小組表示,這個模型可應用於各種領域,包括文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等等。中研院搶先開放測試網頁,開放所有人測試。

除了釋出繁中優化的Llama 2模型,CKIP Lab小組在這之前還有釋出了繁體中文的transformers預訓練模型,包含ALBERT、BERT、GPT2,提供使用者試用,並以GPL-3.0授權釋出。隨著中研院繁中優化的Llama 2模型推出,將有助於加速臺灣繁中大型語言模型研究和商用的發展。

免责声明:
详情

Please Play Responsibly:

Casino Games Disclosure: Select casinos are licensed by the Malta Gaming Authority. 18+