
Llama 3 Meta 生成式AI
Meta開源最新大型語言模型Llama 3
Meta釋出新一代的開源大型語言模型Meta Llama 3,包括Llama 3 8B和Llama 3 70B兩種版本,也就是80億參數和700億參數兩種模型,將透過AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、Nvidia NIM和Snowflake等平臺提供。
Llama 3採用具12.8萬個Token詞彙的標記器,能更有效提高模型對文本的理解,另也藉分組查詢注意力(GQA)機制,以長達8,192個Token的序列來訓練模型,並用遮罩來確保模型的注意力不越界,強化推論成效。另一方面,Llama 3用15T個Token的資料來進行預訓練,其中超過5%的訓練內容為非英文資料,由將近30種語言組成。只不過,這些語言的表現並不如英文好。Meta表示,與前幾代模型相比,Llama 3因為改善了預訓練與後訓練,因此整體實用性大幅提高,大幅減少錯誤拒絕率、強化一致性和模型回答的多樣性,且不管是在推論、程式碼生成或指令遵循上,也都有所進步(詳全文)
AI助理 GitLab Duo Chat
GitLab DevSecOps開發AI助理Duo Chat上線
軟體整合開發平臺GitLab最近正式推出AI開發助理Duo Chat,付費使用者可在GitLab 16.11版中使用,透過自然語言互動來完成DevSecOps程式開發。進一步來說,Duo Chat是GitLab今年初發表的AI助理Duo Pro一部分,可為工程師或非工程背景的使用者,在整個開發生命周期中提供即時引導。比如,可向Duo Chat詢問CI/CD基礎知識、如何重新設置GitLab密碼、如何使用熱門框架等。
此外,Duo Chat也正式提供3大功能,包括解釋程式碼、程式碼重構(refactoring),也就是改善程式碼、提高品質,以及自動撰寫測試、加速除錯等。使用者可在GitLab UI或常見的IDE如VS Code、JetBrains IDE等環境,由Duo Pro外掛來使用Duo Chat,它還能整合使用者自有工具,來滿足企業開發需求。GitLab也宣布,其他Duo新功能將提供Beta版試用,包括更新的AI安全功能,如詳細解釋漏洞、自動解決、AI重點摘要和自動化範本工具。(詳全文)
多模態 xAI 語言模型
xAI也發表多模態語言模型了
由馬斯克成立的AI新創公司xAI,最近發表一套多模態語言模型Grok-1.5 Vision,很快就會提供預覽版給研究員和開發者測試。Grok-1.5 Vison(或稱Grok-1.5V)是繼3月開源基礎語言模型Grok-1、4月發表Grok-1.5後的最新研發成果,除具備文字理解能力,採用這款模型的Grok聊天機器人,現在也能處理多種視覺資訊,包括文件、圖表、示意圖、螢幕擷圖、相片等。
xAI也列出Grok-1.5V的基準測試數據,在數學、文字理解、真實世界圖片理解能力上,超越OpenAI GPT-4、Google Gemini Pro 1.5和Anthropic的Claude 3系列模型。接下來,他們將繼續優化Grok-1.5V的多模態理解能力和生成能力。(詳全文)
/Profluence、微軟、Meta、英特爾、xAI
AI近期新聞
1. 臺中榮總聯手陽明交大打造Healthcare GPT
2. Meta AI聊天機器人改用Llama 3
3. Boston Dynamics發表電動人形機器人Atlas
:iThome整理,2024年4月