登入

會員權益

獲取需求

查看名片

專屬客服

尊貴標識

VIP低至1.5U/天

Google釋出Gemma 2,提供9B及27B兩種版本

分享

支付動態

2024-06-28

Google公佈與Gemini師出同門的開源輕量模型Gemma 2,除了強調效能提升,也能在單個Nvidia H100 GPU或Google TPU執行全精度的高效推論,大幅降低部署成本

Google

此外,Google表示,27B版本的Gemma 2其設計就是為了要讓它能夠在單個Google Cloud TPU主機,或是單個Nvidia A100 80GB Tensor Core GPU,以及單個Nvidia H100 Tensor Core GPU執行全精度的高效推論,在維持高效能的同時大幅降低成本,讓開發者更容易部署AI。

因此,Gemma 2可在高階遊戲筆電、高階桌上型電腦,以及雲端上執行。Google建議使用者可於Google AI Studio上以最高精度執行,在CPU上透過Gemma.cpp 使用量化版本來解鎖本地端效能;也能透過Hugging Face Transformers,於具備Nvidia RTX或GeForce RTX的家中電腦使用。

相較於第一代,Gemma 2不僅有更高的效能、推論效率,並強化了安全,也更容易整合到使用者的工作流程中,它支援Hugging Face Transformers、JAX、PyTorch及TensorFlow等AI框架,並針對Nvidia的加速基礎設施進行優化,也能作為Nvidia NIM推論服務,之後也會針對Nvidia的自然語言處理解決方案NeMo展開最佳化。

為了打造更安全的AI應用,即日起開發者已可利用Python函式庫對模型及資料進行比較評估,於程式中產生視覺化的結果,此外,Google也正準備替Gemma模型開源文字浮水印技術SynthID。

Google於今年初開源第一代Gemma後,該模型已被下載超過1,000萬次,其中一個Navarasa專案即利用Gemma來建立一個支援多元化印度語言的微調模型。

免責聲明:
詳情
HUIDU.io

GROWTH DRIVEN GLOBAL PTE. LTD. 202618650K

101 THOMSON ROAD, #28-03A, UNITED SQUARE, SINGAPORE 307591

Copyright 2026 HuiDu