登录

会员权益

获取需求

查看名片

专属客服

尊贵标识

VIP低至1.5U/天

Google发布Gemma 2,提供9B及27B两种版本

分享

支付動態

2024-06-28

Google公布与Gemini师出同门的开源轻量模型Gemma 2,除了强调性能提升,也能在单个Nvidia H100 GPU或Google TPU运行全精度的高效推论,大幅降低部署成本

Google

此外,Google表示,27B版本的Gemma 2其设计就是为了要让它能够在单个Google Cloud TPU主机,或是单个Nvidia A100 80GB Tensor Core GPU,以及单个Nvidia H100 Tensor Core GPU运行全精度的高效推论,在维持高性能的同时大幅降低成本,让开发者更容易部署AI。

因此,Gemma 2可在高级游戏笔电、高级台式机,以及云端上运行。Google建议用户可于Google AI Studio上以最高精度运行,在CPU上通过Gemma.cpp 使用量化版本来解锁本地端性能;也能通过Hugging Face Transformers,于具备Nvidia RTX或GeForce RTX的家中电脑使用。

相较于第一代,Gemma 2不仅有更高的性能、推论效率,并强化了安全,也更容易整合到用户的工作流程中,它支持Hugging Face Transformers、JAX、PyTorch及TensorFlow等AI框架,并针对Nvidia的加速基础设施进行优化,也能作为Nvidia NIM推论服务,之后也会针对Nvidia的自然语言处理解决方案NeMo展开优化。

为了打造更安全的AI应用,即日起开发者已可利用Python函数库对模型及数据进行比较评估,于程序中产生可视化的结果,此外,Google也正准备替Gemma模型开源文本浮水印技术SynthID。

Google于今年初开源第一代Gemma后,该模型已被下载超过1,000万次,其中一个Navarasa项目即利用Gemma来创建一个支持多元化印度语言的微调模型。

免责声明:
详情
HUIDU.io

GROWTH DRIVEN GLOBAL PTE. LTD. 202618650K

101 THOMSON ROAD, #28-03A, UNITED SQUARE, SINGAPORE 307591

Copyright 2026 HuiDu