登录

会员权益

获取需求

查看名片

专属客服

尊贵标识

VIP低至1.5U/天

Cerebras发表Cerebras Inference,号称全球最快AI推论解决方案

分享

支付動態

2024-08-28

Cerebras强调自家AI推论解决方案运行Llama 3.1模型的性能,比基于Nvidia GPU的大型云端解决方案快上20倍,但价格只需1/5

目前Cerebras已被视为少数能与Nvidia匹敌的竞争对手,并已计划于今年下半年首次公开发行股票。

刚上线的Cerebras Inference有免费版、开发者版及企业版,目前其免费版很慷慨地提供了每日10万次的免费推论;开发者版在Llama 3.1 8B与Llama 3.1 70B模型上每生成100万个Token的价格分别是0.1美元与0.6美元;而提供微调、客制化服务及专门支持的企业版则可直接联系Cerebras以议价。

Cerebras还比较了Cerebras Inference以及各大主要AI云端服务在基于Llama 3.1 8B模型的性能表现,发现它以每秒生成1,800个Token的速度,远远领先Groq的750个、Fireworks AI的257个、together.ai的225个、perplexity的165个、OctoAI的164个、AWS的93个,以及Azure的79个。

提供独立AI基准测试的Artificial Analysis首席执行官Micah Hill-Smith指出,Cerebras在AI推论基准测试上领先群伦,它与GPU解决方案根本是不同等级,此外,Cerebras Inference上的Llama 3.1 8B/70B达到与Meta官方一样的16bit精度成果,对于有即时及高容量要求的AI应用开发者而言特别有吸引力。

此外,推论是AI运算中成长最快的领域,约占整体AI硬件市场的70%。Cerebras形容,每秒可生成上千Token的高速推论,堪比宽带网络的问世,预告了AI应用的新时代,让开发人员能够建置需要复杂、多步骤并即时运行任务的新一代AI应用。/Cerebras Systems

免责声明:
详情
HUIDU.io

GROWTH DRIVEN GLOBAL PTE. LTD. 202618650K

101 THOMSON ROAD, #28-03A, UNITED SQUARE, SINGAPORE 307591

Copyright 2026 HuiDu