／Meta

结果显示Llama 3.1 405B在通用的IFEval、数学上的GSM8K、推论的ARC Challenge、工具使用的Nexus、长脉络的ZeroSCROLLS/QuALITY及InfiniteBench/En.MC及多语言的Multilingual MGSM基准测试上，凌驾上述所有模型。

Meta也比较了Llama 3.1 8B、Gemma 2 9B IT与Mistral 7B Instruct，以及Llama 3.1 70B、Mixtral 8x22B Instruct与GPT 3.5 Tubo，发现不管是Llama 3.1 8B及Llama 3.1 70B，在许多基准测试上都超越竞争模型。

／Meta

而在人类专家的评估中，Llama 3.1 405B与GPT-4-0125、Claude 3.5 Sonnet的表现不相上下，但明显不及GPT-4o。

／Meta

祖克柏：开源才是AI的未来

祖克柏认为，AI应该以Unix及Linux的发展作为借镜。Unix操作系统的封闭政策让基于Unix的开源Linux兴起，尽管Unix现今仍在某些专业领域或高性能环境中保持重要地位，但开源的Linux却开枝散叶，带来多元的发行版本，现在不仅已成为全球服务器的主操作系统，亦与时俱进地支持云端运算与虚拟化技术，并成为嵌入式系统及物联网设备的首选平台。

祖克柏相信AI也会以类似的方式发展。指出虽然目前有几家业者开发了领先的封闭模型，但开源模型正在迅速缩小差距。去年的Llama 2仅能与尖端模型的旧版相提并论，今年的Llama 3便能与最新的尖端模型竞争，自明年开始，未来的Llama将成为业者最先进的模型，而在实现此一目标之前，Llama已经在开放性、变更能力及成本效益上领先群伦。

相较于封闭性模型，Llama 3.1家族除了具备更好的成本与性能之外，Llama 3.1 405B模型的开放性，也让它成为微调及蒸馏出小模型的最好选择。

Meta的终极目标是让Llama如同Linux一样成为业界标准，因此已与多家业者合作以发展更完善的生态体系，包括Amazon、Databricks、Nvidia与Groq。Databricks已支持开发人员微调及蒸馏自己的模型，Groq则替所有新模型提供低延迟与低成本的推论服务，而各种云端服务已准备要协助企业采用Llama并使用自家数据训练自定义模型。

开源模型的好处之一是让企业得以根据需求、利用自家敏感数据来建置模型，而不受封闭模型供应商的箝制，其次则是在自家基础设施上以Llama 3.1 405B进行推论，成本只有使用GPT-4o等封闭模型的50%。

祖克柏强调，出售AI模型的存取权并非Meta的商业模式，因此，将Llama开源不会削弱Meta的营收、可持续性或投资研究的能力，他也相信开源将让AI模型变得更安全，在应对中国威胁时，相较于封闭所带来的限制，最好的策略是创建一个强大的开放生态体系，并让领先业者与政府及盟友密切合作，以确保可利用最新的进步，实现长期且可持续的先发优势。