Llama 3.1 带来新突破

上个月底，Meta推出了Llama 3.1 大型语言模型 (LLM) 系列。它由三个新模型组成——预先训练和指令调整的文本输入/文本输出开源生成式 AI 模型，参数数量分别为 8B、70B 和 405B。

据 Meta 称，旗舰 405B 版本是“全球最大、功能最强大的公开可用基础型号”。

开源方法和创新

首席执行官马克·扎克伯格 (Mark Zuckerberg) 倡导开源方法，并预测它最终将成为行业标准，就像 Linux 之于操作系统一样。他断言，与专有的闭源模型相比，开源 AI 模型不仅发展更快，而且具有更大的创新潜力。

Llama 3.1 的发布确实为全球 AI 社区注入了活力，围绕其潜力展开了大量讨论和探索。以下是您需要了解的内容！

先前的目标和最近的成就

今年早些时候，当第一款体型较小的 Llama 3 模型（Llama 2）发布时，Meta表示其近期目标是“让 Llama 3 具备多语言和多模式能力，拥有更长的语境，并继续提高推理和编码等 LLM 功能的整体性能”。

借助 Llama 3.1，它朝着实现这一目标迈出了一大步。LLM 尚未实现多模式，但它确实拥有新的多语言功能（西班牙语、葡萄牙语、意大利语、德语和泰语），以及扩展的工具使用和大幅增加的上下文长度。405B 模型使用超过 16,000 个 NVIDIA H100 GPU 在 15 万亿个标记的海量数据集上进行训练，比其前代模型复杂得多，功能也强大得多。

性能基准

Meta表示，Llama 3.1 405B 在多项基准测试中的表现优于 OpenAI 的 GPT-4 和 GPT-4o 以及 Anthropic 的 Claude 3.5 Sonnet。据报道，在一系列不同的任务中，它与其闭源竞争对手“不相上下”。

以下是 405B 模型与其他常用基准的尖端 LLM 的比较（未包括 Gemini，因为 Meta 难以使用Google的 API 来复制其结果）：

模型架构和设计

在介绍 Llama 3.1的博客中，Meta 指出该模型的完整训练堆栈“得到了显著优化”。设计选择优先考虑了模型开发过程的可扩展性和简单性。

例如，为了最大限度地提高训练稳定性，Llama 3.1 使用标准的仅解码器的 Transformer 模型架构，并进行了细微调整，而不是混合专家模型。Meta 还采用了迭代后训练程序，每轮都使用监督微调和直接偏好优化。结果是每次迭代都会创建出高质量的合成数据，从而增强了每项功能的性能。

405B 模型本身甚至被用来提高较小的 70B 和 8B 模型的训练后质量。

值得注意的是，为了便于对 405B 规模的模型进行大规模生产推理，Meta 从 16 位 (BF16) 转换为 8 位 (FP8) 数值。这有效地降低了计算要求并使模型能够在单个服务器节点内运行。

用户现在还可以享受更长的上下文窗口。Llama 3.1 模型的上下文长度已从 Llama 3 中的 8,192 个标记扩展到 Llama 3.1 中的 128,000 个标记。这大约是原来的 16 倍！

事实上，扩展的上下文长度现在比 GPT-4 大得多，大约等于企业用户使用 GPT-4o 获得的长度，并且与 Claude 3 的 200,000 个标记窗口相当。

最重要的是，高需求时期不会影响访问，因为 Llama 3.1 可以部署在您自己的硬件或所选的云提供商上。一般来说，也不会有广泛的使用限制。

使用和构建 Llama 3.1 405B

作为一款如此强大的机型，405B 需要大量的计算资源和开发人员的专业知识才能使用。Meta 明确表示，它希望用户能够充分利用它——利用其先进的功能并立即开始构建。以下是一些可能性：

• 实时和批量推理

• 监督微调，包括特定领域

• LLM-as-a-judge（评估你的模型是否适合你的具体应用）

• 持续预训练

• 检索增强生成 (RAG)

• 函数调用

• 合成数据生成

Meta 生成 AI 副总裁 Ahmad Al-Dahle预测，知识提炼将成为开发人员对 405B 模型的流行用途。也就是说，它可以用作更大的“教师”模型，将其知识和新兴能力提炼成更小的“学生”模型，具有更快、更经济的推理能力。

另一个例子：Al-Dahle 表示，Llama 3.1 可以与搜索引擎 API 集成，以“根据复杂的查询从互联网上检索信息，并连续调用多个工具以完成您的任务。”如果您要求该模型绘制过去五年内售出的房屋数量，“它可以为您检索[网络]搜索并生成 Python 代码并执行它。”还不错。

Llama 生态系统还为各种用例和高级工作流程提供了交钥匙指南，供任何人使用。Meta 已与 vLLM、TensorRT 和 PyTorch 等项目合作，从一开始就提供支持，让用户更容易上手。

未来趋势

最终，Llama 3.1 代表了追求开放、可访问和负责任的 AI 创新的重要飞跃。

在捷智算平台，我们非常欣赏这些开大规模语言模型的可访问性，以及周围社区的合作。我们自己的使命与让人工智能惠及每个人的理念相一致。

为此，我们很高兴能够在捷智算平台上提供开源文本生成接口 (TGI) 框架，这样您就可以提供像 Llama 3.1 这样的 LLM，并以更实惠的计算成本运行您自己的模型。