企业面临着将人工智能融入其产品的压力。当为此考虑大型语言模型 (LLM)时，选择通常归结为开源与闭源选项。

LLM 是先进的机器学习模型，旨在根据给定的提示理解和生成类似人类的文本。本指南将帮助您权衡开源和闭源 LLM 的优缺点。它涵盖了可用性、成本、知识产权、安全措施等。此外，您还将了解这两个领域的当前形势、道德考量以及主要的开源 LLM。

鉴于该领域的许可和技术兼容性的快速发展，在最终做出决定之前咨询技术和法律专家至关重要。

一、大型语言模型的现状

Databricks、斯坦福和德国非营利组织 LAION等组织正在努力使 LLM 的获取变得民主化，与 ChatGPT 等专有模型形成鲜明对比。这一努力引发了关于人工智能模型是否应该免费提供或受版权保护的争论，引发了对开源 LLM 的道德和安全担忧。

GPT-4的发布加剧了开源争论，其中包括一份技术报告，但隐瞒了模型架构、硬件或训练方法的细节。批评者认为，这种缺乏透明度的做法给人一种开放的假象。OpenAI 曾经是开源的倡导者，但现在却以安全问题为由，拒绝公开模型。

开源 AI 为 AI 的发展做出了巨大贡献，许多流行的 LLM 都是基于 Transformers 等开源架构构建的。然而，公司转向专有商业模式引发了人们对透明度和可访问性的担忧，从而增加了开源替代方案的受欢迎程度。

未来的生态系统可能会提供多种选择，开放程度各不相同，以达到适当的平衡。开源模型支持的研究至关重要，尽管较小的开源 LLM（如 Vicuna）可能不如 ChatGPT 等针对特定应用的专有解决方案那么先进。

二、开源 LLM 和 AI 模型

开源 LLM 是具有可公开访问源代码的语言模型，任何人都可以自由使用、修改和分发。这些模型促进了协作、透明度和社区参与。开发人员、研究人员和爱好者可以积极为其开发、增强和定制做出贡献。它们的开源性质促进了更大的创新、知识共享和集体进步。

三、闭源 LLM 和 AI 模型

闭源 LLM 是源代码不对外公开的语言模型。这些模型由组织或公司开发和维护，属于专有，不对公众开放。闭源 LLM 通常以商业产品的形式提供，使用闭源 LLM 往往需要许可证或订阅。闭源 LLM 的架构、训练数据和算法的细节通常不对外公开。

四、开源与闭源之争

深度学习架构（尤其是 Transformer）的进步，以及 Google Books 和 Common Crawl 等海量数据集的出现，推动了大型语言模型 (LLM) 的重大进步。到 2018 年，OpenAI 的生成式预训练 Transformer (GPT-2) 展示了令人印象深刻的文本生成能力，引起了广泛关注。由于 GPT-2 的公开发布和功能，它通常被认为是 LLM 开发的一个里程碑。

然而，GPT-2 并非完全开源。OpenAI 出于对潜在滥用的担忧，选择了受控发布，这引发了关于 LLM 开发中开源与闭源方法优劣的争论。

五、LLM 是开源的还是闭源的有关系吗？

是的，因为 LLM 的授课方式（无论是开放式还是封闭式）都会影响以下三个关键因素：

• 创新速度与定制

• 可达性和费用

• 数据安全

这些因素影响哪种模式最适合您的业务。

让我们详细探讨每一个，以及它们在开源和闭源模型之间的区别。

1. 创新速度与定制化

开源 LLM 允许更大程度的定制，并具有更快创新的潜力。

开源大型语言模型

• 定制：公司可以定制和微调模型以满足他们的需求。

• 快速创新：开放访问使企业能够快速创新，将技术与其他系统集成，而无需等待供应商更新。

• 社区支持：开发人员分享进步，加速创新进程。

闭源大型语言模型

• 有限的定制：定制选项通常受到限制。

• 先进的解决方案：利用大量资源开发，提供尖端的性能或独特的功能。

• 供应商依赖：由于依赖供应商更新，创新可能会变得更慢。

2. 可达性和成本

开源和闭源模型的成本和可访问性各不相同。

例如，ChatGPT-4（闭源）每百万个代币输入的成本约为 10 美元，每百万个代币输出的成本约为 30 美元，而 Llama-3-70-B（开源）每百万个代币输入的成本约为 60 美分，每百万个代币输出的成本约为 70 美分，这使其成本大约便宜 10 倍，而性能差异却很小。

开源大型语言模型

• 降低成本： Llama-3-70-B 等型号可显著节省成本。

• 广泛的可访问性：较低的成本使更多开发人员可以使用先进的AI功能。

• 定制投资：开发人员可能需要在定制和维护方面进行投资。

闭源大型语言模型

• 许可费用：通常伴随着更高的成本，包括更新和支持的持续费用。

• 支持服务：这些费用可能由供应商提供的支持和维护来证明是合理的，以确保有效性和安全性。

3.数据安全

如果数据安全是首要任务，那么最好使用开源 LLM 或基础设施内自建的闭源模型。

开源大型语言模型

• 增强控制：在私有云上部署可以更好地控制安全措施和数据隐私。

• 定制安全：组织可以实施定制的安全协议。

• 透明度：允许进行彻底的审计和持续的安全改进。

闭源大型语言模型

• 供应商管理的安全性：为没有大量 IT 资源的公司提供安心。

• 合规认证：供应商可能会提供遵守法规所需的认证。

• 可见性有限：公司对潜在漏洞的了解较少，必须依赖供应商提供安全更新。

六、比较表：开源与闭源大型语言模型

七、评估开源和闭源大型语言模型 (LLM) 的商业影响

创新、可访问性和安全性至关重要，但您还必须考虑可扩展性、成本、集成和定制，以最好地满足您的需求。

下面，我们提供了易于阅读的表格，以帮助您了解每种模型如何在这些因素下影响您的业务。

1.可扩展性和成本

考虑短期和长期使用 LLM。随着您的成长，封闭模型的用例是否会变得不足？您能承担扩展开源模型相关的成本吗？

2. 集成与定制

评估您团队的技术能力和定制解决方案的重要性。您的工作流程是否需要开源模型能够提供的定制 AI 功能，或者您是否更喜欢简化的、随时可用的解决方案以最大限度地减少技术开销？

八、为什么我们认为开源大型语言模型是最好的

大学在分享研究和代码方面有着悠久的传统，这自然也延伸到了人工智能和大型语言模型课程中。这种开放的合作精神植根于 Linux 等开源运动的成功，这些运动展示了社区驱动开发的力量。受此启发，研究人员和开发人员已开始采用开源方法攻读大型语言模型课程。

众多研究团队和独立开发者为开源 LLM 生态系统做出了巨大贡献。这种协作努力正在扩大可用模型的种类，例如 OpenAI GPT-J、Meta AI Llama、EleutherAI Jurassic-1 Jumbo 和 Hugging Face Transformers。一个充满活力的开发者和公司社区不断增强开源 LLM 格局。

这个领域发展迅速，新模型不断开发和发布。Hugging Face Transformers 库提供了 100 多个预训练模型，许多独立项目也在不断推出新的开源 LLM。

最近的报告显示，人们对开源大型语言模型的偏好日益增长。根据 a16z.com 数据显示，41% 的受访企业计划增加对开源模型的使用，而非封闭模型。另有 41% 的企业表示，如果其性能与封闭模型相当，则会转向开源模型，而只有 18% 的企业不打算增加对开源 LLM 的使用。

如果这些预测成立，我们可能会看到行业趋势发生重大转变。到 2023 年，市场将以 80%-90% 的份额由闭源模型主导，而开放模型和闭源模型之间的分布可能很快就会更加均衡。

结论

总之，在开源和闭源大型语言模型 (LLM) 之间做出选择是一项关键决策，它会影响创新、成本、可扩展性、安全性和企业内部集成。开源 LLM 提供无与伦比的定制化、社区驱动的创新和成本效益，使其成为具有技术专长以发挥其潜力的组织的一个有吸引力的选择。它们还符合学术和研究机构的协作精神，有助于实现 AI 技术的民主化。

另一方面，闭源 LLM 提供现成的解决方案，并具有强大的支持和维护，这对于寻求简化实施和供应商管理安全性的企业来说非常有价值。虽然它们成本较高且提供有限的定制，但对于缺乏管理开源模型资源的公司来说，它们通常更容易获得。

随着 LLM 格局的不断发展，开源社区和商业实体的贡献不断增加，未来可能会看到一个更加平衡的生态系统。开源模型的不断发展，加上企业兴趣的不断增长，表明开源 LLM 可能会转向更广泛地采用，只要它们能够满足性能预期。最终，最佳选择取决于公司的具体需求、技术能力和长期目标，强调在做出决定之前仔细评估和咨询专家的重要性。