开源与基于商业 API 的比较：人工智能基础模型的哲学摩擦

随着基础模型领域的持续快速发展，两个主要的哲学摩擦已经浮出水面：大型模型和小型模型之间的摩擦，以及开源和基于 API 的商业发布之间的摩擦。在这篇博文中，我们将探讨这些摩擦、它们的影响以及它们对基础模型的开发和采用的未来影响。

什么是人工智能基础模型？

人工智能基础模型是机器学习模型，是广泛人工智能（AI）应用的通用基础。这些模型通常以深度学习架构为基础，在海量数据上进行预训练，并可通过相对较少的特定任务数据针对特定任务进行微调。基础模型的主要优势在于它们能够从数据中学习复杂的模式和表征，从而在各种任务和领域中表现出色。目前实施的这些模型分为两种类型：大规模和小规模。

基础模型通常使用大量训练数据构建，通常包括文本、图像、音频和视频等各种信息源。这些模型的大规模特性有助于它们学习复杂的模式和表征，从而在各种任务中取得更好的性能。

相对于大规模模型，小规模基础模型是作为人工智能应用基础的机器学习模型，但其设计在计算资源和内存占用方面更加紧凑和高效。这些模型仍然利用预训练和微调技术，但在设计上更易于使用和部署，特别是在资源有限的设备上，如手机和边缘设备。

人工智能基础模型的一些关键特征包括：

• 预训练：人工智能基础模型需要经历一个广泛的预训练阶段，在此期间，它们会从训练数据中学习通用知识。这种预训练使模型对各种领域有很强的理解能力，从而能够处理各种任务。
• 微调：在预训练之后，可以使用较少的特定任务数据，针对特定任务或领域对基础模型进行微调。这种微调过程可使模型的一般知识适应目标任务的细微差别，从而提高性能。
• 迁移学习：人工智能基础模型利用迁移学习，即把从一项任务中学到的知识应用到另一项任务（通常是相关任务）的过程。迁移学习能让基础模型在各种任务和领域中表现出色，即使特定任务的数据有限。
• 多模态：有些基础模型可以同时处理多种模态，如文本、图像和音频。这些多模态模型可以学习不同类型数据之间的复杂关系，使其能够执行需要了解多种数据模态的任务。

演变和新出现的摩擦

基础模型领域的创新正以前所未有的速度加速发展，催生了具有卓越认知能力的新型模型。随着这些模型市场的发展，出现了两大摩擦，推动了行业内的理念分歧：

1. 大规模模式与小型模式之间的摩擦
2. 基于 API 的开源发布与商业发布之间的摩擦

大规模模式与小型模式之间的摩擦

一直以来，大型基础模型在认知能力方面都优于小型模型。但最近，LLaMA 等模型以及 RLHF 变体的出现表明，较小的模型也能达到与较大模型相当的性能水平。这一发展提出了几个问题：

1. 大型模型和小型模型在性能、效率和成本方面如何权衡？
2. 小型模型能否继续缩小与大型模型的性能差距？

人工智能大规模基础模型的例子包括 OpenAI 的 GPT-3 和 4、Google 的 BERT 和 Facebook 的 RoBERTa。这些模型在自然语言处理、计算机视觉和语音识别等各种任务中表现出了令人印象深刻的性能。然而，尽管人工智能基础模型的能力令人印象深刻，但它们也引起了人们对道德问题的关注，如公平性、偏见和滥用的可能性。因此，目前的研发工作主要集中在应对这些挑战，同时继续提高人工智能基础模型的能力。

人工智能小型基础模型的例子包括谷歌的 DistilBERT、MobileBERT 和 TinyBERT；EfficientNet；SqueezeNet；Databrick 的 LLaMA；Meta 的 FastText 和 Mobile Detectron2。这些模型是人工智能应用的基础，但其设计在计算资源和内存占用方面更加紧凑和高效。这些模型仍然利用预训练和微调技术，但设计得更易于使用和部署，特别是在资源有限的设备上，如手机和边缘设备。

开放源代码与基于应用程序接口的商业发布之间的摩擦

基础模型的开源和基于 API 的发布之间的争论让人想起 iOS 和 Android 之间的争论。GPT-4、LaMDA 和 Claude 等商业 API 模型与 Dolly 2 和 Stable Diffusion 等开源模型形成了鲜明对比。这场争论的理由并不局限于商业模式，还包括以下关注点：

1. 公平性和可及性：开放源代码的发布是否能让更多利益相关者接触到最前沿的人工智能技术？
2. 安全问题：开源和基于商业应用程序接口的分发模式如何解决与滥用强大的人工智能技术相关的潜在风险？

规模与分布模型之间的相互作用

有趣的是，规模与分销模式之间的摩擦产生了两个截然不同的阵营。倾向于大型模式的供应商也往往依赖于基于商业应用程序接口的分销，而开源模式通常规模相对较小。这两大阵营的主要参与者包括

• 大型模型/基于商业 API 的分发：OpenAI、Anthropic、微软、谷歌
• 小型模式/开源分发：Databricks、Stability AI、Meta（前身为 Facebook）

基础模型的未来

随着新技术和分发模式的出现，本博文中探讨的哲学摩擦很可能会随着时间的推移而演变。我们可能很快就会看到大型模型或小型模型的开源发布，这些模型只能通过应用程序接口（API）提供。重要的是要记住，生成式人工智能不同于任何其他市场，这些摩擦将继续以独特且可能出人意料的方式影响基础模型的开发、发布和采用。

结论

大型模型和小型模型之间的摩擦，以及开源和基于商业应用程序接口的分发，正在影响着行业内基础模型的开发和采用。了解这些摩擦的影响、它们之间的相互作用以及它们对未来模型的潜在影响，对于利益相关者驾驭快速发展的生成式人工智能技术至关重要。随着市场的成熟，研究人员、开发人员和组织机构必须密切关注这些哲学摩擦，并相应地调整战略。

原文链接：Open source vs. commercial API-based: the philosophical frictions of AI foundation models