AI大模型是不是有点太多了？

上个月，AI 业界爆发了一场 “动物战争”。

一方是 Meta 推出的 Llama（美洲驼），由于其开源的特性，历来深受开发者社区的欢迎。NEC（日本电气）在仔细钻研了 Llama 论文和源代码后，迅速 “自主研发” 出了日语版 ChatGPT，帮日本解决了 AI 卡脖子难题。

另一方则是一个名为 Falcon（猎鹰）的大模型。今年 5 月，Falcon-40B 问世，力压美洲驼登顶了 “开源 LLM（大语言模型）排行榜”。

该榜单由开源模型社区 Hugging face 制作，提供了一套测算 LLM 能力的标准，并进行排名。排行榜基本上就是 Llama 和 Falcon 轮流刷榜。

Llama 2 推出后，美洲驼家族扳回一城；可到了 9 月初，Falcon 推出了 180B 版本，又一次取得了更高的排名。

有趣的是，“猎鹰” 的开发者不是哪家科技公司，而是位于阿联酋首都阿布扎比的科技创新研究所。政府人士表示，“我们参与这个游戏是为了颠覆核心玩家”[4]。

180B 版本发布第二天，阿联酋人工智能部长奥马尔就入选了《时代周刊》评选的 “AI 领域最具影响力的 100 人”；与这张中东面孔一同入选的，还有 “AI 教父” 辛顿、OpenAI 的阿尔特曼，以及李彦宏。

如今，AI 领域早已步入了 “群魔乱舞” 的阶段：但凡有点财力的国家和企业，或多或少都有打造 “XX 国版 ChatGPT” 的计划。仅在海湾国家的圈子内，已不止一个玩家 ——8 月，沙特阿拉伯刚刚帮国内大学购买了 3000 多块 H100，用于训练 LLM。

金沙江创投朱啸虎曾在朋友圈吐槽道：“当年看不起（互联网的）商业模式创新，觉得没有壁垒：百团大战、百车大战、百播大战；没想到硬科技大模型创业，依然是百模大战…”

说好的高难度硬科技，怎么就搞成一国一模亩产十万斤了？

Transformer 吞噬世界

美国的初创公司、中国的科技巨擘、中东的石油大亨能够逐梦大模型，都得感谢那篇著名的论文：《Attention Is All You Need》。

2017 年，8 位谷歌的计算机科学家在这篇论文中，向全世界公开了 Transformer 算法。这篇论文目前是人工智能历史上被引数量第三高的论文，Transformer 的出现则扣动了此轮人工智能热潮的扳机。

无论当前的大模型是什么国籍，包括轰动世界的 GPT 系列，都是站在了 Transformer 的肩膀上。

在此之前，“教机器读书” 曾是个公认的学术难题。不同于图像识别，人类在阅读文字时，不仅会关注当前看到的词句，更会结合上下文来理解。

比如 “Transformer” 一词其实可翻译成 “变形金刚”，但本文读者肯定不会这么理解，因为大家都知道这不是一篇讲好莱坞电影的文章。

但早年神经网络的输入都彼此独立，并不具备理解一大段文字、甚至整篇文章的能力，所以才会出现把 “开水间” 翻译成 “open water room” 这种问题。

直到 2014 年，在谷歌工作、后来跳槽去了 OpenAI 的计算机科学家伊利亚（Ilya Sutskever）率先出了成果。他使用循环神经网络（RNN）来处理自然语言，使谷歌翻译的性能迅速与竞品拉开了差距。

RNN 提出了 “循环设计”，让每个神经元既接受当前时刻输入信息，也接受上一时刻的输入信息，进而使神经网络具备了 “结合上下文” 的能力。

RNN 的出现点燃了学术圈的研究热情，日后 Transformer 的论文作者沙泽尔（Noam Shazeer）也一度沉迷其中。然而开发者们很快意识到，RNN 存在一个严重缺陷：

该算法使用了顺序计算，它固然能解决上下文的问题，但运行效率并不高，很难处理大量的参数。

RNN 的繁琐设计，很快让沙泽尔感到厌烦。因此从 2015 年开始，沙泽尔和 7 位同好便着手开发 RNN 的替代品，其成果便是 Transformer [8]。

相比于 RNN，Transformer 的变革有两点：

一是用位置编码的方式取代了 RNN 的循环设计，从而实现了并行计算 —— 这一改变大大提升了 Transformer 的训练效率，从而变得能够处理大数据，将 AI 推向了大模型时代；二是进一步加强了上下文的能力。

随着 Transformer 一口气解决了众多缺陷，它渐渐发展成了 NLP（自然语言处理）的唯一解，颇有种 “天不生 Transformer，NLP 万古如长夜” 的既视感。连伊利亚都抛弃了亲手捧上神坛的 RNN，转投 Transformer。

换句话说，Transformer 是如今所有大模型的祖师爷，因为他让大模型从一个理论研究问题，变成了一个纯粹的工程问题。

2019 年，OpenAI 基于 Transformer 开发出了 GPT-2，一度惊艳了学术圈。作为回应，谷歌迅速推出了一个性能更强的 AI，名叫 Meena。

和 GPT-2 相比，Meena 没有底层算法上的革新，仅仅是比 GPT-2 多了 8.5 倍的训练参数、14 倍的算力。Transformer 论文作者沙泽尔对 “暴力堆砌” 大受震撼，当场写了篇 “Meena 吞噬世界” 的备忘录。

Transformer 的问世，让学术界的底层算法创新速度大大放缓。数据工程、算力规模、模型架构等工程要素，日渐成为 AI 竞赛的重要胜负手，只要有点技术能力的科技公司，都能手搓一个大模型出来。

因此，计算机科学家吴恩达在斯坦福大学做演讲时，便提到一个观点：“AI 是一系列工具的集合，包括监督学习、无监督学习、强化学习以及现在的生成式人工智能。所有这些都是通用技术，与电力和互联网等其他通用技术类似。[10]”

OpenAI 固然仍是 LLM 的风向标，但半导体分析机构 Semi Analysis 认为，GPT-4 的竞争力源自工程解决方案 —— 如果开源，任何竞争对手都能迅速复现。

该分析师预计，或许用不了太久，其他大型科技公司也能打造出同等于 GPT-4 性能的大模型 [11]。

建在玻璃上的护城河

而在中美之外，一众较为富裕的国家也初步实现了 “一国一模”：除了日本与阿联酋，还有印度政府主导的大模型 Bhashini、韩国互联网公司 Naver 打造的 HyperClova X 等等。

眼前这阵仗，仿佛回到了那个漫天泡沫、“钞能力” 对轰的互联网拓荒时代。

正如前文所说，Transformer 让大模型变成了纯粹的工程问题，只要有人有钱有显卡，剩下的就丢给参数。但入场券虽不难搞，也并不意味着人人都有机会成为 AI 时代的 BAT。

开头提到的 “动物战争” 就是个典型案例：Falcon 虽然在排名上力压美洲驼，但很难说对 Meta 造成了多少冲击。

众所周知，企业开源自身的科研成果，既是为了与社会大众分享科技的福祉，同样也希望能调动起人民群众的智慧。随着各个大学教授、研究机构、中小企业不断深入使用、改进 Llama，Meta 可以将这些成果应用于自己的产品之中。

对开源大模型而言，活跃的开发者社群才是其核心竞争力。

而早在 2015 年组建 AI 实验室时，Meta 已定下了开源的主基调；扎克伯格又是靠社交媒体生意发的家，更是深谙于 “搞好群众关系” 这件事。

譬如在 10 月，Meta 就专程搞了个 “AI 版创作者激励” 活动：使用 Llama 2 来解决教育、环境等社会问题的开发者，将有机会获得 50 万美金的资助。

时至今日，Meta 的 Llama 系列俨然已是开源 LLM 的风向标。

截至 10 月初，Hugging face 的开源 LLM 排行榜 Top 10 中，共有 8 个都是基于 Llama 2 所打造的，均使用了它的开源协议。仅在 Hugging face 上，使用了 Llama 2 开源协议的 LLM 已经超过了 1500 个 [13]。

当然，像 Falcon 一样提高性能也未尝不可，但时至今日，市面上大多数 LLM 仍和 GPT-4 有着肉眼可见的性能差距。

例如前些日子，GPT-4 就以 4.41 分的成绩问鼎 AgentBench 测试头名。AgentBench 标准由清华大学与俄亥俄州立大学、加州大学伯克利分校共同推出，用于评估 LLM 在多维度开放式生成环境中的推理能力和决策能力，测试内容包括了操作系统、数据库、知识图谱、卡牌对战等 8 个不同环境的任务。

测试结果显示，第二名的 Claude 仅有 2.77 分，差距仍较为明显。至于那些声势浩大的开源 LLM，其测试成绩多在 1 分上下徘徊，还不到 GPT-4 的 1/4 [14]。

要知道，GPT-4 发布于今年 3 月，这还是全球同行追赶了大半年之后的成绩。而造成这种差距的，是 OpenAI “智商密度” 极高的科学家团队与长期研究 LLM 积累下来的经验，因此可以始终遥遥领先。

也就是说，大模型的核心能力并不是参数，而是生态的建设（开源）或纯粹的推理能力（闭源）。

随着开源社区日渐活跃，各个 LLM 的性能可能会趋同，因为大家都在使用相似的模型架构与相似的数据集。

另一个更直观的难题是：除了 Midjourney，好像还没有哪个大模型能赚到钱。

价值的锚点

今年 8 月，一篇题为 “OpenAI 可能会于 2024 年底破产” 的奇文引起了不少关注 [16]。文章主旨几乎能用一句话概括：OpenAI 的烧钱速度太快了。

文中提到，自从开发 ChatGPT 之后，OpenAI 的亏损正迅速扩大，仅 2022 年就亏了约 5.4 亿美元，只能等着微软投资人买单。

文章标题虽耸人听闻，却也讲出了一众大模型提供商的现状：成本与收入严重失衡。

过于高昂的成本，导致目前依靠人工智能赚了大钱的只有英伟达，顶多再加个博通。

据咨询公司 Omdia 预估，英伟达在今年二季度卖出了超 30 万块 H100。这是一款 AI 芯片，训练 AI 的效率奇高无比，全世界的科技公司、科研机构都在抢购。如果将卖出的这 30 万块 H100 叠在一起，其重量相当于 4.5 架波音 747 飞机 [18]。

英伟达的业绩也顺势起飞，同比营收暴涨 854%，一度惊掉了华尔街的下巴。顺带一提，目前 H100 在二手市场的价格已被炒到 4-5 万美金，但其物料成本仅有约 3000 美金出头。

高昂的算力成本已经在某种程度上成为了行业发展的阻力。红杉资本曾做过一笔测算：全球的科技公司每年预计将花费 2000 亿美金，用于大模型基础设施建设；相比之下，大模型每年最多只能产生 750 亿美金的收入，中间存在着至少 1250 亿美金的缺口 [17]。

另外，除了 Midjourney 等少数个例，大部分软件公司在付出了巨大的成本后，还没想清楚怎么赚钱。尤其是行业的两位带头大哥 —— 微软和 Adobe 都走的有些踉跄。

微软和 OpenAI 曾合作开发了一个 AI 代码生成工具 GitHub Copilot，虽然每个月要收 10 美元月费，但由于设施成本，微软反而要倒亏 20 美元，重度用户甚至能让微软每月倒贴 80 美元。依此推测，定价 30 美元的 Microsoft 365 Copilot，搞不好亏的更多。

无独有偶，刚刚发布了 Firefly AI 工具的 Adobe，也迅速上线了一个配套的积分系统，防止用户重度使用造成公司亏损。一旦有用户使用了超过每月分配的积分，Adobe 就会给服务减速。

要知道微软和 Adobe 已经是业务场景清晰，拥有大量现成付费用户的软件巨头。而大部分参数堆上天的大模型，最大的应用场景还是聊天。

不可否认的是，如果没有 OpenAI 和 ChatGPT 的横空出世，这场 AI 革命或许压根不会发生；但在当下，训练大模型所带来的价值恐怕得打一个问号。

而且，随着同质化竞争加剧，以及市面上的开源模型越来越多，留给单纯的大模型供应商的空间或许会更少。

iPhone 4 的火爆不是因为 45nm 制程的 A4 处理器，而是它可以玩植物大战僵尸和愤怒的小鸟。

来源：远川研究所 微信号：YuanChuanInstitution