LeCun证明了：规模从未起作用，下一token路线效率低 - 电竞比赛前瞻

AI领域的先驱Yann LeCun始终认为，“生成式AI是一条走不通的死胡同，世界模型才是真正的未来”。

在他看来，自回归生成在数学上存在根本缺陷，文本无法承载人类绝大部分知识，真正的推理也不是基于优化的推断，衡量智能的标准应是学习新任务的速度以及在全新环境中零样本适应的能力。

基于这一观点，LeCun选择的发展路径是世界模型加上JEPA，这是一种目标驱动型架构。他最近提交的一篇论文朝着这个方向迈出了重要一步，该论文从数学层面证明了“下一token预测路线效率低下”，并提出了自己的方法，用一个仅1.09亿参数的模型超越了720亿参数的大语言模型。

一个仅观察图片的模型，与一个处理文本的大模型，是否会在内部形成相似的“概念地图”？

柏拉图表征假说（Platonic Representation Hypothesis, PRH） 由Huh等人在ICML 2024的一篇论文中提出，该假说认为，在不同模态（如视觉、语言）上分别训练的模型，随着规模增大，其内部表征会变得越来越相似，最终收敛至同一个对现实的共享统计模型。这好比柏拉图洞穴中的不同人都看到了同一个“理念世界”。然而，该假说仅有经验曲线和一个理想化对比学习器的直觉论证，既缺乏严格证明，也没有具体实现方法，行业能做的只有继续扩大规模。

这篇论文所做的，正是将这一假说转化为定理，并给出了可操作的充分条件。

论文：《Proving and Improving the Platonic Representation Hypothesis with JEPAs》 链接：https://arxiv.org/abs/2610.39302 GitHub：https://github.com/galilai-group/prh-proof

让模型从不同描述中，学到同一个场景

文本模型读到的每一句话都混合着两类信息：它描述的内容是什么，以及它是怎样描述的。例如“狗在追球”属于前者，而使用“追逐”还是“追赶”则属于后者。如果希望文本模型与图片模型形成相通表征，就需要让文本模型更多地保留场景中的内容。

但在训练时，如何告知模型哪些内容值得保留？

作者采用的方法是让模型同时学习同一场景的不同观察。当两个人描述同一张照片时，用词和句式可以变化，但场景中的主体和关系却大体一致。如果要求模型从这些描述中提取相似的表征，就能给它一个学习信号：寻找不同表达背后的共同内容。

JEPA（联合嵌入预测架构）提供了实现这一想法的途径。在本文的设置中，编码器首先将输入转换为向量，训练过程则拉近一组输入的向量。这意味着，选择哪些输入组成一组，会直接影响模型被鼓励保留什么内容。

为了让模型从文字中提取场景信息，训练时应该给它看同一场景的不同描述，还是同一句话经过截取、遮盖后得到的不同版本？作者通过对照实验比较了这两种选择。

假设一张照片中，一只狗正在草地上追球。两个人分别写下描述：“一只狗在草地上追逐皮球” 和 “草坪上的小狗正在追赶玩具”。

第一组从这两份不同描述中，分别截取片段、遮盖部分词语。例如，模型看到的可能是“狗在草地上追逐［遮盖］”和“草坪上的小狗正在追赶［遮盖］”。两句话表达不同，要让它们的向量接近，模型就需要更多地利用“草地”与“草坪”、“追逐”与“追赶”背后相通的场景内容。

第二组则只取第一句话，将其加工成两个版本，例如“一只狗在［遮盖］追逐皮球”和“一只狗在草地上追逐［遮盖］”。两份输入保留了“一只狗在”“追逐”等相同措辞，模型可以借助这些文字上的相似，让它们的向量接近。

作者将第一组称为**“好视图”（good-view），第二组称为“坏视图”（bad-view）**。这里的“视图”可以理解为训练时提供给模型的一份观察。两组采用相同的JEPA学习方式，便能考察：输入之间共享的是场景，还是某一句话的表达，会给表征带来什么差别。

“好视图”使PRH成为一个定理，并使对齐过程的样本效率提升了42倍。

这套训练还需要解决一个问题：如果模型把所有文字都转换成同一个向量，也能满足“向量接近”的要求。因此，作者加入了防止“表征坍塌”的约束，让整体表征保持分散。模型既要找到一组描述的共同内容，又不能把所有场景混为一谈。

沿着这个思路，文字与图片之间的联系也更容易理解了。措辞是文字特有的信息，拍摄角度是图片特有的信息，而场景中的主体和关系，则可能被两种观察共同保留。如果分别训练的模型都学会提取这些共同结构，它们的内部表征就有机会相通。

由一个从未接受过任何图像-文本对训练的网络生成的字幕：使用了冻结的DINOv2和DINOv3图像编码器，仅旋转一次，并采用仅基于文本微调的语言模型，每次场景变化都会生成新的字幕。

作者为此给出了数学条件。在理论构造的有限世界中，他们假设每种观察都足以确定对应的世界状态。如果不同模态的训练连接相同的世界状态关系，那么还原到世界状态后，各模型就在求解同一个优化问题。在最优解除旋转外唯一等条件下，得到的表征便只差一次整体旋转。

就像两个人各画一张地图，朝向不同，但城市间的相对位置一致，转动后就能重合。

这也引出了与下一token预测的比较：让模型预测后面的词，会给它怎样的学习信号？

为了准确续写，模型需要利用内容，也需要利用语法、措辞和文体。作者通过改写目标函数，将下一token预测纳入类似JEPA的框架，指出它连接的是同一篇文档的前缀与后续内容。这种连接保留了文档自身的表达特征。

据此，作者提出一种解释：好视图训练直接连接同一场景的不同描述；下一token预测则需要从大量语言关联中，逐渐建立这些描述之间的联系。对于形成可与视觉模型对齐的表征，后者可能需要更多数据。

实验接下来要检验的，就是这种训练信号的差别，究竟会带来多大的效果差距。

换一种训练方式，能带来多大变化？

如果前面的解释成立，那么在模型规模、训练语料相同的情况下，改变视图的选择，就应该改变模型与视觉表征的接近程度。

团队首先在Flickr30k上检验这一点。这个数据集中的每张图片都有五份人工描述，既能提供同一场景的不同表达，也能从单句描述中加工出多个版本，适合比较好视图与坏视图的差别。

研究人员使用相同的文本编码器和描述语料，分别训练好视图JEPA、坏视图JEPA，以及下一token预测模型，再与独立训练的视觉编码器比较。

如何判断它们是否学到了相近的结构？一种办法是比较各自选出的“邻居”。对于同一批图文样本，视觉模型为图片找出相近的图片，文本模型为描述找出相近的描述。如果两边选出的邻居经常对应，就说明它们组织这些场景的方式比较一致。论文使用的mutual 10-NN指标，衡量的就是这种邻域重合程度。

结果显示，好视图JEPA得到的文本表征，与视觉表征更一致。

在Flickr30k实验中，好视图JEPA在邻域重合程度及旋转映射后的图文检索指标上均领先。

不过，好视图训练还使用了一个额外信息：哪些描述属于同一张图片。提升会不会主要来自这层关联？

为此，作者将同一图片的两份描述拼接起来，交给下一token预测模型学习，结果提升仍然很小。这说明，提供相关描述之后，还需要考虑怎样用它们训练：将两份描述放在一起续写，与直接要求它们形成相近表征，带来的效果并不相同。

接下来的问题是，这种优势能否扩展到规模更大、来源更复杂的网络文本。

团队采用Recap-DataComp数据，其中每张图片对应原始替代文本，以及LLaVA生成的两份描述。这些文字提供了同一图片的多个视图，文本模型在训练中读取文字。

在这里，作者进一步比较了达到相近对齐水平所需的训练样本量。使用相同的1.09亿参数编码器、同一语料来源，好视图JEPA处理2160万训练样本后，取得了0.109的WIT对齐分数；下一token预测处理9亿样本后，取得0.111。

两组已评估结果的分数接近，样本量相差约42倍。由于好视图训练每个样本读取三份文本，按实际读取的文本token计算，差距约为14倍。这将训练方式的影响落实到了数据利用效率上。

那么，继续扩大训练，好视图JEPA能达到什么水平？

团队使用9.4亿张网络图片对应的文本，将1.09亿参数模型的训练扩大到9亿样本。在WIT-1024基准上，以DINOv2-B为视觉参照，默认配置的三次训练取得平均0.184的对齐分数，高于Qwen2.5-72B的0.154，以及Llama-3-70B的0.151。

这就是**“1.09亿参数超过720亿”**对应的具体结果：小模型学到的文本邻域结构，与这个独立训练的视觉模型更加一致。

同规模的对照再次体现了训练方式的作用。使用相同编码器、相同文本和相同训练样本数，下一token预测得到0.111，坏视图JEPA为0.088，均低于好视图JEPA的0.184。将视觉参照换成CLIP，或改用COCO测试集，好视图JEPA仍保持领先。

好视图训练在网络文本扩展实验中的表现。

至此，实验从三个层次支持了前面的解释：改变训练方式可以提高对齐水平，可以减少达到相近水平所需的样本，也可以让一个较小的模型获得比大语言模型更接近视觉模型的表征结构。

这种结构上的接近，能否进一步变成功能？

作者用图像描述任务做了展示。先训练文本解码器，让它根据文本JEPA的向量还原描述。处理图片时，再由冻结的视觉编码器提取向量，通过一个线性映射转换到文本表征空间，交给解码器生成句子。

其中，映射使用图文配对数据拟合，解码器在文字上训练。进一步组合DINOv2、DINOv3等组件后，系统在COCO上取得了0.838的CIDEr分数，该指标衡量生成描述与人工描述的一致程度。

分别学习的视觉与文本模块，由此接了起来：图片提供的场景信息，经过映射进入文本表征空间，最终被读成一句描述。

作者展示的COCO图像描述案例。分别学习的视觉与文本模块，通过映射连接起来，将图片中的场景信息转换为文字描述。

结语

对LeCun持续推进的世界模型路线而言，这篇论文在表征学习环节构筑了基础，它解释了不同模态在什么条件下可能形成共同结构，也展示了训练目标对学习效率的影响。在此基础上，这些表征能否支持可靠的预测与规划，将决定这条路线接下来能走多远。

Yann LeCun的研究为多模态模型提供了一条值得继续验证的方向。

参考内容：https://x.com/ylecun/status/2116977821088096276 本文来自微信公众号 “机器之心”（ID：almosthuman2014），编辑：Neo、 泽南 ，36氪经授权发布。