新智元报说念jk 白丝

裁剪：Aeneas 好困

【新智元导读】Transformer处分了三体问题？Meta询查者发现，132年前的数学难题——发现全局李雅普诺夫函数，不错被Transformer处分了。「咱们不以为Transformer是在推理，它可能是出于对数常识题的真切长入，产生了超等直观。」AI不错搞基础数学询查了，陶哲轩预言再成真。

三体问题，竟被Transformer处分了？

发现全局李雅普诺夫函数，依然困扰了数学家们132年。

看成分析系统随时间理会性的要津器具，李雅普诺夫函数有助于预计动态系统行径，比如知名的天膂力学三体问题。

它是天膂力学中的基本力学模子，指三个质料、驱动位置和驱动速率齐是即兴的可视为质点的天体，在相互之间万有引力作用下的理会规矩问题。

当今已知，三体问题不行精准求解，无法预计整个三体问题的数学景况。（「三体东说念主」的逆境，便是三体问题的一个顶点案例。）

当今，Meta AI处分了这个问题。面前，论文已被NeurIPS 2024收受。

论文地址：https://arxiv.org/abs/2410.08304

今天，论文发布十几天后，AI社区再度被它刷屏。

意旨的是，这篇论文在斥逐呼应了这个问题，作念了极其精彩的论说——

从逻辑和推理的角度来看，有东说念主以为打算和高级次的推理可能是自回想Transformer架构的固有限制。联系词，咱们的询查结果标明，Transformer如实不错通过尽心采选磨练样本，而非革新架构，来学会处分一个东说念主类通过推长入决的复杂符号数常识题。咱们并不以为Transformer是在进行推理，而是它可能通过一种「超等直观」来处分问题，这种直观源自对数常识题的真切长入。

天然这个系统化的顺序仍是一个黑箱，无法阐扬Transformer的「想维经过」，但处分有筹划明确，且数学正确性不错得到考据。

Meta询查者暗示：生成式AI模子不错用于处分数学中的询查级问题，为数学家提供可能解的推测。他们信服，这项询查是一个「AI处分数学绽放问题」的蓝图。

无论怎样，陶哲轩和今天的这项询查齐已讲解，无论LLM究竟会不会推理，它齐依然透顶改动数学这类基础科学的询查范式。

那些在历史长河中的未解数学之谜，破解谜底的一天概况依然离咱们无比接近。

Transformer处分132年前数学难题

全局李亚普诺夫函数，按捺着能源系统的理会性。它会掂量一个脱手接近均衡的系统，是否会弥远保执接近均衡（或偏离均衡）？

其中最知名的案例，便是「三体问题」了。

轨迹可能很复杂，但只须从红球脱手，它们最终齐会留在蓝球的位置

1892年，李亚普诺夫讲解，如若不错找到一个函数V，在均衡时具有严格的最小值，在无限大时具有无限大，况兼梯度弥远指向隔离系统梯度的主义，那么全局理会性就能得到保证。

缺憾的是，他未能提供寻找函数V的顺序。

好在，一百多年后，大模子出现了。

当年，不存在寻找李亚普诺夫函数的通用顺序，当今LLM是否能处分？

询查者们惊喜地发现，我方的模子发现了两个理会系统，以及联系的李雅普诺夫函数。

为此，Meta AI询查者引入一种后向生成技艺来磨练模子。这项技艺字据Lyapunov函数创建能源系统，而这些系统的分散与咱们履行想要处分的问题不同。

尽管模子必须在分散外进行泛化，但使用逆向生成数据磨练的模子，在不错用数值器具求解的多项式系统测试集上仍能赢得考究的性能。

通过向后向磨练蚁集添加极少（0.03%）简便且可处分的“前向”示例，性能就得到极大提高。这种「启动模子」大大优于来源进的顺序。

在理会性未知的一组当场能源系统上，询查者测试了我方的模子，发当今10%到13%的情况下，齐能找到新的新的李亚普诺夫函数。

在这项任务上，这些增强的模子在各式基准测试中大大超过了来源进的技艺和东说念主类阐扬。

它们的准确率进步80%，但硕士生级别的东说念主类数学家在这项任务上的准确率不到10%。

终末，询查者测试了模子在当场生成系统中发现未知李雅普诺夫函数的能力。

在多项式系统中（现时线法独一能处分的系统），模子为10.1%的系统找到了李雅普诺夫函数，而来源进的技艺仅为2.1%。

在非多项式系统中（现时莫得已知算法），最好模子为12.7%的系统发现了新的李雅普诺夫函数。

系统带悟性与李雅普诺夫函数

发现按捺能源系统全局理会性的李雅普诺夫函数，是一个耐久存在但易于体式化的数学绽放问题。

这个函数代表着其时间趋于无限时，其解相关于均衡点或轨说念的有界性。

能源系统的理会性是一个复杂的数常识题，眩惑了很多代数学家的兴味，从18世纪的牛顿和拉格朗日，到20世纪询查三体问题的庞加莱。

评估理会性的主要数学器具是由李雅普诺夫提倡的，他在1892年讲解，如若不错找到一个递减的近似熵的函数——李雅普诺夫函数，无毛嫩萝莉小鸟酱那么系统便是理会的。

系统带悟性

全局渐进理会性

自后，李雅普诺夫函数的存在被讲解是大系统带悟性的必要条目。

灾荒的是，面前尚无已知顺序不错在一般情况下推导出李雅普诺夫函数，已知的李雅普诺夫函数仅适用于少数系统。

事实上，130年后，系统推导全局李雅普诺夫函数的顺序仅在少数特殊情况下已知，而在一般情况下的推导仍然是一个知名的绽放问题。

为此，询查者提倡了一种从当场采样的李雅普诺夫函数中生成磨练数据的新技艺。

在这些数据集上磨练的诳言语模子中的序列到序列Transformer，在保留测试集上竣事了接近完好意思的准确率（99%），并在分散外测试集上阐扬出很高的性能（73%）。

实验确立

在这项责任中jk 白丝，询查者磨练了序列到序列的Transformer，来预计给定系统的李雅普诺夫函数（如若存在）。

他们将问题框定为翻译任务：问题和处分有筹划被暗示为符号token的序列，模子从生成的系统和李雅普诺夫函数对中进行磨练，以最小化预计序列与正确处分有筹划之间的交叉熵。

为此，询查者磨练了具有8层、10个庄重力头和镶嵌维度为640的Transformer，批大小为16个样本，使用Adam优化器，学习率为10^−4，驱动线性预热阶段为10，000次优化顺序，并使用反平时根诊治。

整个实验在8个32GB内存的V100 GPU上运行，每个epoch处理240万样本，共进行3到4个epoch。每个GPU的磨练时间在12到15小时之间。

数据生成

询查者将模子在大型数据集上进行磨练和测试，这些数据集由理会系统过火联系的李雅普诺夫函数对构成。

采样此类理会系统有两个难点。

领先，大盛大能源系统是不理会的，况兼莫得通用的顺序不错决定一个系统是否理会。

其次，一朝采样到一个理会系统，除了特定情况下，莫得通用的技艺不错找到李雅普诺夫函数。

在本文中，询查者依赖于反向生成，通过采样处分有筹划并生成联系问题来处理一般情况，以及正向生成，通过采样系统并使用求解器诡计其处分有筹划，来处理小度数的可处理多项式系统。

反向生成

反向生成顺序，从处分有筹划中采样问题，唯有在模子能够幸免学习逆转生成经过或“读取”生成问题中的处分有筹划时才灵验。

举例，当磨练模子处分求整数多项式根的难题时，东说念主们不错简约从其根（3、5、7）生成多项式：

联系词，如若模子是从P(X)的因式分解体式进行磨练的，它将学会读取问题的根，而非诡计它们。

另一方面，简化体式

也并未提供任何陈迹。

反向生成的第二个艰辛是，对处分有筹划而非问题进行采样，会使磨练分散产生偏差。

为此，询查者提倡了一种从当场李雅普诺夫函数V生成理会系统S的经过。

经过以上六步，产生了一个理会系统S：ẋ=f(x)，其中V看成其Lyapunov函数。

正向生成

尽管在一般情况下理会性问题尚未处分，但当多项式系统的李雅普诺夫函数存在并不错写成多项式的平时和时，已有顺序不错诡计这些函数。

这些多项式复杂度的算法关于袖珍系统非凡高效，但跟着系统限制的增长，其CPU和内存需求会急剧加多。

询查者期骗这项算法，来生成前向数据集。

这种顺序也有几个局限性，限制了该顺序不错处分的多项式系统的类别。

数据集

询查者生成了两个用于磨练和评估目的的反向数据集和两个正向数据集，以及一个较小的正向数据集用于评估目的。

结果

询查者在不同数据集上磨练的模子，在保留测试集上赢得了接近完好意思的准确率，况兼在分散外测试集上阐扬非凡出色，非凡是在用极少正向示例增强磨练集时。

它们大大超过了现时来源进的技艺，况兼还能发现新系统的李雅普诺夫函数。以下是这些结果的详备信息。

分散内和分散外的准确率

在本节中，询查者展示了在4个数据集上磨练的模子的性能。

整个模子在域内测试中齐赢得了高准确率，即在它们磨练所用数据集的留出测试集上进行测试时。

在正向数据集上，粉碎函数预计的准确率进步90%，李雅普诺夫函数的准确率进步80%。

在反向数据集上，磨练于BPoly的数据集的模子简直达到了100%的准确率。

询查者庄重到，束搜索，即允许对解进行屡次推测，显赫提高了性能（关于阐扬较差的模子，束大小为50时进步了7到10%）。

在整个后续实验中，询查者齐使用了50的束大小。

对生成数据磨练的模子的试金石，是其分散外（OOD）泛化能力。

整个反向模子在测试正向生成的当场多项式系统（具有平时和李雅普诺夫函数）时，齐赢得了高准确率（73%到75%）。

最好性能由非多项式系统（BNonPoly）竣事，这是最种种化的磨练集。

反向模子在具有粉碎函数的正向生成系统集（FBarr）上的较低准确率，可能是因为很多粉碎函数不一定是李雅普诺夫函数。在这些测试集上，反向模子必须吩咐不同的分散和略有不同的任务。

另一方面，正向模子在反向测试集上的阐扬较差。这可能是由于这些磨练集的限制较小。

总体而言，这些结果似乎证据了反向磨练的模子并未学习回转其生成经过。如若是这么，它们在正向测试集上的阐扬将接近于零。它们还表现了考究的OOD准确率。

通过丰富磨练分散来提高性能

为了提高反向模子的OOD性能，询查者在其磨练蚁集加入了一小部分正向生成的示例。

值得庄重的是，这带来了显赫的性能进步。

将300个来自FBarr的示例添加到BPoly中后，FBarr的准确率从35%提高到89%（尽管磨练蚁集正向示例的比例仅为0.03%），并使FLyap的OOD准确率提高了10多个百分点。从FLyap添加示例带来的考订较小。

这些结果标明，在反向生成数据上磨练的模子的OOD性能，不错通过在磨练蚁集加入极少咱们知说念若那边分的示例（几十或几百个）来大大提高。

在这里，非常的示例处分了一个较弱但联系的问题：发现粉碎函数。因为所需示例数目很少，因而这种技艺非凡具有资本效益。

与现时来源进的基线比较

为了给模子提供基线，询查者开荒了findlyap，这是MATLAB的SOSTOOLS中的李雅普诺夫函数查找器的Python对应版块。

他们还引入了FSOSTOOLS，这是一个包含1500个整数所有这个词多项式系统的测试集，具有SOSTOOLS不错求解的整数所有这个词。

询查者还测试了基于AI的器具，举例Fossil 2、ANLC v2和LyzNet。

这些顺序在测试集上赢得了较低的准确率。这可能是因为这些器具旨在处分不同的问题：发现局部或半全局李雅普诺夫函数（并可能寻找按捺函数），而询查者的筹划是全局李雅普诺夫函数。

表5比较了findlyap和基于AI的器具以及询查者模子在整个可用测试集上的阐扬。

一个在BPoly上磨练并补充了500个来自FBarr的系统的模子（PolyMixture）在FSOSTOOLS上达到了84%的准确率，证据了羼杂模子的高OOD准确率。

在整个生成的测试集上，PolyMixture的准确率齐进步了84%，而findlyap在反向生成的测试集上仅达到了15%。

这标明，在多项式系统上，从反向生成数据磨练的Transformer模子，比拟于之前的来源进技艺赢得了非凡强的结果。

平均而言，基于Transformer的模子也比SOS顺序快得多。

当尝试处分一个包含2到5个方程的当场多项式系统时，findlyap平均需要935.2秒（超时为2400秒）。

关于询查者的模子，使用贪念解码进行一个系统的推理和考据平均需要2.6秒，使用束大小为50时需要13.9秒。

探索未知鸿沟：发现新的数学

此次询查的最终筹划，便是发现新的李雅普诺夫函数。

为了测试模子发现新的李雅普诺夫函数的能力，询查者生成了三个当场系统的数据集：

- 包含2或3个方程的多项式系统（Poly3）

- 包含2到5个方程的多项式系统（Poly5）

- 包含2或3个方程的非多项式系统（NonPoly）

关于每个数据集，生成100，000个当场系统，比肩斥那些在x^∗ = 0处局部指数不理会的系统，因为系统的雅可比矩阵具有实部严格为正的特征值。

然后，将findlyap和基于AI的顺序与两个在多项式系统上磨练的模子进行比较：FBarr和PolyM（ixture）——BPoly与来自FBarr的300个示例的羼杂——以及一个在BPoly、BNonPoly和来自FBarr的300个示例的羼杂上磨练的模子（NonPolyM）。

在多项式数据集上，最好模子（PolyM）为11.8%和10.1%的（3阶和5阶）系统发现了李雅普诺夫函数，比findlyap多出十倍。关于非多项式系统，李雅普诺夫函数在12.7%的示例中被找到。

这些结果标明，从生成的数据集和李雅普诺夫函数磨练的诳言语模子如实能够发现尚未知的李雅普诺夫函数，况兼阐扬远高于现时来源进的SOS求解器。

模子找到正确处分有筹划的百分比

巨匠迭代

接下来，询查者为多项式系统创建了一个经过考据的模子预计样本，FIntoTheWild，将其添加到原始磨练样本中，并不竭磨练模子。

n1：添加20，600个样本，分袂来自BPoly（20，000）、FBarr（50）、FLyap（50）和FIntoTheWild（500）

n2：添加2，000个样本，分袂来自FLyap（1，000）和FIntoTheWild（1，000）

n3：添加50个来自FIntoTheWild的样本

n4：添加1，000个来自FIntoTheWild的样本

n5：添加2，000个来自FIntoTheWild的样本

n6：添加5，000个来自FIntoTheWild的样本

此外，询查者还从新脱手再行磨练一个模子（n7），使用BPoly（1M）、FBarr（500）、FLyap（500）和FIntoTheWild（2，000）的羼杂。

不同微调政策下，模子在前向基准和「探索未知鸿沟」中的阐扬

不错看到，向100万磨练集添加1，000个经过考据的预计可将「探索未知鸿沟」测试集的性能提高约15%，同期不会影响其他测试集（n4）。

而添加更种种本似乎是无益的，因为它镌汰了其他基准的性能（n5和n6）。

此外，使用来自其他分散的羼杂数据进行微调恶果不高（n1和n2），而极少孝顺依然有助于赢得一些考订（n3）。

终末，从新脱手使用FIntoTheWild的数据预磨练模子恶果不高（n7）。

Transformer不会推理，但有「超等直观」

这项询查依然讲解，模子不错通过生成的数据集进行磨练，以处分发现理会能源系统的李雅普诺夫函数。

关于当场多项式系统，询查者的最好模子不错在五倍于现存来源进顺序的情况下，发现李雅普诺夫函数。

它们还不错发现非多项式系统的李雅普诺夫函数（面前尚无已知算法），况兼能够再行发现由Ahmadi等东说念主发现的多项式系统的非多项式李雅普诺夫函数。

询查者也承认，责任仍有一些局限性。

由于莫得已知的顺序来判断当场系统是否理会，他们缺少非多项式系统的考究基准。

此外，本文询查的整个系统齐相对较小，多项式系统最多为5个方程，非多项式最多为3个方程。

他们信服，彭胀到更大的模子应该有助于处理更大、更复杂的系统。

终末，这项责任不错彭胀到探究非多项式系统的界说域。

总之，这项责任在两个方进取具有更豪迈的影响：Transformer的推理能力，以及AI在科学发现中的潜在作用。

参考贵府：

https://arxiv.org/abs/2410.08304