下游任务性能？斯坦福、谷歌最新研究揭秘大模

　　环境下正在全部，好地适当了实证结果（图中符号）Scaling Law 都很。期的那样正如预，巨细的补充（比方跟着微调数据集， - 实线的程序）按点线 - 虚线， 得分补充BLEU，滑且枯燥地节减交叉熵牺牲平。样同，_p 的补充（沿 x 轴）跟着预熬炼数据集巨细 D，目标都有所改良能够看到两个。

　　如例，（右上）中正在图 3，有时会低落 WMT-15 英法（en-fr）翻译职责的 BLEU 得分补充 en-MC4、de-MC4 或 ro-MC4 预熬炼数据集的巨细。预熬炼数据集来说只管对付较幼的，循（1）中的顺序它们最初不妨遵，据集和职责来说但对付这些数，越大数据下游任务性能？斯坦福、谷歌最新研究揭秘，Law 就会打垮Scaling 。而言总体，语的预熬炼数据集比拟与其他包罗必然量法，未抵达一个很好的值BLEU 得分从，与这一特定翻译职责的成家度不足这注明不包罗法语的预熬炼数据集。是但，下）中的交叉熵牺牲要是只看图 3（右，据集都市给模子带来分明的校正就会得出结论：全部预熬炼数，到预熬炼数据中它们都值得增加，个舛讹的裁夺而这会是一。

　　证推敲注明结果的实，据集仍然足够大时当微调（转移）数， 得分险些没有改良预熬炼对 BLEU。

　　还留意到推敲者，的预熬炼数据聚集正在这三个缩放断裂， 得分最低BLEU。注明这，希望带来优异的本能只消预熬炼数据集，aw 对付 BLEU 得分就实用得很好公式 (1) 中的 Scaling L。而然，Law 实用得欠好时当 Scaling ，LEU 得分总体上较低推敲者不妨会猜疑 B。此因， 好像能很好地指示预熬炼数据与特定翻译职责之间的对齐水平是否或许适当 BLEU 得分的 Scaling Law。

　　考查这一点为了更好地，3 中正在图 ，择而对齐度较低的少许预熬炼数据集推敲者更细致地推敲了因为措辞选：

　　预熬炼数据集1、给定一个，下尽不妨长工夫地举行预熬炼正在给定的揣度和工夫局部条目。熬炼查验点按期采取预，行微调对其进，据第 3.3 节的计议并记载下游本能目标（根，EU 得分而非交叉熵）推敲者推选利用 BL。

　　LEU 得分不满足要是对预测的 B，对该数据集举行预熬炼就会得出结论：不值得。EU 分数足够高要是预测的 BL，续预熬炼那么就继，BLEU 得分直抵达到目的 。

　　留意到能够，于较幼的微调数据集更有用补充预熬炼数据集巨细对。足够大时（比方当微调数据集，线）实，据集巨细奈何非论预熬炼数，或多或少维持恒定BLEU 得分。际上实，集足够大时当微调数据，模子（黑线）比拟与未经预熬炼的，练险些没有改良能够看到预训。

　　而然，翻译职责对付英法，老是如许环境并非。-（右侧）正在图 3，了 Scaling Law推敲者为英法翻译职责供给，和法文 - MC4 数据集的分别混杂此中预熬炼数据集是英文 - MC4 。较低」的预熬炼数据集他们还征求了「对齐度， 100% 罗马尼亚文 - MC4如 100% 德文 - MC4 和。讶的是令人惊，- MC4）和仅罗马尼亚文（100% 罗马尼亚文 - MC4）的预熬炼数据集能够看到对付仅英文（100% 英文 - MC4）、仅德文（100% 德文 ，ng Law 正在某一点后断裂BLEU 得分的 Scali，) 中的 Scaling Law而交叉熵牺牲老是用命公式 (2。的是意思，分缩放的断裂 —— 这暗意正在预熬炼中不征求法文数据会导致英法翻译职责中的缩放本能低浸推敲者没有正在仅法文（100% 法文 - MC4）的预熬炼数据聚集侦察到 BLEU 得，则没有这种影响但不征求英文。

　　交叉熵之间的不行家举行了 remotely related 侦察McKenzie et al. (2023) 对职责联系目标与，何跟着模子的增加而蜕化推敲了下游职责本能如，界限的补充而显示出更差的职责本能结果注明 LLM 不妨会跟着模子，结果雷同的是但与本文推敲，失并未响应出这一点枯燥递减的交叉熵损。

　　循一个枯燥递减的趋向固然交叉熵牺牲老是遵，Scaling Law 来得到这能够通过公式 (2) 中的 。练数据集巨细时但当补充预训，得分的枯燥补充（见图 2（上咱们并不总能看到 BLEU ， 3（上中）和图，））右。侦察到推敲者，生 —— 这导致与正在其他数据集上预熬炼的模子比拟这种环境只正在预熬炼数据集与翻译职责对齐度不敷时发，BLEU 得分较低这类模子总体上 。EU 得分的预熬炼模子对付微调后导致高 BL，U 得分枯燥补充总能看到 BLE，的 Scaling Law 来形容而且能够很好地用公式 (1) 中。此因，否拟合实证 BLEU 得分Scaling Law 能，翻译）职责价格的一个好的开头查验能够行为评估预熬炼数据对下游（。

　　么那太平洋在线下载职责本能？这个闭节题目很大水平上仍未取得解答Scaling Law 能不行用于预测下游。一项劳动中正在迩来的，移研习的 Scaling Law斯坦福大学和谷歌的推敲者搜索了迁。

　　LEU 得分从实证角度举行了对照推敲者还将下游交叉熵牺牲和 B，牺牲是模子下游职责本能的一个好目标由于先前的劳动假设上游或下游交叉熵。上游交叉熵牺牲的缩放作为的深远理会用命对预熬炼数据集界限的函数中的， Law 也能够形容下游交叉熵牺牲推敲者浮现了同样的 Scaling，下如：

　　EU 得分等权衡职责联系的目标职责本能指的是凿凿率和 BL，一个 token 预测目标这些目标分别于交叉熵等下。呆板翻译职责推敲者聚焦于，务微调后下游职责本能之间的闭连全体计议了预熬炼数据集巨细与任，幼和本能目标的采取表涌现除了微调数据大，练数据和下游职责之间的一概性这种闭连从根基上取决于预训。不怜惜况下也有雷同的侦察结果固然转移研习方面的诸多劳动正在，的成见和全体的 Scaling Law但本文为 LLM 的下游本能供给了新。

　　定律有三个系数需求拟合2、因为 (1) 中的，token 数、BLEU 得分）是以一朝有了三对（看到的预熬炼 ，到最佳系数就会测试找。

　　 Law 拟合得很好要是 Scaling，多举措）时对 BLEU 分数举行开头预测就能够正在补充预熬炼数据集界限（或预熬炼更。

　　得分拥有非枯燥浮现要是 BLEU ，aling Law就无法拟合 Sc。象（遵照第 3.3 节中的计议）因为非枯燥作为不妨是过错齐的迹，考查验点的 BLEU 得分推敲者提倡查验可用的最佳微，的非预熬炼模子的本能举行对照并将其与直接鄙人游职责中熬炼。

　　而然，调数据量相对较幼时当分散不足一概且微，环境下正在某些，出不精确的非枯燥作为BLEU 得分会浮现，依照幂律枯燥地抬高而下游的交叉熵仍会。结果注明这一侦察，熬炼数据与下游职责的「联系性」或下游目的本能所需的预熬炼数据巨细要是将交叉熵行为 BLEU 得分等职责联系目标的取代目标来裁夺预，导致紧要的误判正在履行中不妨会。

　　2 中正在图 ，改为 100% 英文 - MC4推敲者将全部图中的预熬炼数据集更。观上直，1 中的「多措辞对」比起来他们预期这个数据集与图 ，的对齐度较低与翻译职责，职责中的一种措辞由于它不征求翻译。确的，调数据集巨细的环境下咱们常常看到相像微， 得分更低BLEU，牺牲更高交叉熵。

　　（左侧）正在图 3，供了 Scaling Law推敲者为英 - 德翻译职责提，1-（左侧）相像）、100% 德文 - MC4、100% 法文 - MC4（对齐度较低）和 100% 罗马尼亚文 - MC4（对齐度较低）此中预熬炼数据集征求 100% 英文 - MC4（与图 2-（左侧）相像）、50% 英文 - MC4 和 50% 德文 - MC4（与图 。意注，期与翻译职责的对齐度最低结果两个预熬炼数据集预，征求这些措辞由于翻译对不。看到能够，如许只管，用于 BLEU 得分和交叉熵牺牲Scaling Law 永远适。

　　caling law（即正在预熬炼数据进步行评估）以往的大批推敲聚集于上游纷乱度或交叉熵牺牲的 S，际运用中但正在实，程：最初正在无监视数据进步行预熬炼模子常常要始末一个转移研习的过，（如编码或翻译）举行微调然后针对特定的下游职责。

　　上对 LLM 举行了预熬炼推敲者正在多措辞无监视数据集，职责中对其举行微调然后正在多个呆板翻译。试验中正在全盘，下游职责的分散一概水平）和微调数据的界限推敲者蜕化了预熬炼数据的类型（以驾驭与。

　　aw 正在任何一点上被打垮要是 Scaling L，集与下游职责的成家水平不足就会得出结论：预熬炼数据，能不会有任何便宜进一步预熬炼可。

　　1 中正在图 ，的数据集上预熬炼的模子推敲者理会了正在分别比例，+ 50% 法文 - MC4 的混杂体以及（右）50% 英文 - MC4 + 50% 罗马尼亚文 - MC4 的混杂体这些数据集征求（左）50% 英文 - MC4 + 50% 德文 - MC4 的混杂体、（中）50% 英文 - MC4 。后然，翻译数据集和（右）英 - 罗翻译数据集的分别局部进步行微调这些模子区别正在（左）英 - 德翻译数据集、（中）英 - 法。

　　味着这意，些职责对付这，集足够大时当微调数据，行模子预熬炼没有需要进。的是光荣，aw 确切预测是否会崭露这种环境咱们能够利用 Scaling L，局部上以合理的揣度本钱预熬炼模子需求做的便是正在预熬炼数据集的一幼，ng Law 的系数以优化 Scali，.4 节供给的指南然后用命论文第 3。

　　 β 为拟合系数此中 A、α 和。留意到推敲者，（从措辞 1 翻译到措辞 2）的对齐水平这些系数取决于预熬炼数据集与下游目的职责，）数据集的界限以及微调（翻译。措辞预熬炼模子的大批试验通过对多个翻译职责和多，很好地形容了 BLEU 得分的缩放推敲者注明 (1) 中的定律确实，差错较幼并且预测。

　　及「下游交叉熵随微调数据集巨细蜕化而蜕化的雷同顺序」墨守成规这与「上游交叉熵随预熬炼数据集巨细蜕化而蜕化」的雷同顺序以。

　　示预熬炼数据的巨细此中 D_p 表，是要拟合的系数A、α、β 。数据的补充跟着预熬炼，了下游交叉熵的幂推敲者进一步提出律

　　α 是需求优化的系数此中 E、A 和 。论文中正在整篇，分和交叉熵放正在一块告诉推敲者将 BLEU 得，直接对照以便举行，些环境下涌现正在一，联系性并欠好这两个目标的。 al. (2021) 的少许涌现这赞成了 Ghorbani et，和交叉熵之间纷歧概即 BLEU 得分， 所提出的（两个目标之间的）指数闭连并不老是兴办的但也注明 Gordon et al. (2021)。体地说更具，证结果注明本文的实，据集界限的补充跟着预熬炼数，减（正在妥贴的研习率下）交叉熵牺牲老是枯燥递，与职责不足一概时而当预熬炼数据，能会展现非枯燥趋向BLEU 得分可。

　　BLEU 得分第一行记载了 ，下游交叉熵牺牲第二行记载了。_f 的 Scaling Law点线）中分别微调数据集巨细 D。练」的模子（随机初始化）玄色线条对应「未经预训，集的分别局部进步行熬炼这些模子直接正在微调数据。

　　论也实用于图 2 中的结果大局部从图 1 中得出的结。如例，集足够大时当微调数据，的紧急性较幼预熬炼数据。职责（中心一栏）的 BLEU 得分一个明显的分别正在于英 - 法翻译。者涌现推敲， 和 D_f = 210M对付 D_f = 42M，巨细高出一个阈值一朝预熬炼数据集，ing Law 实质上会断裂BLEU 得分的 Scal，如预期那样缩放而交叉熵牺牲则。反直觉的这是违，的预熬炼数据集由于对付更大，分有时会低浸BLEU 得。意注， - 罗翻译职责中正在英 - 德或英，Law 的断裂并未发作这种 Scaling ，w 很好地适当了预熬炼数据由于 Scaling La，.025（δ = 0.1)）这些职责的预测差错最多为 0。

　　 Scaling Law 的存正在大模子的告捷很大水平上要归因于，界限、模子架构等策画因素之间的闭连这必然律量化了模子本能与熬炼数据，适的熬炼数据供给了珍奇的向导为模子开垦、资源分派和采取合。

　　得分缩放浮现的推敲结果连系上述对 BLEU ，了两条指南推敲者给出，对目的下游职责的价格用于评估预熬炼数据集：

　　的交叉熵和怀疑度分别与用命幂律缩放作为，亲热于对数律（log-law）推敲者涌现 BLEU 得分更大模型Scaling Law同样适用于，和图 3 中显而易见这从图 1、图 2 。此因，的函数的 BLEU 得分的 Scaling Law推敲者提出以下公式行为预熬炼数据集巨细 D_p ：

　　发实际验，一概的环境下正在分散齐全，练的补充跟着预训，叉熵都市枯燥地抬高BLEU 和下游交。环境下正在这些，以用以下对数定律很好地预测试验注明 BLEU 得分可：