??在应战写语文作文后，AI如今又盯上了高考英语。

成果好家伙，本年高考英语卷（全国甲卷）一上手，就拿了134分。

而且不是偶尔的超凡发扬。

在2021-2021年的10套真题查验中，AI的分数都在125分以上，最高纪录为138.5分，听力和阅览了解还拿过满分。

这就是由CMU专家提出的，高考英语查验AI体系Qin。

它的参数量只需GPT-3的16分之一，均匀成果却比GPT-3高出15分。

其不和的诀窍名叫重构预练习 （reStructured Pre-training），是作者提出的一种新学习范式。

具体来看，就是把维基

百科、YouTube等平台的信息从头获取重构，再喂给AI进行练习，由此让AI具有更强的泛化才能。

两位专家用足足100多页的论文，深化说明了这一新范式。

那么，这一范式究竟讲了啥？

咱们来深扒一下~

啥是重构预练习？

论文标题很简略，就叫reStructured Pre-training（重构预练习，RST）。

中心观念凝练来说就是一句话，要注重数据啊！

作者认为，这个世界上有价值的信息无处不在，而当前的AI体系并没有充分使用数据中的信息。

比方像维基百科，Github，里边包括了各种可以供模型学习的信号：实体，联络，文本摘要，文本主题等。这些信号之前因为技能瓶颈都没有被思考。

所以，作者在这篇文章中提出了一种办法，可以用神经网络共同地存储和造访包括各品种型信息的数据。

他们以信号为单位、规划化地标明数据，这很类似于数据科学里咱们常常将数据规划成表或JSON格局，然后经过专门的言语（如SQL）来检索所需的信息。

具体来看，这儿的信号，其实就是指数据中的有用信息。

比方在“莫扎特生于萨尔茨堡”这句话中，“莫扎特”、“萨尔茨堡”就是信号。

然后，就需要在各种平台上发掘数据、获取信号，作者把这个进程比作了从矿山里寻宝。

接下来，使用prompt办法，就能将这些来自不一样当地的信号共同成一种方法。

最终，再将这些重组的数据集成并存储到言语模型中。

这样一来，该研讨就能从10个数据源中，共同26种不一样类型的信号，让模型获得很强的泛化才能。

成果标明，在多个数据会集，RST-T、RST-A零样本学习的体现，都优于GPT-3的少样本学习功能。

而为了更进一步查验新办法的体现，作者还想到了让AI做高考题的办法。

他们标明，如今许多作业办法走的都是汉化GPT-3的思路，在评价的使用场景上也是跟从OpenAI、DeepMind。

比方GLUE测评基准、蛋白质折叠评分等。

根据对当下AI模型打开的调查，作者认为可以拓荒出一条新的赛道试试，

所以就想到了用高考给AI练练手。

他们找来了前后几年共10套试卷进行标示，请大学教师来进行打分。

像听力/识图了解这样的标题，还找来机器视觉、语音辨认领域的专家协助。

究竟，炼出了这套高考英语AI模型，也可以叫她为Qin。

从查验成果可以看到，Qin必定是学霸等级了，10套卷子成果都高于T0pp和GPT-3。

此外，作者还提出了高考benchmark。

他们觉稳当下许多评价基准的使命都很单一，大多没有有用价值，和人类情况比照也比照困难。

而高考标题既包括了林林总总的常识点，还直接有人类分数来做比对，可以说是一箭双雕了。

NLP的第五范式？

假定从更深层次来看，作者认为，重构预练习或许会变成NLP的一种新范式，即把预练习/微调进程视为数据存储/造访进程。

此前，作者将NLP的打开总结成了4种范式：

P1. 非神经网络年代的完全监督学习 （Fully Supervised Learning, Non-Neural Network）

P2. 根据神经网络的完全监督学习 (Fully Supervised Learning, Neural Network)

P3. 预练习，精调范式 (Pre-train, Fine-tune)

P4. 预练习，提示，猜测范式（Pre-train, Prompt, Predict）

可是根据当下对NLP打开的调查，他们认为或许之后可以以一种data-centric的方法来看待疑问。

也就是，预训/精调、few-shot/zero-shot等概念的差异化会愈加迷糊，中心只重视一个点——

有价值的信息有多少、能使用多少。

此外，他们还提出了一个NLP进化假设。

其间的中心思维是，技能打开方向老是顺着这样的——做更少的事完成非常好、更通用的体系。

作者认为，NLP阅历了特征工程、架构工程、方针工程、提示工程，当下正执政着数据工程方向打开。

复旦武大校友打造

本篇论文的一作为Weizhe Yuan。

她本科结业于武汉大学，后赴卡内基梅隆大学读研，学习数据科学专业。

研讨方向会集在NLP使命的文本生成和评价。

上一年，她被AAAI 2022、NeurIPS 2021别离接收了一篇论文，还获得了ACL 2021 Best Demo Paper Award。

论文的通讯作者为卡内基梅隆大学言语技能研讨所（LTI）的博士后研讨员刘鹏飞。

他于2021年在复旦大学核算机系获得博士学位，师从邱锡鹏教授、黄萱菁教授。

研讨快乐喜爱包括NLP模型可说明性、搬场学习、使命学习等。

博士时刻，他包办了各种核算机领域的奖学金，包括IBM博士奖学金、微软专家奖学金、腾讯人工智能奖学金、baidu奖学金。

One More Thing

值得一提的是，刘鹏飞在和咱们介绍这项作业时，直言“开始咱们就没方案拿去投稿”。

这是因为他们不想让会谈论文的格局捆绑了构思论文的愿望力。

咱们抉择把这篇论文当作一个故事来讲，并给“读者”一种看影片的领会。

这也是为啥咱们在第三页，设置了一个“观影方法“的全景图。

就是为了带着我们去晓得NLP打开的前史，以及咱们所展望的将来是怎样的，让每一个研讨者都能有必定的代入感，感遭到自个去带领着预练习言语模型们(PLMs)经过矿山寻宝走向非常好明日的一个进程。

论文结束，还藏了一些惊喜彩蛋。

比方PLMs主题表情包：

还有结束的插画：

这么看，100多页的论文读起来也不会累了