编者注：深度学习的发展促进了许多大规模神经网络模型的诞生。这些模型在许多领域都取得了当前最好的性能。基于变压器的预训练模型也在自然语言理解（NLU）和自然语言中。成为发电领域（NLG）的主流。但是，这些模型包含大量参数和高计算成本，这极大地阻碍了此类模型在生产环境中的应用。为了解决这个问题，微软亚洲研究院自然语言计算小组的研究人员提出了一种新的模型压缩思想。随着深度学习的普及，许多大规模的神经网络模型应运而生，并在多个领域实现了目前的最佳性能。特别是在自然语言处理（NLP）领域，预训练和调优已成为其中大多数任务的新范例。基于变压器的预训练模型已经成为自然语言理解（NLU）和自然语言生成（NLG）领域的主流。尽管这些模型得益于“过度参数化”，但仍然不能避免这种情况。因此，它们通常包含数百万甚至数十亿个参数，这使得此类模型的计算成本很高，并且从内存消耗和高延迟的角度来看计算效率低下。此缺陷极大地阻碍了此类模型在生产环境中的应用。为了解决这个问题，研究人员提出了许多神经网络压缩技术。一般来说，这些技术可以分为三类：定量，权重修剪和知识蒸馏（KnowledgeDistillation）。其中，由于知识提炼可以压缩预训练的语言模型，因此备受关注。知识提炼使用大型教师模型来“教导”教师的知识。紧凑的学生模型来模仿教师的行为，从而将嵌入在教师模型中的知识转移到较小的模型中。但是，学生模型的性能取决于设计良好的蒸馏损失函数，正是该函数使学生模型能够模仿老师的行为。关于知识蒸馏的最新研究甚至使用更复杂的特定于模型的蒸馏损失函数来获得更好的性能。最近，来自Microsoft Research Asia的Natural Language Computing Group的研究人员提出了一种新的模型压缩方法，该方法不同于知识蒸馏，后者明确使用蒸馏损失函数来最大程度地减少教师模型和学生模型之间的距离。受到著名哲学思想实验“ These修斯之船”的启发（也就是说，如果逐渐替换船上的木材，直到所有的木材都不是原始木材，那么该船仍是原始船舶吗？），研究人员These修斯压缩（TheseusBERT）（Theseus的论文）在EMNLP2020上发表。此方法用参数较少的替换模块逐渐替换原始BERT模块（单击文章末尾以阅读原始文本以获取本文的详细信息）。研究人员称原始模型为“前身”。压缩模型“后继”，对应于知识提炼中的师生。下图显示了此方法的工作流程。首先，为每个前任模块指定一个后继模块，然后决定在训练阶段是否以一定概率（例如掷硬币）用替换模块随机替换相应的前任模块，并根据以下组合继续训练新的和旧的模块。模型收敛后，所有后继模块都组合成一个后继模型以执行推理。这样，可以将大型的前任模型压缩为紧凑的后继模型。例如，假设有两支篮球队，每支球队有五名球员，一支是经验丰富的全明星队，另一支是由年轻球员组成的青年训练队。为了提高青年训练队的水平，于是随机选择了青年训练球员来代替全明星队的球员，然后让这支混合球队继续练习和比赛。通过从前辈那里学习经验，新成员的实力将得到提高，他们还可以学习与其他参与者的合作。逐渐地，这支混合球队将拥有接近全明星队的实力。此后重复此过程，直到对青年训练运动员进行了充分的训练，最后青年训练运动员可以自己组建一支优秀的队伍。相反，如果没有“旧驱动程序”，则返回“ 0”。进入该区域，无论青年训练队如何训练，水平都无法达到全明星队的水平。一世