10月16日消息，据报道，中科大和阿里达摩院在论文《Incorporating BERT into Parallel Sequence Decoding with Adapters》中，提出采用两种不同的BERT模型分别作为编码器和解码器，并通过引入简单的和轻量级的适配器模块对它们进行微调，这些适配器模块插入到BERT层之间，并针对特定的任务数据集进行调优。这样，研究人员得到了一个灵活高效的模型，它能够联合利用源端和目标端BERT模型中包含的信息，同时绕过了灾难性遗忘问题。

该框架基于并行序列译码算法掩模预测，考虑了BERT算法的双向和条件独立性，易于适应传统的自回归译码。研究人员在神经机器翻译任务上进行了广泛的实验，在实验中，所提出的方法始终优于自回归基线，同时将推理延迟减少了一半，并且在IWSLT14德语-英语/WMT14德语-英语翻译中达到36.49/33.57的BLEU分数。当采用自回归译码时，该方法在WMT14英-德/英-法翻译中的BLEU得分达到30.60/43.56，与最先进的基线模型相当。