7月2日消息，为了解决Transformer的低效问题，来自MIT韩松组的研究人员提出了HAT: Hardware-Aware Transformers，针对不同的硬件设备的特性，为每个硬件搜索出一个高效的Transformer模型，从而在保持精确度的前提下大幅降低内存消耗。在同样的精度下，相比于基线Transformer， HAT可以获得3倍加速，3.7倍模型压缩。