智东西10月30日消息，据机器之心昨日报道，斯坦福大学和纽约州立大学布法罗分校的一个研究团队近日发布了一篇论文，提出Transformer的替代技术Monarch Mixer，并公开了一些检查点模型及训练代码。该方法去掉了Transformer中高成本的注意力和MLP，代之以富有表现力的Monarch矩阵，使之在语言和图像实验中以更低的成本取得了更优的表现。

论文地址：

https://arxiv.org/abs/2310.12109

代码地址：

https://github.com/HazyResearch/m2