7月2日消息，来自Mila和蒙特利尔大学等机构的研究者在论文《Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules》中，探索了深度递归神经网络架构，在这种架构中，自下而上和自上而下的信号通过注意力实现了动态组合。

此外，该架构的模块化进一步限制了信息的共享和通信。注意力和模块化共同指导信息流，从而实现感知和语言任务上的可靠性能提升，尤其体现在提高对干扰和嘈杂数据的鲁棒性。研究者在语言建模、连续图像分类、视频预测和强化学习的各种基准上证明了，双向信息流可以改善基于强基准的结果。