NeurIPS'26：注意力也是FFN？从快权重出发，重新理解高效注意力

文章提出注意力机制可被重新理解为一种由输入动态生成权重的前馈网络（FFN），其隐藏层宽度随序列长度增长。基于此快权重视角，北京邮电大学团队构建五维分类框架，并设计MiTA方法，通过地标查询构造可复用、可变形的Top-k专家，兼顾全局概括与原始细节，在图像分类、语义分割、长序列建模等任务中显著降低计算开销并保持高性能。