Transformer的许多关键技术，在一场会议上集体塌房了？！

COLM 2026上，多篇论文同时把矛头对准了同一件事——

Transformer里那些没人再去质疑的设计，其实站不住脚。

Transformer几乎是所有主流模型的默认架构，其设定也大多被奉为圭臬，很少有人回头验证。

结果，这批论文分别从不同角度，把这些默认选择重新算了一遍账。

而且不同人得到的结论出奇一致，Transformer的每一处标配设计，都在某个现有评测体系测不到的维度上，付出了实打实的代价。

长上下文的裂缝

第一篇论文名叫《Cracks in the Foundation》，来自Ai2等机构，瞄准的是QK归一化、GQA、滑动窗口注意力、预训练上下文长度这几个常年被当成「标配」的架构选择。

研究者从Llama 2、Llama 3、Qwen 3、Olmo 3这几个真实模型里，挑出各自用过的取值做排列组合，训练了26个模型出来做对比。

这些模型参数量都在7B到8B之间，数据、分词器、上下文扩展的方案全部保持一致，只有架构不一样。

团队把这批模型叫「OlmPool」，全部先预训练140B个token，再用10B个token做长上下文的收尾训练，前后一共烧了超过17万个GPU小时。

结果，26个模型在HELMET 32K这项测评上，分数最高56.4，最低29.9，差了26.5分，换算成相对差距是47%。

数据一样，架构大体相似，就因为四个开关拨的方向不一样，分数能差出这么多。

单独拨一个开关，其实影响不大。预训练时用4096还是8192的上下文长度，加不加滑动窗口注意力，平均只让分数掉一两分。

真正要命的是几个选择叠在一起，一旦SWA跟GQA放在同一个模型里，平均要掉9分，比两项各自的影响加起来还多得多。

团队测出来的最差组合，是GQA、滑动窗口注意力、逐头QK归一化三个一起上，掉分幅度同样比单项加总还猛。

后来他们发现，光数一数一个模型踩中了几项「有害设计」，这个数字就能很准地预测出它的长上下文表现，比逐项分析架构还管用。

QK归一化是最反直觉的一项。它当初被加进模型里，是为了让训练更稳定，业内基本都当它是好东西。

但论文测出来，把Olmo 3原本的QK归一化和后置归一化去掉，换成前置归一化，HELMET分数反而涨了6分。

同样的改动放到Llama 3身上，效果却是反的，掉了3.8分。

同一个「标配」，换一个底子模型，结果能完全相反。

这一部分还测出了一个和不少人直觉相反的现象——「注意力汇聚」，指的是模型会把很大一部分注意力，堆在上下文最前面那几个token上。

这个现象一直被当成浪费算力的坏毛病，不少新方法专门拿消除它当卖点，但在OlmPool这批模型里，注意力汇聚现象越明显，长上下文表现反而越好。

QK归一化恰好会削弱这种汇聚，这可能就是它拖累长上下文能力的原因。

被吃掉的梯度

第二篇论文名叫《Lost in Backpropagation》，来自康奈尔大学，瞄准的是几乎所有语言模型都在用的最后一层——输出投影层。

语言模型每处理一步，都会先算出一串数字，代表它对当下上下文的理解，这串数字叫隐藏状态D。

要预测下一个词，模型得把隐藏状态，换算成词表里每一个候选词的打分，词表有多少个词，就要输出多少个打分。

这些打分叫logits，分数越高，模型认为这个词是下一个词的可能性就越大。

做这个转换的部件，就是输出层，本质是一次矩阵运算。

词表的大小，通常比隐藏状态的长度大得多，一个是几万，一个可能只有几千。

这个大小上的落差，以前只被当成一个问题看，叫「softmax瓶颈」，意思是词表比隐藏状态大太多，会让模型能表达的下一词分布种类有限。

这篇论文说，同一个落差还有另一层影响。

反向传播的时候，误差信号要经过输出层，传回去指导模型调整参数，这个环节也受到落差的影响。

误差信号在传回去之前，理论上包含的信息量跟词表一样大。

但输出层能传回去的信息量，被它自己的结构限制住了，上限跟隐藏状态的长度差不多大，比词表小得多。

论文在GPT-2、Pythia、Llama 3、OLMo 2、Qwen 3这几个已经训练好的模型上测了这一步的信息损耗，把误差信号投影到输出层权重的零空间里再看还剩多少。

结果在GPT-2、Pythia、Llama 3、OLMo 2、Qwen 3这几个模型上，95%到99%的梯度范数都在这一步被削掉了。

剩下的那点信号，跟原始梯度的余弦相似度只有0.1到0.2。

传回去的信号，九成以上在这一步被吃掉了，剩下的那一点，方向也跟原来该有的方向对不上。

这道输出层，是几乎所有语言模型都绕不开的必经之路，没人把它当成需要审视的对象，可它却在每一次反向传播里，悄悄抹掉了大部分本该传回去的训练信号。

剪掉一层，断的是推理链

还有一篇论文，名叫《When Fewer Layers Break More Chains》，来自图宾根大学，说的是一个已经被广泛使用的模型压缩手段——层剪枝，也就是直接把Transformer里的某几层整个删掉，减少模型深度来省算力。

层剪枝能这么做，是因为已经有研究发现，模型里有一部分层对整体表现的贡献很小，删掉之后，用常规的知识类测评一测，分数掉得很少。

剪掉四分之一的层，还能保留八成以上的原始准确率，这类结果让层剪枝成了一种被普遍接受的效率手段。

但这些测评测的都是知识类任务，答案短，靠模型记住的东西就能答对。

这篇论文测了另一种能力——长链推理，论文用的方法是「测试时扩展」，简单说就是让模型多想一会儿，给它更多token去推理，或者让它多生成几遍答案再挑对的，正常情况下，想得越久，或者试得次数越多，正确率应该越高。

论文选了两个本身就具备这种能力的模型，s1.1-7B和Qwen3-8B，用三种主流的层剪枝方法各剪一到两层，再看这两种扩展方式还灵不灵。

结果在知识类测评上，分数掉得确实很平缓，但换成数学竞赛难度的AIME24，s1.1-7B只剪一层，正确率就大幅下滑，剪两层，直接掉到接近零。

给模型更多思考token，本该让它想得更明白，结果剪过层的模型，思考时间越长，反而越不见起色，测试时扩展这件事，等于是失效了。

作者接着测了能不能靠微调救回来，分别用LoRA微调和全参数微调，在剪过层的模型上重新训练。

剪一层的模型，微调几乎没什么用。剪两层的模型，微调能救回一部分分数，但离剪之前的水平还差得远。

总之，这篇论文想要告诉人们，层剪枝没有看上去那么安全。

三篇论文研究的对象完全不一样，一篇看长上下文，一篇看训练时的梯度，一篇看推理链。

但放在一起看，能看出一个共同的模式——三篇论文盯上的，都是已经被主流模型广泛采用、很少有人回头质疑的常规设计。

现在，这些「常规」操作，也开始被重新审视了。

本文来自微信公众号“量子位”，作者：关注前沿科技