在双雕时期之所以没有少林寺，主要有以下几个因素。
首先，在《射雕英雄传》和《神雕侠侣》时期，全真教是天下第一名门正宗，声望最隆，超越了少林寺。
其次，少林寺自身处于衰落期，没有绝顶高手可以和天下五绝一争长短。
当年王重阳筹备第一次华山论剑，少林连一张邀请函都没混到，换言之没有高手有资格来参加。
第三，少林的旁支倒是有侧面描写，但是武功一样惨不忍睹。
在《射雕英雄传》里，先是被黄药师取笑给他提鞋子都不配，后来又有见色起意，想打穆念慈的主意，结果比武招亲没招到，反而被穆念慈打得不轻，出乖露丑。
第四，直到《倚天屠龙记》里，少林才凭借九阳神功逐渐复苏。所谓的火工头陀事件，还有所谓的出家人不争虚名，都是狡辩之词。
须知在武林之中，弱肉强食，从来都是要靠绝对武力说话，从玄慈方丈那时候起，少林就特别重视“武林泰斗”和数百年来的声誉。
只不过后来全真教和天下五绝太强，金庸的笔墨又重点在他们身上，故而少林几乎就被“遗忘了”。