逐渐销声匿迹，在那些经历过长夜、仍旧记得异鬼的恐怖的一代人死后，这支为了对抗异鬼而建立的军团注定要失去它往日的荣光，其重要性与待遇也在逐年不断下降。
即便如此，这些驻守在绝境长城中的守夜人军团，也并未完全失去它的作用。绝境长城与驻扎在这里的守夜人军团，仍旧在很长的一段时间里，为七国阻挡长城以北的野人侵扰起到了非常大的作用。
可是在征服者伊耿登陆维斯特洛大陆并建立了坦格利安王朝之后，这一切发生了翻天覆地的变化变了。
贵族和骑士们不再愿意，为他们心中的那些荣耀与责任感，在一场毫无意义的守望中奉献一生。
因此，守夜人军团渐渐失去了它最主要的兵员来源与资金支持。甚至不得不一再降低守夜人军团的准入门槛。
经过三百年的演变之后，曾经辉煌几千年的守夜人军团，如今变成了这幅半死不活的模样。
在征服者伊耿登陆的三百年之后，原本拥有守夜人驻守的十九个依长城而建的堡垒中，如今却只有其中三个堡垒中仍有守夜人的队伍在驻守，分别是长城最西面的影子塔、绝境长城最大的堡垒黑城堡和最东端的东海望。
时至今日看来，守夜人的衰落已经是注定的了。原本在鼎盛时期拥有上万人的守夜人军团，如今却只有不到一千人。
并且在这不到一千人当中，绝大多数都是来自七大王国的一些乌合之众，在这些鱼龙混杂的守夜人中，大抵被分为三类。
第一类人，也是目前守夜人军团中数量最多的一类守夜人，他们都是像偷猎者威尔一样，为了避免因为自己犯下的罪行遭受惩罚，而选择加入守夜人军团的罪犯们。
窃贼、偷猎者、强奸犯、奴隶犯这些维斯特洛大陆上的渣滓，如今却成为了守夜人中的主力，他们大多在守夜人中担任游骑兵这职务，因为他们这些非自愿加入守夜人军团的罪犯们，如今除了为守夜人卖命之外，他们别无选择。
如果他们在加入守夜人军团之后，再叛逃成为逃兵的话，按照七国的法律，将会被抓住他们的领主处死。
第二类人，则是那些为生活所迫的可怜人们，这类人虽然在名义上是自愿加入的守夜人队伍，在训练时期且未立下誓言之前都可以自由离开。