看见学宫中所祭祀的乡先生欧阳修、杨邦乂、胡铨的画像，谥号都为“忠“，即为此高兴，羡慕不已，对身边人说“如果不成为其中的一员，就不是真正的男子汉。“
开元初年他因为反对迁都得罪了宦官董宋臣，被贬，但他直接就辞官回乡。后来被起复，又因为讽刺贾似道，再次被罢官，三十七岁第二次退休。
但是之后再次被起用为荆湖南路提刑，也因此见到了宰相江万里。江万里平素就对文天祥的志向、气节感到惊奇，同他谈到国事，神色忧伤地说“我老了，观察天时人事应当有变化，我看到的人很多，担任治理国家的责任，不就是在你吗?望你努力。“