常林，字伯槐，是河内温县人。他七岁的时候，有一位父亲的朋友来到他家，问常林：“伯先在不在？你怎么不拜见我？”常林回答说：“虽然你是客人，但我是主人的儿子，父亲的字是‘父’，我为什么要拜你呢？”大家都很赞赏他。据《魏略》记载，常林小时候家里很穷，但他从不靠别人施舍过日子。他喜欢学习，汉末的时候，他一边读书一边种地。他的妻子常常给他送饭，虽然他在田间劳作，但夫妻之间相互尊重，就像宾客一样。
太守王匡起兵讨伐董卓，派了一些学生到各个县去暗中寻找官吏和百姓的罪过，然后抓起来，让他们用钱粮来赎罪。如果拖延，就要灭族，以此来显示威严。常林的叔父因为打了客人，被这些学生告发，王匡非常生气，抓了起来。全族的人都很害怕，不知道要交多少钱粮，担心被抓的人救不出来。常林去见了和王匡同县的胡母彪，说：“王太守文武双全，来到我们这个小郡。我们这里山河环绕，土地广阔，百姓众多，还有很多贤能的人，您可以随意选择使用。现在皇帝年幼，奸臣当道，天下动荡不安，正是英雄豪杰奋起的时候。如果您想消灭天下的贼寇，扶持王室，聪明的人就会立刻响应，就像回声一样。只有团结一致，才能战胜混乱，无论去哪里，都能取得胜利。如果不能施恩德，任用的人也不称职，那么灭亡就会到来，哪里还有时间去帮助朝廷，建立功名呢？您要好好考虑一下！”
接着，他谈到了叔父被关押的事情。胡母彪立刻写信责备王匡，王匡这才放了常林的叔父。常林于是到上党躲避，他在山脚下耕种。当时发生了旱灾和蝗灾，但常林的庄稼却获得了丰收。他把邻居们都叫来，把粮食分给他们。他依靠原来的河间太守陈延的营垒生活。陈家和冯家都是当地的名门望族。张杨贪图他们的妇女和财物。常林带领他的族人，为他们出谋划策。他们被围困了六十多天，但最终保全了营垒。并州刺史高干上表推荐他担任骑都尉，但他拒绝了。后来，刺史梁习推荐州里的名士常林、杨俊、王凌、王象、荀纬，曹操都让他们担任了县长。常林治理南和县，取得了很好的成绩，被破格提拔为博陵太守、幽州刺史，他所到之处都有政绩。曹丕担任五官中郎将的时候，常林是他的功曹。曹操西征的时候，田银、苏伯造反，幽州和冀州都受到了