桓阶，字伯绪，长沙临湘人。《魏书》记载：桓阶的祖父桓超、父亲桓胜，都曾任州郡的官职。桓胜曾担任尚书，在南方颇有名气。桓阶最初在郡中担任功曹，后来被太守孙坚举荐为孝廉，被任命为尚书郎。因父亲去世，桓阶返回家乡。正赶上孙坚攻击刘表时战死，桓阶冒着危险找到刘表，请求归还孙坚的遗体，刘表觉得桓阶很讲道义，就把遗体还给了他。后来曹操与袁绍在官渡对峙，刘表举州响应袁绍。桓阶劝说长沙太守张羡：“举事如果不以道义为本，没有不失败的。从前齐桓公率领诸侯尊崇周王室，晋文公驱逐叔带迎回周王。如今袁绍反其道而行之，刘表却响应他，这是自取灾祸。如果您想立功明义，保全福分远离灾祸，就不应该与他们同流合污。”张羡问：“那我该归向谁呢？”桓阶说：“曹公虽然势力较弱，但他是仗义而起，拯救朝廷危难，奉王命讨伐有罪之人，谁敢不从？现在如果您能统率长沙及周边三郡，抗拒刘表，并与曹公里应外合，这不是很好吗？”张羡赞同，于是举长沙等四郡抗拒刘表，派遣使者前往曹操处。曹操大喜。但当时袁绍与曹操激战正酣，曹操的军队无法南下支援，而刘表趁机紧急攻打张羡。张羡病逝后，城池被攻陷，桓阶躲藏起来。后来刘表征辟他为从事祭酒，想把妻子的妹妹蔡氏嫁给他。桓阶声称自己已经订婚，拒绝接受，并以病为由辞去职务。
曹操平定荆州后，听说桓阶曾为张羡出谋划策，对他的才能感到惊异，于是征辟他为丞相掾主簿，后升任赵郡太守。魏国建立初期，桓阶担任虎贲中郎将侍中。当时，太子尚未确定，而临菑侯曹植受到曹操的宠爱。桓阶多次向曹操表明，曹丕品德优秀且年长，应当立为太子。他公正的劝谏，诚恳而直率。《魏书》称桓阶曾对曹操说：“如今太子仁德冠于群子，声名显于海内，仁圣达节，天下无人不知；而大王您却因曹植而询问我，我实在感到困惑。”曹操因此更加看重桓阶的正直。此外，毛玠、徐奕因性格刚直不阿而被西曹掾丁仪所忌恨，丁仪多次在曹操面前诋毁他们，但幸好有桓阶在旁维护，他们才得以保全。桓阶在匡扶救正方面所做的事，多 类似于此。之后，桓阶被提升为尚书，负责官员选拔。曹仁被关羽围困，曹操派徐晃前往救援却未能解围。曹操打算亲自率军南征，询问群臣意见。众人皆说