杨阜，字义山，是天水冀县人。《魏略》记载，杨阜年轻时与同郡的尹奉（字次曾）和赵昂（字伟章）一同崭露头角，三人一起担任凉州从事。后来，杨阜作为州从事，被牧韦端派往许昌，被任命为安定长史。杨阜完成使命返回时，关右的将领们向他询问袁绍和曹操谁胜谁负，杨阜说：“袁绍为人宽厚但优柔寡断，喜欢谋划但少有决断；优柔寡断就没有威严，少有决断就会错失良机。如今他虽然势力强大，但终究不能成就大业。曹操有雄才大略，决策果断，法令统一，军队精锐，善于任用有才能的人，所任用的人都能尽心尽力，他一定能成就大事。”杨阜并不喜欢长史这个职位，于是辞去官职。后来，韦端被征召为太仆，他的儿子韦康接替他担任刺史，征召杨阜为别驾。杨阜被举荐为孝廉，又被征召到丞相府，但州里上表请求留下他，让他参与军事谋划。
马超在渭南战败后，逃到羌人部落中避难。曹操追击到安定，但此时苏伯在河间反叛，曹操准备率军东归。杨阜当时正在奉命出使，他对曹操说：“马超有韩信、吕布的勇猛，深得羌人和胡人的拥戴，西州的人都很畏惧他。如果大军撤退，不做好充分的防备，陇上的各郡县将不再属于国家所有。”曹操认为杨阜说得有道理，但军队仓促撤退，防备不够周密。马超果然率领羌人和胡人的首领进攻陇上的郡县，陇上的郡县都纷纷响应马超，只有冀城在坚守州郡的命令，坚决抵抗。马超集结了陇右的全部兵力，并且得到了张鲁派来的大将杨昂的援助，总兵力达到一万多人，开始围攻冀城。
杨阜率领城中的士大夫和宗族子弟中能够作战的一千多人，让堂弟杨岳在城上修筑偃月形的营垒，与马超交战。从正月到八月，他们一直坚守城池，但援军始终没有到来。州里派遣别驾阎温沿着河流潜出城去求救，却被马超杀害。于是刺史和太守惊慌失措，开始有了投降马超的打算。杨阜流着泪劝谏说：“我们率领父兄子弟，以大义相互勉励，宁死不屈。我们的坚守并不比田单守即墨差。放弃即将取得的胜利，陷入不义的名声，我宁愿以死相守。”说完就放声大哭。但刺史和太守最终还是派人向马超求和，打开城门迎接马超。马超进城后，把杨岳拘禁起来，让杨昂杀死了刺史和太守。
杨阜内心有报复马超的想法，但一直