高柔，字文惠，是陈留郡圉县人。他的父亲高靖，曾担任蜀郡都尉。据《陈留耆旧传》记载，高靖的高祖父高固，在王莽时期不愿做官，后来被淮阳太守杀害，以烈节闻名。高固的儿子高慎，字孝甫，为人敦厚，不善言辞，但性格深沉稳重。他抚养了五个孤兄的儿子，对他们恩义深厚。琅邪相何英非常赞赏他的品行，把自己的女儿嫁给了他。何英就是车骑将军何熙的父亲。高慎历任两个县的县令和东莱太守。他年老病退回家后，家里只有草屋和蓬门，瓮里缶里都没有积蓄。他的妻子对他说：“你做了这么多年的官，怎么就不能为子孙留下一点积蓄呢？”高慎回答说：“我以勤奋和清廉为子孙打下基础，给他们留下二千石的官职，难道还不够吗？”他的儿子高式，非常孝顺，总是尽力供养父母。永初年间，螟蝗成灾，唯独没有吃高式的麦子，圉县县令周强把这件事上报给州郡。太守杨舜推举高式为孝子，但他谦让没有接受。后来，高式因孝廉被任命为郎官。他的次子高昌，高昌的弟弟高赐，都担任过刺史、郡守。高式的儿子高弘，也是孝廉。高弘生了高靖。
高柔留在家乡，对乡亲们说：“现在英雄纷纷崛起，陈留郡是个四战之地。曹操将军虽然占据了兖州，但他有统一天下的志向，不会安心坐守。而张邈已经在陈留得志，我担心他可能会趁机制造变乱，我想和大家避开他。”但大家都认为张邈和曹操关系很好，而且高柔还年轻，所以不认同他的话。高柔的堂兄高干，是袁绍的外甥。据谢承的《后汉书》记载，高干，字元才，才华横溢，文武双全。他的父亲高躬曾是蜀郡太守，祖父高赐是司隶校尉。根据《陈留耆旧传》和《后汉书》的记载，高干应该是高柔的堂父，而不是堂兄，不知道哪里出了错。当时，高干在河北召唤高柔，高柔就带着全族人跟随他去了。正巧高靖在西州去世，当时道路艰险，盗贼横行，但高柔还是冒着危险去蜀地迎接父亲的灵柩，历经千辛万苦，尝尽了各种艰难困苦，三年后才回来。
曹操平定袁氏后，任命高柔为菅县长。县里的人早就听说过他的名声，有几个奸诈的官吏，都自动辞职离开了。高柔发布命令说：“过去邴吉治理政事时，官吏犯了错误，他还尚且能够宽容他们。何况这些官吏对我并没有什么过失呢！应该把他们召回来。”那些官吏