刘晔，字子扬，是淮南成德（“德”字在这里读音和意义与“惪”相同）人，他是汉光武帝刘秀的儿子阜陵王刘延的后代。他的父亲叫刘普，母亲叫刘修，刘修生下了刘涣和刘晔两个儿子。刘涣九岁，刘晔七岁时，他们的母亲病重。临终前，母亲告诫刘涣和刘晔说：“刘普的侍从中有人性格谄媚且有害人之心。我死后，他们一定会扰乱家中的安宁。等你们长大后，如果能除掉这个人，我就没有遗憾了。”刘晔十三岁时，对哥哥刘涣说：“母亲临终时的嘱托，现在可以实现了。”刘涣说：“这怎么可以呢？”刘晔却直接进入房间，杀死了那个侍者，然后出门拜祭祖先。家里人惊慌失措，赶紧告诉刘普。刘普大怒，派人去追刘晔。刘晔回来后，向父亲磕头谢罪说：“母亲临终时的嘱托，我怎么敢不听从呢？我愿意接受擅自行事的惩罚。”刘普见刘晔如此冷静，心中暗暗称奇，于是没有责罚他。
汝南的许劭以善于识人而闻名，他避难来到扬州，称赞刘晔有辅佐天下的才能。
当时扬州的士人大多轻佻、狡猾且好勇斗狠，其中郑宝、张多、许乾等人各自拥有私人武装。郑宝最为骁勇，才力过人，是当地人都忌惮的人物。他打算驱赶百姓渡过长江，去投靠江东的势力。因为刘晔出身名门望族，郑宝打算强行逼迫刘晔带头支持他的计划。刘晔当时二十多岁，内心非常忧虑，但一直苦于没有机会。恰好这时曹操（太祖）派使者来到扬州，调查一些事情。刘晔去拜见使者，和他讨论形势，然后邀请使者和自己一起回去，停留了几天。郑宝听说后，带着几百人，带着牛和酒来拜访使者。刘晔让家里的仆人把郑宝的随从安排在中门外，为他们准备酒饭；而他则在内室宴请郑宝。刘晔暗中命令强壮的仆人，趁敬酒的时候杀掉郑宝。但郑宝酒量不好，而且非常警觉，敬酒的人不敢动手。刘晔于是亲自拔出佩刀，砍杀了郑宝，割下他的头颅，向郑宝的军队宣布：“曹操有令，谁敢反抗，就和郑宝同罪。”郑宝的士兵们惊恐万分，纷纷逃回营地。郑宝的营地有几千精兵，刘晔担心他们会作乱，于是骑上宝马，带着几个家仆，来到郑宝的营地门口，召唤他们的首领，向他们说明利害关系。郑宝的士兵们都被刘晔的气势所震慑，纷纷叩头开门，让他进入。刘晔安抚他们，让他们安心，士兵们都非常信