当时，刘勋在庐江势力较大，成为意欲称霸江东的孙策的眼中钉。孙策见刘勋贪婪而无远见，便派使者卑辞奉献，劝刘勋伐上缭，以便调虎离山。孙策使者说：“上缭很富足，因屡次欺侮我小国，我们想借你的兵士报仇，为你的外援，灭了上缭全归庐江。”刘勋听此言，又得孙策奉献的许多珠宝、葛布，大喜。全军庆贺，只有谋臣刘晔面带愁容。刘勋问其故。刘晔说：“上缭地方虽小，但城坚池深，易守难攻，若孙策乘其空虚，袭我后方，则主公大势去矣。”贪利的刘勋哪里肯听，兴兵伐上缭。孙策果然乘虚袭其后，刘勋穷迫，只好去投奔曹操。不久，刘晔也投归了曹操。
二、建功汉中
刘晔归曹，献策一举征灭庐江宗帅陈策，被辟为司空仓曹掾，不久转为主簿，后又任行军长史兼领军，成为曹操的亲信智囊之一。建安二十年（215），刘晔随曹操征汉中张鲁。汉中“户出十万，财富土沃，四面险固”，北通关中，南扼巴蜀，西接陇右，东南与荆州相连，具有重要的战略地位。张鲁在汉中割据三十余年，不愿臣服曹操，率众数万，在褒斜南口阳平关“横山筑城十余里”，拒关坚守（《三国志·武帝纪》）。号称“汉中盆地西端门户”的阳平，是个易守难攻的险关。《水经·沔水注》云：“城因即崤岭，周五里，东临谷，杳然百寻，西、北二面，连峰接崖，莫究其极，从南为盘道，登陟二里有余。”曹操本来听凉州从事和武都降人讲，“张鲁易攻，阳平城下南北山相远，不可守也”（《资治通鉴》卷六十七），但亲临阳平，才知事实与传闻截然相反。曹军“攻阳平山上诸屯，山峻难登，既不时拔，士卒伤夷者多，军食且尽，操意沮，便欲拔军截山而还”（同上）。曹操带兵先退，下令刘晔督察后军顺次退出。眼看夺取汉中的愿望就要成为泡影，刘晔却飞驰至曹操跟前，提出了“不如致攻”的建议。刘晔认为，现在军中粮道不继，返途又很漫长，此时退回，军队会损失很大，而且，他料定，大军这一撤退，敌方防守必然松懈，正可利用这个机会。果然，“贼见大军退，其守备解散。公乃密遣解慓、高祚等乘险夜袭，大破之，斩其将杨任，（张）鲁溃奔巴中，巴、汉皆降”（《三国志·武帝纪》）。刘晔的一点谋略，竟成就了夺取“蜀之股臂”巴、汉的大事。