合肥在历史上长期从属于九江郡或淮南郡（国），它第一次正式作为县名出现是在汉武帝元狩元年（前122年），这一年汉武帝改淮南王国为九江郡，辖合肥等县；不过合肥长期默默无闻，一直到汉献帝建安五年（200年）才渐渐凸显出了它的重要地位。
《三国志-孙策传》记载：后术死，长史杨弘、大将张勋等将其众欲就策，庐江太守刘勋要击，悉虏之，收其珍宝以归。策闻之，伪与勋好盟。勋新得术众，时豫章上缭宗民万余家在江东。策劝勋攻取之。勋既行，策轻军晨夜袭拔庐江，勋众尽降，勋独与麾下数百人自归曹公。
《晋书-地理志》记载：江西庐江、九江之地，自合肥之北至寿春悉属魏。
孙策平定江东六郡，不过在袁术死后其统治的核心区域扬州九江郡却并没有完全落入孙策之手，合肥以北到寿春一线属于曹操所有，合肥以南长江以北的地区则为双方的缓冲地带，其后几十年间曹魏和东吴在东线的争斗基本上都是围绕这一地区展开的。
《三国志》记载：后孙策所置庐江太守李述攻杀扬州刺史严象，庐江梅乾、雷绪、陈兰等聚众数万在江、淮间，郡县残破。太祖方有袁绍之难，谓馥可任以东南之事，遂表为扬州刺史。馥既受命，单马造合肥空城，建立州治。
袁术病卒后，曹操表严象为扬州刺史，不过很快被孙策攻杀，200年曹操又任命刘馥为新的扬州刺史，刘馥单枪匹马重建合肥，并以合肥为扬州新的州治，这是合肥兴起的开始。
合肥地处长江和淮河之间，合肥在手对于曹魏来说进可攻退可守：进则可以随时饮马长江，只要屯兵巢湖或者从合肥沿濡须水而下，就可直达长江北岸威胁地处长江南岸的东吴都城建业（南京），退则可以把东吴水军挡在淮河以南，从而力保中原不失。
相对而言，合肥对于东吴的重要性犹在曹魏之上，“守江必守淮”要守住南京，光靠长江是不够的，因为长江太长东吴不可能处处重兵镇守，只有把防线推进到淮河流域才能保住南京的相对安全，处于长江和淮河中间的合肥战略地位一下子就凸显了出来，如果能拿下合肥，东吴就有了战略纵深，才有可能进一步挺进到淮河流域甚至虎视中原。
如果说荆州是江东的西大门，那么合肥就是江东的北大门，孙权为了夺取荆州都能不顾和刘备签订的盟约暗中下刀子，对于合肥更是存势在必得之心，这个和刘备无论如何要拿下汉中的道理是一样的。
也正因为如此，从刘馥重建合肥开始东吴和曹魏就为了争斗合肥连续爆发了数次大战，208-209年第一次合肥之战孙权败退之后，曹操也意识到了合肥的重要性于是派出其麾下张辽、乐进和李典三员得力大将镇守合肥以防东吴。
215年孙权再次兴兵十万大举攻打合肥，不过孙权是兴冲冲去却灰溜溜回，十万大军奈何不了张辽七千多守军，自己还居然差点被活捉，除了成就张辽张八百的威名之外，还徒留孙十万的耻辱称号，不仅如此孙权一生都对张辽忌惮不已。
《三国志-张辽传》记载：建安二十一年，太祖复征孙权，到合肥，循行辽战处，叹息者良久。乃增辽兵，多留诸军，徙屯居巢。
《三国志-夏侯惇传》记载：二十一年，从征孙权还，使惇都督二十六军，留居巢。
《三国志-吕蒙传》：后曹公又大出濡须，权以蒙为督，据前所立坞，置强弩万张于其上，以拒曹公。
此后合肥更是成为曹魏重兵集结的区域之一，孙权也在濡须水水口筑坞以拒曹操，当然曹魏不可能只挨打不还手，比如建安十八年（公元213年）、建安二十一年（216年）、曹魏黄初四年（公元223年）曹操和曹丕就先后三次进攻濡须口还以颜色，和孙权进攻合肥大败而回不同的是，这几次濡须口之战东吴都取得了胜利。
不过随着局势的发展，自曹叡时期开始合肥的战略地位和重要性就慢慢下降了，之所以如此，主要有以下几个原因：
《三国志-孙权传》记载：建安十八年（公元213年）正月，“曹公恐江滨郡县为权所略，徵令内移。民转相惊，自庐江、九江、蕲春、广陵户十余万皆东渡江，江西遂虚，合肥以南惟有皖城。”
《宋书-州郡志》记载：三国时，江淮为战争之地，其间不居者各数百里，此诸县（江淮之间的郡县）并在江北淮南，虚其地，无复民户。
第一，曹操从扬州、徐州等地内迁十几万户，曹操没少干这事，比如208年赤壁之战后曹操就从荆州强行迁走相当多的人口到豫州作屯田民（邓艾就是这个时候被迁走的），219年汉中之战曹操败退之前又从汉中迁走了大量人口。
人口的大量流失使得合肥以南数百里之内无人烟，不仅破坏了当地的经济，还使得在合肥驻军成本急剧增大：“每大军征举，运兵过半，功费巨亿，以为大役。”
第二，建安十九年（214年）第二次合肥之战前夕，孙权拿下和合肥近在咫尺的皖城，此举使得东吴在江北有了一块稳固的根据地，215年孙权虽然败于张辽之手，但皖城仍然牢牢的掌控在东吴手中，这对合肥构成了巨大的威胁。
第三，青龙元年（233年）征东将军满宠上疏魏明帝称：
“合肥城南临江湖，北远寿春，贼攻围之，得据水为势；官兵救之，当先破贼大辈，然后围乃得解。贼往甚易，而兵往救之甚难。”
于是曹魏在合肥城西三十里处构筑新城，一方面合肥新城并未建在河流边上，这给了擅长水战的东吴水军攻城造成了不少困难，另外一方面曹魏调整了战略，最明显的例子就是曹魏东线主帅征东将军改驻寿春，以及扬州治所北迁至寿春（合肥以南人都被迁光了，治所北迁是迟早的事）。
曹魏东线防区的战略北移和扬州治所的北迁寿春，使得合肥的战略地位急剧下降，寿春的崛起取代了合肥的地位，合肥再也不是曹魏、东吴双方关注和争斗的焦点，最多只是双方对峙的一个前沿桥头堡，在谁手中对战局并无大的影响，比如253年诸葛恪北伐和263年丁奉北伐都是以寿春为目标，同样曹魏内部的淮南三叛也是主要以寿春为中心。
合肥的兴起是因为刘馥重建合肥严重威胁到了江东的利益，所以曹魏和东吴为了争斗合肥而大动干戈，曹魏后期战略北移合肥的地位一落千丈，双方争斗的焦点集中到了寿春，自然也就偃旗息鼓没必要为了合肥大打出手。