淮南郡“原創”于江淮地區。秦置九江郡，西漢改淮南國，東漢改阜陵國，兩王國不存期間仍為九江郡，郡治或王都均在壽春縣。淮南郡的“誕生”源自東漢末年袁術割據。初平四年（193年），袁術占領淮南。興平元年（194年），袁術并九江郡（時郡治陰陵縣，位今定遠縣永康鎮古城村）與阜陵國（時王都壽春縣）為淮南郡，郡治壽春縣，淮南郡在中國歷史上第一次出現。
漢獻帝建安二年（197年）正月，“袁術稱帝于壽春，自稱仲家，以九江太守為淮南尹。置公卿百官，郊祀天地”。壽春成為袁術割據政權的都城。從漢代開始，首都所在城市的郡級建制和行政長官皆稱“尹”。如西漢建都長安時的京兆尹，東漢建都洛陽時的河南尹。“淮南尹”的設置堪稱中國歷史第三尹。此后魏晉兩朝，郡級建制的名稱就在淮南國（楚國）與淮南郡之間不斷轉換。
西晉永嘉之亂后，北方士民南渡，聚族而居。東晉南朝統治者對南渡士民，一面拉攏其中的世家大族參加政權，一面設置僑州僑郡僑縣安置僑民。生活在僑置建制里的士民保持原來籍貫，另立戶籍，給以優復特權，不受當地政府管轄。當時司州、豫州流民多取道淮河支流渦水、潁水、汝水，渡淮后寄寓在鐘離（今鳳陽縣臨淮關鎮）、馬頭（今蚌埠市禹會區馬城鎮）、壽春一線。再南遷的則深入江淮之間甚至長江南岸。
與此同時，淮南士民也播遷江南。于是形成雙重的喧賓奪主，北方士民奪淮南地名，淮南士民又奪江南地名，結果造成南北朝時期地方行政建制的嚴重混亂，“或地無百里，數縣并置；或戶不滿千，二郡分離。所謂民少官多，十羊九牧”。這一時期，中國竟出現過4個淮南郡。直至隋朝改州、郡、縣三級管理為州、縣兩級管理，淮南郡才不復存在。
其一，江南淮南郡。
南北朝時，南朝淮南郡主體是在江南而不是在江淮。東晉咸和四年（329年），晉成帝在江南于湖縣（位今當涂縣南）僑置淮南郡，用以安置江淮流民。東晉末年實行土斷，從宣城郡析出實土，江南淮南郡成為實郡。淮南郡郡治于湖縣，領于湖、繁昌、當涂、逡遒（今宣城市水陽鎮）、定陵（今青陽縣丁橋鎮）、襄垣（今蕪湖市）等6縣，轄境相當于今當涂、蕪湖、繁昌、南陵、銅陵等縣、市地。
宋大明六年（462年），孝武帝冊封年僅4歲的兒子劉子孟為淮南王，食邑兩千戶。為此孝武帝還特意對行政地域作了重大調整，將江南淮南郡并入宣城郡，將江淮之間南梁郡（原淮南郡）改置為淮南國。大明八年（464年）閏五月，宋孝武帝病死，淮南王劉子孟兄劉子業繼位，是為前廢帝。前廢帝推翻孝武帝各項制度，“二郡并復舊，子孟仍國名，度食淮南郡”。就是說，劉子孟雖然還是淮南王，但淮南國又從江淮回到江南，已并入宣城郡的淮南郡重新析出，重置為淮南國（郡），作為淮南王劉子孟的食邑。
同年，年僅8歲的劉子孟與其兄弟27人被宋明帝一體殺害，淮南國除為淮南郡。此后江南淮南郡一直未變，只是轄域逐漸縮小。至南陳，陳叔彪封淮南王時，淮南郡只領于湖、當涂、襄垣、西鄉（縣治無考）4縣，大致轄域為長江南岸馬鞍山、蕪湖、繁昌、南陵等市、縣地。隋開皇九年（589年）平南陳，此淮南郡撤銷。
其二，江淮淮南郡。
東晉孝武帝（372-396年在位）于淮南郡僑置南梁郡與睢陽縣。晉末土斷后，江南淮南郡與江淮南梁郡同時由僑轉實，“原創”江淮的淮南郡被南梁郡完全取代，淮南郡的名稱反而轉至江南。南北朝前期，今淮南市域主要歸屬南梁郡，只有前述劉子孟封淮南王時，淮南國（郡）由江南一度短暫回歸江淮，時間只有兩年，即公元462-464年。
南北朝后期，南北政權爭奪重點由黃淮轉至江淮，北方政權幾度奪占淮南。這段時間將近百年，南朝控制時仍稱梁郡或南梁郡，北朝控制時則稱淮南郡。北朝淮南郡存續時間有3段：第一時段為北魏景明元年（500年）至孝昌二年（526年）；第二時段為東魏武定七年（549年）至八年（550年）。北齊天保元年（550年）至武平四年（573年）；第三時段為北周大成元年（579年）至大定二年（581年）。隋開皇元年（581年）至三年（583年）。
隋文帝實行地方行政建制改革，將州郡縣三級管理改為州縣兩級管理，江淮淮南郡撤銷，地屬揚州，州治壽春縣。開皇九年（589年），隋統一中國，對全國行政區劃進行統一規劃，揚州于此時改為壽州。大業三年（607年）至十四年（618年），隋煬帝改州為郡，壽州改為淮南郡。唐代重新實行州縣兩級管理制度，淮南郡仍為壽州。后來唐玄宗雖曾一度改州為郡，但其所改壽州是“壽春郡”而非淮南郡，“淮南郡”于是永遠退出歷史舞臺。
其三，南陽淮南郡。
南北朝時期行政區劃極為混亂，因隸屬多變，興廢頻繁，異地重名，一名數出，雜亂無章的現象特別嚴重，如《南齊書·州郡志》，南豫州和司州各有一個淮南郡。南豫州淮南郡即前述江南淮南郡，司州淮南郡領閣口縣和平氏縣。閣口縣治所位今河南省桐柏縣東南，平氏縣治所即今桐柏縣平氏鎮。此淮南郡在淮河上游之南，倒也符合“淮南”的地理特征。因地處古南陽地區和今河南省南陽市區，故稱此郡為“南陽淮南郡”。
《魏書·地形志》同樣也有兩個淮南郡，其中揚州淮南郡即江淮淮南郡。另一淮南郡歸屬霍州，領淮南、新興、清河3縣。查《中國古今地名大詞典》，淮南縣由“西魏置，治今河南省桐柏縣境。隋開皇末改名油水縣”。雖然治所不同，但閣口縣與淮南縣均在今桐柏縣境，因之西魏淮南郡與淮南縣應是同時設置，是對南齊南陽淮南郡的繼承。
《隋書·地理志》注釋“漢東郡順義縣”說：“梁置北隨郡。西魏改為南陽（郡），析置淮南郡。（以）厲城、順義二縣立冀州，尋改為順州。”順義縣治所位今湖北省隨州市北，北鄰河南省桐柏縣，因此順州淮南郡與南陽淮南郡當為同一淮南郡，只是治所南遷而已。
其四，光州淮南郡。
《隋書·地理志》注釋“弋陽郡定城縣”說：“后魏置弋陽郡，及有梁東新蔡縣。后周改為淮南郡。”隋、唐兩代，弋陽郡與光州兩度互換，郡（州）治定城縣即今河南省潢川縣。東新蔡縣位今潢川縣東北。此地與江淮淮南郡為鄰。北周大象元年（579年）從南陳攻取獲得江淮，于此地設淮南郡。但北周先前已置江淮淮南郡，這就是“異地重名，一名數出”的突出表現。兩年后，隋代北周，隋文帝改此淮南郡為弋陽郡。(周 強)
