秦朝
秦灭楚国后，将今安徽省江南、江西省划属九江郡。大约在秦始皇二十八年（前219年），因秦军大规模南下，准备与百越作战，因此分九江郡江南一带设置庐江郡。[1][2]
秦朝庐江郡治当番阳县（今江西省鄱阳县东北）。领县方面，综合后晓荣《秦朝政区地理》、周振鹤《中国行政区划通史·秦汉卷》二书所记，可考县份为新淦县、鄡阳县、番阳县、南昌县、余汗县、南野县、庐陵县、安平县8县。
汉朝
汉高祖元年（前206年）十月，沛公刘邦攻入关中，秦王朝覆灭。二月，项羽划地分封灭秦有功将领、旧六国贵族及秦朝降将等18人为王。庐江郡作为九江王英布的封地（前202年改封淮南王）。高祖十一年（前196年）属淮南王刘喜。文帝十六年（前164年）四月，以庐江、豫章二郡置庐江国，立淮南王刘长之子刘赐为庐江王。景帝四年（前164年）庐江王刘赐徒封衡山王，庐江国除，复为汉郡。元狩二年（前121年）七月，撤销江南庐江郡，东部划属丹阳郡，西部划属豫章郡。
汉朝庐江郡治当鄱阳县（今江西省鄱阳县东北）。领县方面，据《中国行政区划通史·秦汉卷》所记，为鄱阳县（今江西省鄱阳县东北）、彭泽县（今江西省湖口县东）、历陵县（今江西省德安县东北）、余汗县（今江西省余干县）、鄡阳县（今江西省鄱阳县西北鄱阳湖中）、柴桑县（今江西省九江市西南）、春谷县（今安徽省繁昌县西北）、宣城县（今安徽省宣城市宣州区西）、陵阳县（今安徽省池州市青阳县南）、泾县（今安徽省泾县西北）10县。[3]