陽山地域，古為南交地，周時屬楚，戰(zhàn)國時境內(nèi)有陽禺國，治所在今縣之東，即青蓮峽頭一帶。秦時為長沙郡南境。西漢，漢高祖析長沙郡南部設桂陽郡,置陽山縣，屬荊州桂陽郡。漢獻帝建安十九年（214），孫權取桂陽郡地，遂屬孫權。建安二十五年（220），入含洭縣。吳甘露元年（265），析桂陽郡置始興郡，仍屬荊州，以含洭縣之桃鄉(xiāng)置陽山縣，屬始興郡。晉太康元年（280），始興郡隸屬廣州；永嘉元年（307），始興郡改隸屬湘州，咸和三年（328），始興郡又改為隸屬荊州。陽山縣皆隨始興郡改屬。南朝宋時，陽山縣屬始興郡。元嘉二十九年（452），始興郡隸屬廣州。元嘉三十年（453）又改隸屬湘州，陽山縣皆隨郡改屬。泰始六年（470），析始興郡置宋安郡，隸屬湘州，陽山縣屬湘州宋安郡。泰豫元年（472），廢宋安郡，陽山縣仍歸屬始興郡，元徽四年（476），改始興郡為廣興郡，陽山縣屬湘州廣興郡。建元元年（479），又改廣興郡為始興郡，陽山縣屬湘州始興郡。梁天監(jiān)六年（507），置陽山郡、梁樂郡（今縣境南部，治所失考），屬衡州（治所在含洭）。陽山郡轄含洭、陽山、桂陽、廣德四縣，梁樂郡轄梁樂、洊安兩縣.陳因之。

隋開皇十年（590），平陳，廢陽山、梁樂兩郡，置連州，陽山、梁樂兩縣屬連州。開皇十八年（598），梁樂縣改為宣樂縣。大業(yè)三年（607），廢連州，置熙平郡，隸屬荊州，陽山、宣樂兩縣屬荊州熙平郡。大業(yè)十三年（617），宣樂縣并入陽山縣，熙平郡屬蕭銑。

唐武德四年（621），平蕭銑，改熙平郡為連州，陽山縣屬連州。貞觀元年（627），連州屬江西道；天寶元年（742），改連州為連山郡，隸屬嶺南道。乾元元年（758），連山郡復為連州，隸屬湖南道。大歷三年（768），連州改隸嶺南道。陽山縣俱隨州郡改屬。五代南漢時，陽山縣屬連州。

宋開寶四年（971），平南漢，陽山縣屬廣南東路連州。

元至元十七年（1280），置連州路，陽山縣屬連州路。元至十九年（1282），升桂陽縣為桂陽州，初隸屬湖南道，后隸屬廣東道，陽山縣屬桂陽州。

明洪武元年（1368），陽山縣仍屬桂陽州。洪武二年（1369）四月，廢桂陽州，陽山縣并入連山縣，屬韶州府。洪武十四年（1371），復置陽山縣，屬廣州府。洪武十三年（1380）十一月連山縣從陽山縣析出。洪武十四年（1381），復置連州，陽山縣隸屬廣州府連州。

清初，陽山縣仍屬廣州府連州。雍正七年（1729），改連州為直隸州，陽山縣屬連州直隸州。

民國3年（1914），陽山縣屬廣東省嶺南道。民國15年（1926），屬廣東省北區(qū)。民國25年（1936），改屬廣東省第二行政區(qū)。

1949年10月1日，中華人民共和國成立。1950年1月，屬廣東省北江區(qū)。1952年9月，屬廣東省粵北行政區(qū)。1956年3月，屬廣東省韶關專區(qū)。1958年11月，陽山縣并入連陽各族自治縣，1960年10月，復置陽山縣，均屬廣東韶關專區(qū)。1979年，屬廣東省韶關地區(qū)。1983年6月，屬廣東省韶關市。1988年2月屬廣東省清遠市。