夏，为熏育氏族活动之地。商，熏育、龙方之域。西周，犬戎、西申（白翟）地。春秋时期，属林胡地。战国时期，北属林胡，南归魏境。魏置肤施县于境内（今党岔附近）。秦惠文王十年（前328),境归秦，属上郡肤施县。

西汉，分属朔方刺史部上郡奢延县（址于现靖边县城西北30千米红柳河南岸）和肤施县，亦说怀远堡等地属白土县（址在神木县南）。莽新，奢延县易为方阴县，西北部属之。东汉，属并州刺史部上郡肤施、奢延县，今响水一带归圈阴县（址在神木县南）。

三国、西晋，羌胡地。东晋、十六国，先后属前秦、后赵、后秦上郡。晋安帝义熙三年(407 )匈奴贵族赫连勃勃破鲜卑、薛 干等部，建大夏（定都统万城），归夏。南北朝，属北魏夏州（治所统万城）化政郡岩绿县（址原统万城，即今靖边县红墩界乡白城子），后归西魏化政郡。北周保定三年(563)银州（今党岔）一  带改属北周雕阴郡儒林县（址榆林县东南）。

隋，大业十三年(617)鹰扬郎将梁师都起兵反隋建梁国，属梁。唐，为关内道夏州朔方县(址白城子)、德静县(内蒙古自治区乌审旗东南)和银州儒林县。五代十国，属定难军夏州、银州。

北宋，以横山为界，西北部归西夏，南部为宋地属永兴军路延安府绥德军。南宋，以芦河、无定河为界，北部归西夏夏州，南部为金地属鄜延路绥德州。

元代，为陕西行省延安路米脂县。明，分属陕西省榆林卫和延安府米脂县。清雍正九年(1731)取“怀柔边远”之意，置怀远堡为县(治所今旧县城),属榆林府。

民国三年(1914)为别安徽省之怀远县，遂依境内横山山脉更名横山县。民国二十四年(1935)陕北工农政府领导群众开展土地革命，境内成立赤源县(址麻城界)和米 西县(址石窑沟乡牛肋脖湾)。1946年10月县府易帜，县境改属榆横政务委员会(设于镇川)管辖。1947年归陕甘宁边区政府绥德分区所辖。翌年，改属榆林分区。

1958年12月撤销横山县，县境分别划入榆林、靖边、米脂县。1961年9月县复，隶属榆林专区。1968年隶属榆林地区革命委员会。1979年隶属榆林地区行政公署。2000年7月1日起，隶属榆林市人民政府。2016年11月9日，横山撤县设区。