商代晚期和西周初期，今榆林市境内生活着游牧民族—鬼方。时，鬼方族已进入阶级社会 ，形成国家的雏形（清涧李家崖古城址发掘证明）。

西周时，今榆林市境内大部分为犬戎所占。春秋时，北部为林胡（林人）占据，称之为榆中，西南部（白于山南）为朐衍所占据，东南部（清涧一带）为白翟所占据。战国初期，原白翟之地被林胡占据，朐衍占地为秦所夺。

周襄王十七年（前635),晋文侯攘狄，据赤翟、白翟于西河圁洛间。晋国是第一个进入陕北的华夏国家，最迟在春秋后期占有了今榆林市的南部诸县。

战国初，魏、赵两国继承晋在黄河西岸的疆域。魏惠成王十二年（前360),魏国设上郡，郡址在今鱼河、党岔附近。北方为上，上郡之上是相对于西长城的起点——郑（今华县）而言。战国中期出现的郡县制很可能最先是在今榆林市境内实行的。

周显王八年（前361)魏筑长城塞固阳（今府谷县西北），自郑滨洛以北有上郡。周显王四十一年即秦文王十年（前328), 魏秦争战，魏战败，献黄河西岸上郡15城与秦，秦设上郡，治肤施。

周赧王九年即赵武灵王二十年（前306), 赵西略翟地至榆中（即今府谷以北河套地）。周赧王十五年（前300) ,赵攻中山至云中、九原，旋灭中山，迁其王于肤施。

秦昭王四十三年（前264), 秦又置上郡。秦王政二十二年（前225),秦王巡北边，归至上郡，遣将蒙恬掠取河南地（即河套以南土地）。次年，初置榆中、新秦两城，沿河大筑长城。秦王政二十五年（前222), 修直道从九原抵云阳，秦始皇使长子扶苏监军于上郡。

秦王政二十六年（前221),秦统一六国，实行郡县制，境内设上郡、北地郡。上郡，治肤施；北地郡，治义渠（今甘肃省庆阳南）。

汉高祖元年（前206),项羽封秦之降将为王，立董翳王上郡，为翟王。汉高祖二年（前205) ,翟王降于汉高祖，又置上郡。汉高祖七年（前200),置西河郡，秃尾河、无定河流域增设县治。汉初，沿袭秦制，境内设上郡、西河郡、北地郡。今安边附近南北一带为匈奴所占据。

汉武帝时，郡之上增设州，又称刺史部（不设固定治所，实质上为一级监察区而非行政区），境内上郡、西河郡和北地郡均属朔方刺史部。

东汉，仍延续州（刺史部）、郡、县制，境内郡建置未变，西河郡、上郡归州刺史部，北地郡归凉州刺史部。

三国至西晋，境内被羌胡占据，未置州郡。

东晋，境域曾先后属前赵（匈奴）、后赵（羯）、前燕（鲜卑）、前秦（氐）、（上郡中间一段为后赵领地，置朔方郡）、后秦（羌）。东晋义熙三年(407),匈奴王赫连勃勃建立大夏国，建都统万城， 曾统治黄河以西、阴山以南、六盘山以西、延安——庆阳一线以北地区，建置无考。

北魏太武帝始光四年(427),北魏灭大夏，设统万镇（北魏实行州郡政治，设统万镇为边关临时建置）。北魏太和十二年  (488) ,统万镇改设夏州。时，境内设夏州（治统万城）、东夏州（治延安甘谷驿）、西安州（治在宁夏境内，也有一说在定边）3 州5郡。境内有：化政郡属夏州，治统万城；阐熙郡属夏州，治山鹿县（在今靖边县境）；朔方郡属东夏州，治魏平（在今子洲境内）；大兴郡属西安州，治大兴（今定边镇）。

西魏时，循北魏旧制，州、郡、县废设无常。西魏大统十二年(546),增设长州（治长泽，今靖边与内蒙古交界处），化政郡改名弘化郡，大兴郡改名为五原郡。西魏废帝元年(552),撤朔方郡，设绥州（治上县，今绥德）和安宁、安政、抚宁3郡（所辖 地域无考）。

北周时，仍袭州、郡、县制。北周保定二年(562),增设银州（治儒林、党岔）、中乡郡，西安州改称盐州。

隋开皇元年(581),建制如前，因避文帝之父杨忠名讳，中乡郡改名真乡郡。开皇三年(583),撤郡县制，并郡为州，以州统县。境内设夏、长、绥、银4州。隋大业元年(605),绥州改称上州。大业三年(607),复改州为郡。雕阴郡，治上县（今绥德镇）；榆林郡，治榆林（今内蒙古托克托南黄河岸边）；朔方郡，治岩绿（白城子）；盐川郡，治五原（今定边）。

隋末唐初，境域为地方豪强梁师都占据，自称梁国，唐贞观二年(628)为唐所灭。

唐朝，实行道、州、府县3级制，境域属关内道。贞观二年  (628),灭梁师都后，复设银、绥、夏3州。开元十二年(724),增设麟州（州治在今神木杨城，可能是府县建置）；开元二十九年(741) ,境内设胜、银、绥、夏、盐5州，另外，南缘可能有延、庆两州属地。胜州，治榆林（今内蒙古托克托附近）；银州，治儒林（今党岔附近）；绥州，治上县（又称龙泉，今绥德）；夏州，治朔方（今白城子）；盐州，治五原（今定边）。天宝元年(742),撤州，设上（今绥德）、银川（今党岔）、朔方（今白城子）、新秦（今杨城）4郡。乾元元年(758),撤郡，复设绥、银、夏、麟 4州。元和十五年(820),宥州迁设于定边一带（宥州原在内蒙古鄂托克旗）。

后唐、后晋，建制同前。后汉，设永安节度使。

宋初，西夏占据境内大部分地域，未设郡县，东部黄河沿线为西夏与宋拉锯之地，设丰州（府谷东北部及内蒙古准格尔旗南部）、府州（府谷）、麟州（神木）、晋宁军（今佳县，辖地包括神木南部、吴堡、山西临县等）。稍后，宋占领境内南部，划归永兴军路，设绥德军、延安府、保安军、庆州、定边军、环州［后两军两州东西分定边白于山（当时称横山）以南］。宋熙宁三年  (1070),宋收复宥、绥2州，废城隶延安府。宋元符二年(1099),  改绥德军，属陕西路。宋时，西夏长期占领境内北部，增设左厢神勇军司、祥祐军司、嘉宁军司及银、夏、石、龙、洪、宥、盐等州。正大三年(1226),金从西夏争得府谷等地。正大四年(1227)灭西夏，与神木、府谷一带划归葭州，其他地区划归绥德州。

宋高宗南渡之后，境内被金占领。同时，西夏曾占据今靖边、府谷、定边大部及神木、榆林（今榆阳区）、横山北部。金在境内东部设葭县，隶河东北路；南部设绥德军，隶鄜延路；定边南部为庆阳府和环州分别占据一部分，府州隶庆原路。金大定二十二年(1182),绥德军改称绥德州，葭县升为晋宁军。大定二十四年(1184),晋宁军改称葭州。

元朝，实行省、路（府）、州（县）制，境内地域属陕西行省，定边大部（毛乌素沙带以南）属庆阳府，其他皆属延安路。延安路下设葭、绥德、鄜3州（鄜州在今延安地区南部），葭州、绥德州在境内。

明代，将元代的行省改为布政使司，境内长城以南地域属陕西承宣布政使司。洪武三年(1370),延安路在境内设葭、绥德、鄜3州。

明成化七年(1471) ,长城沿线设榆林卫、延绥镇（今榆林市），为九边重镇之一。

清初，陕西、甘肃两省合设。康熙五年(1666),陕西、甘肃分设，陕西下设5道，今榆林市属延榆道，仍设葭、绥德2州及榆林卫，定边、靖边、清涧属延安府。雍正三年(1725),绥德升为直隶州。雍正八年(1730),榆林卫改设榆林道。

民国二年(1913),废除府州制，全国分为22个道和4个特别行政区，境内设榆林道，治城榆林。

民国二十二年(1933),撤销道制，省辖县。1935～1938年,先后在榆林县内设立陕西省第一行政督察区（又称专员行政公署辖区），在绥德县内设立陕西省第二行政督察区。1940年，第二行政督察区迁往耀县。

1931年中国共产党建立以瓦窑堡为中心的陕甘宁苏区，下辖陕甘（中心设在南梁）、陕北（中心设在保安）两个苏维埃政府。

1935年中央红军到达陕北，苏区得到发展，11月成立苏维埃中央政府西北办事处，将苏区划为陕北、陕甘、陕甘边3省和关中、神府2个特区。

1937年9月6日中共中央在延安成立陕甘宁边区政府，下设绥德、三边、关中和陇东4个分区，神木、府谷东部一带设神府特区，府谷县麻镇一带为河府县，归晋绥边区政府领导。

1946年11月建立榆横政务委员会，隶属陕甘宁边区政府领导，下辖镇川、横山两县，机关设横山县武镇，后迁至鱼河堡。1947年12月，榆横政务委员会撤销。

1949年榆林、神木、府谷解放，撤神府特委及河府县，设神木、府谷两县；撤三边分区及镇川县，成立榆林分区。时，陕甘宁边区政府迁往西安，延安设陕北行政公署，绥德、榆林两个分区属之。

1950年12月撤销陕北行署，成立陕西省人民政府，省辖专区，榆林、绥德两分区均改为专区。

1956年10月撤销绥德专区，其所属延川、子长2县划归延安专区，其余6县并入榆林专区。

1968年榆林专员公署改设为榆林地区革命委员会，为一级政权机构。1979年改为榆林地区行政公署，为省人民政府派出机关。

2000年7月1日撤销榆林地区行政公署，设榆林市人民政府。