唐开元十二年(724)置麟州（治所在今杨家城）。天宝元年(742)改为新秦郡。乾元元年(758)复为麟州。五代时，县境先后属唐、晋、汉地域，仍置麟州。周、北汉，仍置麟州，与府州、胜州自立，随情势委依于周汉两大政权之间。宋，仍置麟州，属河东路。乾德五年(967)升麟州为建宁军，后复还旧制。端拱二年(989)改麟州为镇西军。

辽、金、夏时，为镇西军，后撤销镇西军，改为神木寨（仍在今杨家城，因城外有松树3株故名），先后被金、夏占有。

元置云州于神木寨。至元六年(1269),废州，设神木县，葭州领属的太和县（金建，在今太和寨） 并入。明洪武六年(1373)  改神木县为神木堡，属榆林卫。洪武十四年(1381)复置神木县，属葭州。隆庆年间，置东路神木道。

清雍正九年(1731)神木道改为延绥府道，移驻绥德，神木县属葭州，后属榆林府。民国初，神木县属榆林道（后改为榆林专署）。

1933年县境南部开始建立神府革命根据地。1936年4月15日神府特区抗日人民革命委员会成立，统辖神木县城以南及府谷县、葭县、榆林县的部分地区，与国民党神木县并存。1937年1月神府特区抗日人民革命委员会改为神府特区苏维埃政府，归中央政府西北办事处领导。10月神府特区苏维埃政府改为神府县政府 ，属于陕甘宁边区，与国民党神木县并存。1942年神府县由陕甘宁边区改属晋绥边区代管。1947年6月高家堡解放，神府县政府迁至高家堡。9月神木县城解放，国民党神木县政府瓦解，新的神木县政府成立，与高家堡神府县政府并存。1950年神府县、神木县合为神木县，治神木城。

1958年神木、府谷两县合并为神木县，县治在神木城。1961年分设为神木、府谷两县，同属榆林专区。1968年神木县隶属榆林地区革命委员会。1979年隶属榆林地区行政公署。2000年7月1日起，隶属榆林市人民政府。2017年7月23日神木撤县设市，标志着榆林市第一个县级市——“神木市”成立。