三国初分，吕梁为魏国境域。黄初二年（公元221年）设置西河郡，治兹氏县，辖离石、中阳等县；大陵、平陶二县仍属太原郡，蒲子县仍为平阳郡辖县。　　

　　西晋。吕梁境内各县分属于西河国和太原国，属县未变，仅兹氏县改隰城。东晋十六国时期，吕梁境内较为混乱。后赵石勒元年（公元319年）“以离石县境荒废”设置永石郡，寻改西河，后燕置离石护军。永兴后西河郡并入太原郡。　　　　　　　　

　　北魏初立，吕梁为太原郡境域，设置有大陵、平陶、兹氏等县。天兴初增设离石镇，延和三年（公元434年）设吐京镇，太平真君九年（公元448年），吐京镇下设岭东、岭西二县，平陶县移出区境，大陵县改受阳。太和八年（公元484年）复置西河郡，太和十年（公元486年）吐京镇改吐京郡，同年，废蒲子县，设汾州，吐京、西河等五郡为其辖郡。太和十七年（公元493年）设永安县，太和二十一年（公元497年）岭东县改新城，岭西县改吐京。 　　　　　　　　

　　东魏，吕梁仍为汾州和太原郡境域，汾州辖西河、吐京等郡，隰城、永安二县属西河郡；吐京、新城二县属吐京郡；受阳县仍属太原郡，离石境域仍设离石镇。　　　　　　

　　北齐、北周之际，吕梁当两政权纷争之地，北齐斛律金所筑长城的起点——金锁关即在区内黄芦岭上，今遗址尚存。当时吕梁境内设有西汾州怀政郡、南朔州西河郡、吐京郡神武郡和并州太原都。南朔州系由汾州改称，治所仍设隰城，西河郡隶属之。离石镇改怀政郡，辖县有昌化、良泉等县，蔚汾县属神武郡，受阳县属太原郡，吐京、新城二县属吐京郡，后因裁郡改属怀政郡。北周建德年间，西汾州改称石州；大象年间，南朔州改称介州；并增设定胡、窟胡、乌突三县及同名郡。

　　隋，吕梁分属于离石郡、西河郡、太原郡、楼烦郡、龙泉郡。离石、修化（窟胡县改）、太和（乌突县改）、平夷、定胡、宁乡等县属离石郡，西河郡辖县有隰城、永安二县，受阳县仍属太原郡，岚城县属楼烦郡，石楼县属龙泉郡。 　　　　　　　　　　

　　唐代，吕梁分属于石州、汾州、隰州、岚州、并州（后改太原府）。西河（隰城县改）、孝义（永安县改）二县属汾州，离石、平夷、定胡、临泉、方山属石州，宜芳、合河二县属岚州；石楼、温泉二县属隰州，交城、文水二县属并州（太原府）。 　　　　　　　　

　　五代时期，吕梁境域内所属未变。 　　　　　　　　　　　　

　　宋代，吕梁分属于石州、汾州、岚卅、隰州，晋宁军、太原府。离石、平夷、方山为石州辖县。西河、孝义为汾州辖县；宜芳、合河为岚州辖县；石楼、温泉为隰州辖县；定胡、临泉为晋宁军辖县；交城、文水二县为太原府辖县。　　　　　　　　　　

　　金代，仅因晋宁军被撤销，辖县改属石州，其它州县的隶属未变。

　　元代，吕梁大部属于太原路（后改冀宁路）管辖，境内设置有交城县、文水县、兴州、岚州、临州、石州 （辖离石县、宁乡县）、汾州（辖县有西河县、孝义县）。石楼为晋宁路辖县。

　　明初，吕梁除石楼县属隰州外，境内州县均属太原府。县有兴县、岚县、临县、交城、文水，州有石州（辖宁乡县〕、汾州（辖孝义县）。万历二十三年（公元1595年）五月，汾州升为府，并倚郭设汾阳县，原太原府所辖州县、临县、永宁州及辖县宁乡县和原汾州辖县改属汾州府，府治设汾阳县城。万历四十年（公元1612年）石楼县改属汾州府，清代沿用朝制，建置未变。

　　中华民国元年（1912年）取消汾州府建置，永宁州废州改县，三年（1914年）1月，永宁县改离石，宁乡县改中阳。民国七年（1918年），增设方山县。　　　　　　

　　抗日战争和解放战争期间，吕梁各县均属晋绥边区（先称晋西北）行政公署。

　　1949年9月，山西省人民政府成立以后，吕梁境内设兴县专区和汾阳专区，兴县专区辖有兴县、临县、离石、方山、岚县等11县，汾阳专区辖县有汾阳、孝义、交城、文水、中阳、石楼等9县。
　　
　　 1951年3月27日汾阳专区撤销，交城、文水、汾阳、孝义等县划归榆次专区，中阳县划归兴县专区；石楼县划归晋南专区。　　　　　　　　　　　　　　
　　
　　 1952年7月1日，兴县专区撤销，兴县、岚县划归雁北专区；临县、方山、离石、中阳划归榆次专区。　　　
　　1954年7月1日，离石、方山二县合并为离山县。1958年11月10日，文水、交城二县并入汾阳县，中阳县与离山县合并为离石县，孝义县并入介休县，岚县分别划入静乐和兴县，石楼县并人吕梁县。1959年9月19日除孝义县以外其它各县恢复建置，1961年5月恢复孝义县建置。
　　
　　 1971年5月1日。吕梁地区组建，同时恢复方山县，新增设娄烦、交口二县；1972年4月，娄烦县划归太原市；1971年10月5日，新增设柳林县。1992年孝义撤县设市；1996年离石市撤县建市；1996年汾阳撤县建市。