1683年12月，清廷决定，划出宁古塔将军所辖之西北地区，在黑龙江中游东岸的黑龙江城，增设镇守黑龙江等处地方将军，简称黑龙江将军。形成盛京、宁古塔、黑龙江三将军并立。宁古塔将军移住吉林乌拉后，于1757年改称吉林将军。这是黑龙江自成一个军事、行政区域并以“黑龙江”命名的开端。黑龙江将军之下先后设有黑龙江（瑷珲）、墨尔根、齐齐哈尔、呼伦贝尔、呼兰、布特哈、通肯等7城副都统和兴安城副都统衔总管。1862年（同治元年）开始，黑龙江将军辖区内取消副都统，相继设立道、府、厅、州、县等地方行政建置。

    1858年和1860年，沙俄通过不平等的《中俄瑷珲和约》和《中俄北京条约》，强行割占了黑龙江以北，乌苏里江以东100多万平方公里的土地，使黑龙江省和吉林省的行政区域大为缩小。

    1907年（光绪三十三年）4月，清廷对东北行政体制进行改革，废将军，设巡抚，为一省之长。实行省、府、县三级体制。在省之下、府之上设立道以为监察区域。在原黑龙江省区设有3道（瑷珲兵备道、呼伦兵备道、兴东兵备道），7府（呼兰、绥化、龙江、海伦、嫩江、黑河、胪滨），6厅，1州，7县。当时为吉林省所辖而现在属黑龙江省境内的尚有2道（设于哈尔滨的西北路分巡兵备道和设于三姓城的东北路分巡兵备道），7府（双城、宾州、五常、依兰、密山、临江、宁安），3厅、1州，7县。

    中华民国成立后，黑龙江省沿袭清代省、道、县三级体制，共辖龙江、绥兰、黑河3道。后增设呼伦道，共为4道，21县，6设治局。当时为吉林省所辖而今在黑龙江省境内的有滨江、依兰2道，18县。1930年黑龙江省辖42县，11设治局。当时隶属于吉林省今属黑龙江省的有22县。

    1917年俄国十月革命后，中国政府逐步收回中东路“附属地”的行政主权。1920年将该区域定为“东省特别区”。1922年东北当局设立东省特别区行政长官，以统一监督节制该区域内的军警、外交、司法各机关。1924年5月，北京政府批准东省特别区独立于黑龙江、吉林两省区域之外，成为与省并列的特别行政区。

    东北沦陷时期，日伪政权实行省、县（市）二级体制。从1934年开始对东北实行“分而治之”的政策，省的数量增多，区域划小。伪满覆亡前夕，东北地区划分为15省1特别市，其中在今黑龙江省内设有龙江、滨江、三江、黑河、北安、东安6省，下辖哈尔滨、齐齐哈尔、牡丹江、佳木斯、东安5市，74县，3旗。

    抗战胜利后，1946年8月，东北各省市行政联合办事处在哈尔滨成立，是东北地区最高行政机关，后改称东北行政委员会。在东北行政委员会领导下，实行省（特别市）、县（市）二级行政制度。