1949年9月，当涂县开始以自然村为单位建立民兵组织。至年底，全县半数自然村建立了民兵组织。1951年，对民兵组织首次进行整编，清除不纯分子494人，民兵总数由1950年的8000余人增加到10021人，其中基干民兵6000人，普通民兵4021人。1953年后，实行普遍民兵制，重点是建立民兵基干团。当涂县先于中闸乡进行普遍民兵制试点，随后以乡、村、选区为单位，分别建立民兵中队、分队和小队，要求18～40岁的男性参加民兵，基干民兵为18～25岁，普通民兵为26～40岁。至年底，全县14个区、2079个自然村均建立了民兵组织，并以县、区、乡为单位，分别组建了民兵基干团、营、连，此时全县有民兵16632人。1957年，根据生产体制的变革，再次对民兵组织进行整顿，基干民兵年龄改为18～30岁，以农业社或生产队设民兵小队，由2～5个小队编为1个分队，全县计有普通民兵10276人，基干民兵8793人。1958年4月，对民兵和预备役进行合编，全县共编大队36个、中队169个、分队546个，基干民兵27000人，普通民兵31000人。9月，对民兵组织进行调整，民兵年龄放宽到16～45岁，县设民兵师，农村以公社、大队、耕作区、生产队为单位，分别设立团、营、连、排；城区机关和工矿企事业单位也相应地建立了民兵组织，全县共建立民兵师1个、团16个、营205个、连615个、排2606个、班13093个，民兵171982人。另组建少先营1个，下编4个连15个排，有队员940人。1959年，结合整风整社，两次调整民兵组织，调换班以上干部1853人，清除不纯干部和民兵246人，共编民兵团10个、营121个、连470个，并在新桥公社始建工程兵第二排，与和县第一排合编为连。1960年，改以县为单位组建1个基干民兵团，下辖3个步兵营、1个炮兵营、4个直属(通讯、工兵、运输、卫生)连，计4765人，并与芜湖、繁昌两县合编为1个师。又以县为单位组建1个防化营，计582人；另在薛津、丹阳、博望组建1个侦察连，计有男兵220人，女兵30人。1961年进行民兵整组，改以公社、城区工交、文卫、财贸、姑山矿为单位各编1个团。
1962年，根据毛泽东关于“民兵工作要做到组织落实、政治落实、军事落实”的指示，对民兵组织开始进行普遍整顿，突出武装基干民兵的建设。在原有普遍民兵制和基干民兵建制的基础上，编组武装基干民兵连。至1963年，全县共编武装基干民兵连28个、排202个、班668个，民兵7749人，并在全县303个生产大队配备了专职民兵营长。1970年2月，按照组建地方部队的需要，实行“全面组建，重点武装”，在基干民兵中组建当涂县民兵独立团，下辖3个营、2个直属连、1个直属排，全团2332人。1973年冬，对民兵组织进行调整，全县编团31个、营322个，其中武装基干团1个、连31个、排141个。计民兵173620人，其中基干民兵93139人，武装基干民兵5050人。1974年7月，又在龙山桥公社组建武装基干团通信连，下辖报话、有线、通信3个排。11月，县成立“民兵指挥部”，随后，各公社也相继建立民兵指挥部，并组建民兵执勤小分队。1975年，开始在城关地区组建民兵高机连。1977年5月，撤销各级民兵指挥部和民兵执勤小分队。为了减轻群众负担，1980年将武装基干民兵由1979年的11958人调整为6592人。1981年6月，进一步缩小组建范围，简化组织层次和数量，取消了县民兵师、公社民兵团的编制，以生产大队组编民兵营，生产队编成民兵班排。将普通民兵、基干民兵和武装基干民兵改为基干民兵和普通民兵两种，全县共编基干民兵步兵连31个，通讯、重机、高机、地炮等4个专业分队；民兵总数也由1979年的174479人减少到66962人，其中基干民兵10729人。1984年，扩大专业技术分队的组建面，增编通信、82炮、重机、高机各1个连。1986年通过贯彻上级《民兵组织五年规划》，基干民兵人数减少到5500人；基干连压缩到36个，其中步兵连21个，专业技术兵连15个，专业技术兵占基干民兵总数的46％。1987年，组建民兵交通战备营，下辖3个运输连和工程抢修连、船舶中队、汽车、船舶修理厂各1个，计310人。1989年，在基干民兵中组建当涂民兵应急分队，共400人；各乡镇也建立了30～50人的民兵应急分队，以应付突发事件。