明成化七年（1471）工部在芜设抽分厂，抽收过往各关口的竹木税，以10％的税率计征。这是芜湖最早的关税机构。清初，芜湖关分工、户两关征收关税。清咸丰元年（1851），芜湖关毁于战火。咸丰三年（1853）太平军在芜湖设龙江关。光绪元年（1875）复设芜湖工关、钞关。次年九月，中英《烟台条约》签订，芜湖辟为通商口岸。1877年2月18日芜湖海关建立，芜湖海关由外籍税务司管理关务，直接受命于外籍总税务司，专门征收轮船装运的进出口货物的关税。为区别于海关，原有芜湖工、钞关统称为常关，征收各州、县水陆要口的关税。
光绪二十七年（1901）《辛丑条约》规定：海关兼管五十里以内的常关。民国二年（1913）海关正式兼管五十里以内常关，五十里以内常关的税款专作偿还外债及庚子赔款之用。自海关建立以后，常关税源枯竭，征不足额。民国十八年（1929）海关接管常关。民国二十年（1931）因政府实行“裁厘加税”制度，常关奉令裁撤。民国二十七年（1938）一月，因日军侵占芜湖，芜湖海关闭关，人员南撤，民国三十五年（1946）六月正式裁撤，由南京海关兼管芜湖进出口贸易。
1979年，芜湖开放为一类口岸。1980年10月，芜湖海关重建。1985年全国实行关税改革。当年芜湖关税额为2878428元（人民币）。