合肥的奶牛业与基督教的传人密切相关。民国21年，美籍澳大利亚人葛思巍牧师来肥传基督教时，从美国携荷兰黑白花奶牛及美国短角红牛7～8头，初饲养于合肥基督教会内，面积约10余亩。产奶主要供教会人员和教会医院病人饮用，多余亦售给居民。民国30年12月7日，日军侵袭珍珠港，日美宣战，葛被日军送往上海集中营。奶牛悉数被国民党安徽省参议员路吉奎和日伪合肥合作社副理事长王平波占有。民国34年8月，葛回合肥，从路、王处要回全部奶牛，仍饲养于官盐巷葛的住宅园内。民国37年，解放战争节节胜利。是年夏末，葛思巍离肥赴滁县，奶牛移交给合肥基督教乡村服务协会，饲养地址迁至基督教农场，定名为“三自乳牛场”，此为合肥第一个奶牛场，时有奶牛10余头。1949年1月，合肥解放。2月，原在合肥传教的2位美籍女牧师魏锦生和李维乐由宁返肥，住葛原宅，又将奶牛迁到官盐巷，时有奶牛12头。1951年春，基督教会开展反帝爱国签名运动，2名女牧师被遣送回国，奶牛又迁回三自乳牛场，时有奶牛15头。1954年，基督教会在小南门外建立新场，由汪其天牧师负责，时有奶牛32头，日产鲜奶200多市斤。
合肥第一个国营奶牛场是皖北行署筹建的安徽省皖北行署农林处乳牛繁殖试验场。其前身是合肥西门农场(由“合作农场”改名)。“三反”、“五反”后，农业厅决定乳牛繁殖试验场下放给合肥市管。场名改为“合肥乳牛场”。1955年秋，“公私合营三自乳牛场”交合肥乳牛场统一管理。1956年底，共有奶牛92头。其中，成母牛42头，育成牛和犊牛50头。平均每头日产奶15.53市斤。
1956年，省公安厅从日本引进黑白花奶牛40头，于西七里塘建立了保健牛奶场。1969年，合肥乳牛场提供技术和牛源扶持郊区社队办17个奶牛场。市政府为了加快奶业发展，于1980年1月成立合肥市牛奶公司(隶属市农林局)。新组建的牛奶公司与合肥钢铁公司联营创办合钢奶牛场后，公司开始筹建合肥市蜀山奶牛场，并从新疆、上海、河南及本省潜山、庐江、淮南、肥西等地先后购进黑白花奶牛119头。同时奶牛专业户兴起，包括国营、集体、个体各种经济成份的奶牛业形成。1984年3月，经市政府批准，市牛奶公司改为局级行政性公司(隶属于市农委)，行使对全市奶牛业的行政管理职责。是年10月，经省、市政府拨款从丹麦引进黑白花奶牛90头，其中公牛2头，分别安排在保健牛奶场、蜀山奶牛场饲养。为了实行专业化生产，1985年4月，公司将安徽省保健牛奶场分为安徽省保健奶牛场和合肥市保健食品厂，将合肥乳品厂分为合肥奶牛场和合肥乳品厂。合肥市国营奶牛场有合肥奶牛场、安徽省保健奶牛场、合肥市蜀山奶牛场、合钢奶牛场。
此外，安徽农学院、安徽农科院畜牧兽医研究所、解放军合肥炮兵学院为解决教学试验和职工饮奶问题，相继办起了小型奶牛场。1979年省农业厅为了改良奶牛品种，推广良种奶牛冻精颗粒，在南卅里岗又建立了安徽省种公牛站。1985年底全市共饲养奶牛1907头，年产奶5000.4吨。
随着奶牛饲养业的发展壮大，乳品加工业也相应地不断向前发展。1969年9月27日合肥乳品厂第一次试产奶粉成功，1972年生产出牛奶冰棒和果汁冰棒。1980年市牛奶公司成立后，将合肥乳品厂和保健牛奶场乳品加工重新分工，合肥乳品厂以加工麦乳精、奶粉等固态乳品为主，保健牛奶场以消毒奶等液态奶为主。1984年，保健牛奶场酸奶试制成功。
合肥市奶牛行业已成为种、养、加“一体化”，产、供、销“一条龙”的综合性奶牛业。