1927年10月，南京国民政府大学院院长蔡元培倡导“以美育代宗教”的宗旨，委托当时的音乐专家萧友梅到上海筹建国立音乐院。 

萧友梅到沪后，参照法国“国立巴黎音乐院”，选址陶尔斐斯路（Route Dolfus，今南昌路东段）56号，办起了中国第一所音乐高校——“国立音乐院”。1927年11月27日，学院举行开院礼，宣布成立。由蔡元培兼任院长，萧友梅任教授兼教务主任。后萧友梅成为代院长。

1928年2月，虽因学校经费短缺，学校迁至霞飞路毕勋路口（淮海路）

国立音乐院在成立之初即登报招生，这在当时是新鲜事，即使是在敢领风气之先的上海，人们对此也报以观望态度，报名人数极少。在“著名教育家蔡元培担任院长”的广告感召下，勉强招了二十余人。 

虽然办学之初，学生寥寥，但国立音乐院从初期便建立了严格的管理制度。再加上萧友梅慧眼识英才，逐渐挖掘出许多中国音乐界的可塑之才。1928年，凭借着自学的一点琵琶知识，丁善德从昆山考入学院。同年，家贫无以维系的冼星海也进入学院，以半工半读的方式完成了学业。

当时，萧友梅广泛联络上海乃至世界的著名音乐家，或高薪聘请或苦言相劝，将其一一网罗至自己麾下。1929年，世界著名钢琴家查哈罗夫旅居上海。为请其任教于国立音专，萧友梅多次登门拜访相邀，并将月薪提至400元（普通教授为200元）。最终，查哈罗夫出任学校特约教授，兼钢琴组主任。查哈罗夫的教学以严格著称，培养出诸多钢琴演奏人才，被后世誉为“中国近现代钢琴教育之父”。

除去专业课，就连国文、英文等文化课，萧友梅也多请水平深厚之人前来教学。如易韦斋、龙榆生（时为暨南大学国文系主任）等都曾任这所学校国文课的教师。

1929年，南京政府修正大学组织法，规定仅传授一种专门技术的学校都应改为专科学校，并公布了“专科学校组织法”。国立音乐院也于此时更改为国立音乐专科学校（简称“国立音专”），萧友梅任校长。

1930年秋，萧友梅聘请留美回国的著名音乐家黄自出任教务主任。此后，二人携手为中国刚刚起步的专业音乐教育作出了巨大的贡献。

建国后，学校曾用名“中央音乐学院华东分院”，最终于1956年定名为“上海音乐学院”。自1927年开始，办学九十年来，上海音乐学院逐步形成了以作曲和作曲技术理论、音乐学理论研究为核心，以音乐表演艺术学科为主体，以应用音乐为延伸的音乐艺术学科综合体系，培养了一大批杰出的音乐艺术人才，被誉为“音乐家的摇篮”。