上海特別市政府辦公樓舊址由兩幢風格一致樓房組成，早先是於民國3年（1914年）5月設立的滬海道尹公署所在地。主樓為磚木結構的二層樓房（局部為三層），建造於1919年，建築面積6352平方英尺。輔樓為二層，建築面積5490平方英尺。兩幢樓在二層北向有戶外連廊聯接，總平面呈L形。主樓建築外牆為元寶縫清水紅磚，平面為矩形，七開間，中間五間有前柱廊，下設四級臺階。屋頂為硬山式。在總體西式的建築兩端，造型獨特的封火山牆高出屋面，采用了中國傳統民居封火山牆的變異形式，曲線顯得優美。二層朝南有開闊的敞廊供行走。

　　民國16年(1927年)4月12日，蔣介石在上海發動『四·一二』政變。4月18日，蔣介石在南京成立國民政府，將上海闢為特別市。5月18日，國民政府任命國民黨元老黃郛為上海特別市市長。7月7日，上海特別市政府正式組建成立，選定交通路(今平江路48號)滬海道尹公署舊址為市政府辦公樓；是日，黃郛在公署禮堂舉行市長就職典禮，蔣介石親臨發表『訓詞』，強調上海對國民黨政權統治的重要性，稱上海特別市為『東亞第一特別市』。市政府成立後，按《上海特別市暫行條例》，接收了滬南、滬北工巡捐局、上海市自治公所、上海縣會丈局，以及原淞滬商埠督辦公署下屬所有部門等以後，重新設置組織機構，形成了管理和控制上海華界地區的最高政權機構。

　　1927年8月13日，蔣介石辭去國民革命軍總司令職，宣布『下野』，桂系控制上海。1927年8月15日，黃郛請辭上海特別市市長之職。9月16日，張定璠繼任上海特別市市長。民國19年（1929年）3月，蔣、桂戰爭爆發後，桂系在上海失勢，市長由張群接替。民國19年（1930年）7月，上海特別市按照南京政府頒布的《市組織法》改稱上海市。張群任市長後，接收了洋商租地會丈局，限制租地范圍，繼續開發市中心區。民國20年（1931年），日本侵略者發動『九·一八』事變，侵佔了中國東北領土，南京政府實行不抵抗政策。全國民眾掀起了抗日救國運動，要求南京政府出兵抗日。1931年12月中旬，在社會輿論的譴責下，張群引咎辭職。

　　1933年，上海特別市政府新大廈在江灣落成，遂將市政府由平江路遷往江灣新大樓辦公。平江路48號樓房後又由外交部上海辦事處使用。1936年11月樓房轉讓給上海軍醫事業委員會。抗戰期間，此處曾為汪偽政府辦公機構的一部分。解放後，房屋收為國有，主樓曾一度作為醫科大學幼兒園，輔樓為醫科大學教工職工宿捨所在。1975年，電信科學技術第一研究所（原郵電部第一研究所）與上海第一醫學院經房屋置換後將樓房作為辦公所在地。