上海特别市政府办公楼旧址由两幢风格一致楼房组成，早先是于民国3年（1914年）5月设立的沪海道尹公署所在地。主楼为砖木结构的二层楼房（局部为三层），建造于1919年，建筑面积590平方米。辅楼为二层，建筑面积510平方米。两幢楼在二层北向有户外连廊联接，总平面呈L形。主楼建筑外墙为元宝缝清水红砖，平面为矩形，七开间，中间五间有前柱廊，下设四级台阶。屋顶为硬山式。在总体西式的建筑两端，造型独特的封火山墙高出屋面，采用了中国传统民居封火山墙的变异形式，曲线显得优美。二层朝南有开阔的敞廊供行走。

　　民国16年(1927年)4月12日，蒋介石在上海发动“四·一二”政变。4月18日，蒋介石在南京成立国民政府，将上海辟为特别市。5月18日，国民政府任命国民党元老黄郛为上海特别市市长。7月7日，上海特别市政府正式组建成立，选定交通路(今平江路48号)沪海道尹公署旧址为市政府办公楼；是日，黄郛在公署礼堂举行市长就职典礼，蒋介石亲临发表“训词”，强调上海对国民党政权统治的重要性，称上海特别市为“东亚第一特别市”。市政府成立后，按《上海特别市暂行条例》，接收了沪南、沪北工巡捐局、上海市自治公所、上海县会丈局，以及原淞沪商埠督办公署下属所有部门等以后，重新设置组织机构，形成了管理和控制上海华界地区的最高政权机构。

　　1927年8月13日，蒋介石辞去国民革命军总司令职，宣布“下野”，桂系控制上海。1927年8月15日，黄郛请辞上海特别市市长之职。9月16日，张定璠继任上海特别市市长。民国19年（1929年）3月，蒋、桂战争爆发后，桂系在上海失势，市长由张群接替。民国19年（1930年）7月，上海特别市按照南京政府颁布的《市组织法》改称上海市。张群任市长后，接收了洋商租地会丈局，限制租地范围，继续开发市中心区。民国20年（1931年），日本侵略者发动“九·一八”事变，侵占了中国东北领土，南京政府实行不抵抗政策。全国民众掀起了抗日救国运动，要求南京政府出兵抗日。1931年12月中旬，在社会舆论的谴责下，张群引咎辞职。

　　1933年，上海特别市政府新大厦在江湾落成，遂将市政府由平江路迁往江湾新大楼办公。平江路48号楼房后又由外交部上海办事处使用。1936年11月楼房转让给上海军医事业委员会。抗战期间，此处曾为汪伪政府办公机构的一部分。解放后，房屋收为国有，主楼曾一度作为医科大学幼儿园，辅楼为医科大学教工职工宿舍所在。1975年，电信科学技术第一研究所（原邮电部第一研究所）与上海第一医学院经房屋置换后将楼房作为办公所在地。