20世紀20∼30年代，國民政府一方面慫恿在上海的外國勢力不斷擴充，外國租界飛速發展；另一方面又迫於輿論壓力，一心想在上海的東北隅，搞一個《大上海計劃》，建立一個新的市中心，希冀以此與外國租界『競爭』、『抗衡』，並特別提出要在新市中心興建一個『文化中心』，也就是在特別市政府大廈左側前修建上海市博物館，右側前修建市立圖書館，成為市政府前左右對稱的兩翼。建成後的這兩棟建築物都是中國新古典主義大樓，形成了以市政府大廈為中心的強烈中軸線，反映了當時中國建築師在中國傳統建築形式中的新思維、新創造。

　　近代上海市立博物館是上海歷史上第一次由政府撥款籌建的博物館。為籌建此館，政府還發行了350萬圓（舊幣）公債。博物館在1936年建成，1937年元旦開放，現為長海醫院影像樓。該博物館坐東朝西，佔地1.83萬平方英尺，建築面積3.67萬平方英尺，造型同上海市立圖書館相似，仿北京的鼓樓，館屋如城，外圍長牆，中間建起蓋有黃色琉璃瓦的高大門樓一座。牆高34.45英尺，門樓屋脊高出地面約78.75英尺。外牆用大石塊砌築，骨架為鋼筋混凝土結構，中間是歇山二重檐。由於功能上的需要，僅底層開窗，兩翼為平房，門廳及陳列廳內有朱紅色柱子和傳統的彩畫、梁枋及藻井。

　　博物館大樓平面形狀同舊上海市立圖書館大樓一樣，也為『工』字形，同樣前面兩側各外伸一段，形成大門前的『門』字形廣場。底層為方形門廳，其中有樓梯、衣帽間、售品部等房間。由此向內，為一大廳，亦可稱序言大廳，正前方設左右對稱樓梯各一座。大廳兩旁設過道，過道前部左右兩翼為辦公室、研究室、庫房等。左翼突出處為演講廳，可容納三百人。第二層中央分設歷史和藝術兩部，歷史部主要陳列與上海歷史有關的文獻和文物，屬地方志博物館性質；藝術部以中國古代的青銅、繪畫、陶瓷陳列為主，屬藝術博物館性質。兩翼為陳列廳，上蓋玻璃頂棚。

　　中央二層前面陳列廳之上有夾層，由此經露天樓梯可達頂層（門樓），四周設平臺，可以遠眺。門廳下面有地下室，內設鍋爐房。門廳為水磨石地面，陳列室地面為檀木地面，采光用多束光線投射，並裝有空調設備。這些設施對一所近代博物館來說，條件是相當良好的。市立博物館在未開館前，承辦了一次中國最早的一個全國性的建築展覽會，取得了卓越的聲譽。

　　20世紀30年代，中國城市的近代化加快推進，不少城市建設有規模地展開，城市新建築，包括居住建築和公共建築大量出現。自20年代起，國外各種建築思潮、建築流派廣泛傳入中國，它們在向我國的建築事業輸進新鮮血液的同時，也猛烈地沖擊了中國的建築界。面對眼前已經興起的建築高潮，在傳統和現實的矛盾中，中外文化的沖突與融合中，中國的建築界進入了深深的思考和探求。正是在這樣的背景下，最初在1935年時，北平（現今的北京）中國營造學社就有意向，以該社歷年研究所得，和處在建築高潮中的上海同仁聯合舉辦了一個建築展覽會。但南北兩地聯手不易，此事未有結果。到1936年春天，上海市立博物館建成後就有了一個優越的展覽條件。於是上海建築界決定在本地首先組織一個全國性的建築展覽會。

　　1936年2月28日，30多位過去或當時負責建設事業的官員，著名的建築師、工程師和營造業主，一起聚會於八仙橋青年會（今青年會賓館）九樓，共同商討在上海舉辦一個全國性的建築展覽會事。曾經擔任過交通總長、鐵道部長的葉恭綽明確闡述了發起這個展覽會的緣由：『本會發起之意義，欲在集合全國之專門學者及建築同業，共謀改進之策，期於學理上、事實上獲得新知識、新方法，以適合時代需要，同時於我國建築固有之優點，使大眾有充分之認識，並以應用於現代之建築物上，以創造中國建築之作風，樹立東方建築藝術之新規模。』、

　　在這次發起會上，通過了《中國建築展覽會章程》，又推舉通過了展覽會的組成人員；展覽會下設征集組、陳列組、宣傳粗、事務組等四組；決定舉辦日期為1936年的4月9日至15日，自3月1日起即開始向全國征集展品；展覽地點確定在江灣上海市立博物館內。1936年4月12日，中國建築展覽會在博物館內的大禮堂舉行了開幕儀式，展覽會的發起組織成員、各界代表共五百餘人出席了典禮。展覽會於19日結束，共展出八天，觀眾如潮，取得了很大成功。這次展覽會對於弘揚我國建築文化傳統，推動我國建築界的改革，具有深遠的意義。

　　舊上海市立博物館是上海市第二批被確定的上海近代優秀保護建築單位之一。