亞洲文會全稱為『亞洲文會北中國支會』，是英國皇家亞洲文會的一個分設機構，也是英國人在上海設立的研究東亞文化的學術機構。1823年，英國政府為搜集亞洲各地自然和礦產標本而成立了皇家亞洲文會，並在印度、孟加拉等殖民地設立支會。1842年英國取得香港後，於1847年在香港設立『中國支會』，由英國倫敦布道會傳教士偉烈亞力創辦。

　　1857年10月16日，上海創立『上海文理學會』（初創），翌年始與設在香港的英國皇家亞洲文會聯系，改名為皇家亞洲文會北中國支會。該會成為外國人在上海設立的最主要的自然、文化學術機構。它以搜集中國藝術、古幣及天然物產的資料為目的，發行年報，並設立圖書館、博物院。自從被英國皇家亞洲文會吸收為設在上海的分會後，派裨治文擔任會長。

　　該會為了收藏和展出搜集的標本，開展學術研究和討論，於1868年2月正式通過組建博物院的提案。1871年，該博物院在英國領事和工部局的資助下，上海英租界當局在租界內劃一地塊給文會（即博物院路），並於當年建起會所。會所內有博物館、藏書樓，試圖建立一個東方學研究中心。其中樓上圖書館陳列了偉烈亞力捐贈的藏書718卷及許多小冊子，公開借閱。之後更廣泛搜集，使該館西文藏書達1.5萬冊，另有中文書1000冊。內容大多是有關地方的歷史及宗教、語言、科學、藝術等。其所收藏的各種年代久遠的雜志、報紙、報告書等具有很高的價值，如《上海工部局年報》、《華北捷報》、《中國匯報》、《博醫會報》等。該館於1894年出版了第一版藏書目錄，1921年出至第五版。

　　亞洲文會俗稱亞洲文化協會，自1871年建會所至1930年，這座歷史建築歷經60年，已陳舊不堪使用，故拆除舊房重建大樓。大樓仍建在博物院路（今虎丘路20號），大樓請公和洋行設計。五層鋼筋混凝土結構，平面呈正方形，1932年竣工交付使用。大樓建築為裝飾藝術派風格。立面豎向構圖，正面向西，入口券門，兩側對稱置八卦窗，一對石師神態威武。二層石質欄杆、壓頂等為中國傳統裝飾。

　　當時大樓的底樓是演講廳，二樓為圖書館，三樓以上置博物院的陳列室。其中四樓為生物標本展覽廳，陳列各類動物標本一萬餘種。通道中玻璃櫥內，有昆蟲、爬蟲、鳥卵、鳥類、獸類等骨骼或原形標本；大玻璃管內有各種蛇的標本；大廳中有形狀獨特、非鹿非馬、似駝似牛的『四不像』；牆壁四周懸掛著各種角獸類頭部標本。整個展覽廳成了動物的大千世界。五樓為歷史文物陳列室，有漢代磚石和石馬，魏晉的石刻、石像、石碑，還有陶器、銅器、貝殼、墓像等。同時將仿制的唐代墓像並列展出，以便於參觀者比較、鑒別。清代的展品中有各種服裝、飾品，如官員的朝服、頂戴，將士的盔甲、戰袍等。兵器有糖制的矛、戈、搶、箭鏃及舊式手槍、步槍、來福槍等。另外陳列的古幣很多，有中國古幣和外國銅幣，通道中還陳列有古代雲茶船和古農具模型。

　　新中國成立後，亞洲文會內館藏品分類處理，該大樓及藏書劃歸上海圖書館；礦產和自然標本歸上海自然博物館；文物及文物資料歸上海博物館，並由文管部門接管文會大樓，大樓為上海圖書館書庫。（現為外灘源項目的一部分，大樓內的單位用戶全部遷出。）1994年3月，由上海市人民政府、上海市房屋土地管理局公布為市級優秀近代保護建築單位。

　　2005年12月，美國房地產公司洛克菲勒國際集團選擇地產商百仕達控股有限公司作為合作方共同與上海新黃浦(集團)有限責任公司進行上海外灘源項目的開發工作，工程預計耗資2.5億美圓。外灘源位於蘇州河和黃浦江交匯處，東臨黃浦江，北抵蘇州河，西倚四川中路，南面滇池路，佔地183.6萬平方英尺，為外灘歷史文化風貌區的核心。今後這裡將改建為混合用途區，集住宅、商用、酒店、購物、娛樂設施與其他公眾康樂設施於一身。根據構想，上海洛克菲勒集團·外灘源將成為全世界最適宜居住、購物及游覽觀光的區域。