亚洲文会全称为“亚洲文会北中国支会”，是英国皇家亚洲文会的一个分设机构，也是英国人在上海设立的研究东亚文化的学术机构。1823年，英国政府为搜集亚洲各地自然和矿产标本而成立了皇家亚洲文会，并在印度、孟加拉等殖民地设立支会。1842年英国取得香港后，于1847年在香港设立“中国支会”，由英国伦敦布道会传教士伟烈亚力创办。

　　1857年10月16日，上海创立“上海文理学会”（初创），翌年始与设在香港的英国皇家亚洲文会联系，改名为皇家亚洲文会北中国支会。该会成为外国人在上海设立的最主要的自然、文化学术机构。它以搜集中国艺术、古币及天然物产的资料为目的，发行年报，并设立图书馆、博物院。自从被英国皇家亚洲文会吸收为设在上海的分会后，派裨治文担任会长。

　　该会为了收藏和展出搜集的标本，开展学术研究和讨论，于1868年2月正式通过组建博物院的提案。1871年，该博物院在英国领事和工部局的资助下，上海英租界当局在租界内划一地块给文会（即博物院路），并于当年建起会所。会所内有博物馆、藏书楼，试图建立一个东方学研究中心。其中楼上图书馆陈列了伟烈亚力捐赠的藏书718卷及许多小册子，公开借阅。之后更广泛搜集，使该馆西文藏书达1.5万册，另有中文书1000册。内容大多是有关地方的历史及宗教、语言、科学、艺术等。其所收藏的各种年代久远的杂志、报纸、报告书等具有很高的价值，如《上海工部局年报》、《华北捷报》、《中国汇报》、《博医会报》等。该馆于1894年出版了第一版藏书目录，1921年出至第五版。

　　亚洲文会俗称亚洲文化协会，自1871年建会所至1930年，这座历史建筑历经60年，已陈旧不堪使用，故拆除旧房重建大楼。大楼仍建在博物院路（今虎丘路20号），大楼请公和洋行设计。五层钢筋混凝土结构，平面呈正方形，1932年竣工交付使用。大楼建筑为装饰艺术派风格。立面竖向构图，正面向西，入口券门，两侧对称置八卦窗，一对石师神态威武。二层石质栏杆、压顶等为中国传统装饰。

　　当时大楼的底楼是演讲厅，二楼为图书馆，三楼以上置博物院的陈列室。其中四楼为生物标本展览厅，陈列各类动物标本一万余种。通道中玻璃橱内，有昆虫、爬虫、鸟卵、鸟类、兽类等骨骼或原形标本；大玻璃管内有各种蛇的标本；大厅中有形状独特、非鹿非马、似驼似牛的“四不像”；墙壁四周悬挂着各种角兽类头部标本。整个展览厅成了动物的大千世界。五楼为历史文物陈列室，有汉代砖石和石马，魏晋的石刻、石像、石碑，还有陶器、铜器、贝壳、墓像等。同时将仿制的唐代墓像并列展出，以便于参观者比较、鉴别。清代的展品中有各种服装、饰品，如官员的朝服、顶戴，将士的盔甲、战袍等。兵器有糖制的矛、戈、抢、箭镞及旧式手枪、步枪、来福枪等。另外陈列的古币很多，有中国古币和外国铜币，通道中还陈列有古代云茶船和古农具模型。

　　新中国成立后，亚洲文会内馆藏品分类处理，该大楼及藏书划归上海图书馆；矿产和自然标本归上海自然博物馆；文物及文物资料归上海博物馆，并由文管部门接管文会大楼，大楼为上海图书馆书库。（现为外滩源项目的一部分，大楼内的单位用户全部迁出）。1994年3月，由上海市人民政府、上海市房屋土地管理局公布为市级优秀近代保护建筑单位。

　　2005年12月，美国房地产公司洛克菲勒国际集团选择地产商百仕达控股有限公司作为合作方共同与上海新黄浦(集团)有限责任公司进行上海外滩源项目的开发工作，工程预计耗资2.5亿美圆。外滩源位于苏州河和黄浦江交汇处，东临黄浦江，北抵苏州河，西倚四川中路，南面滇池路，占地17.06公顷，为外滩历史文化风貌区的核心。今后这里将改建为混合用途区，集住宅、商用、酒店、购物、娱乐设施与其他公众康乐设施于一身。根据构想，上海洛克菲勒集团·外滩源将成为全世界最适宜居住、购物及游览观光的区域。