明末清初，天主教傳入中國後，一些教士為研究中國文化，匯集了大量書籍，但當時教士大多聚集北京，藏書樓也建於北京。

　　徐家匯藏書樓是法國天主教耶酥會士在上海創辦的第一家近代圖書館，隸屬於耶酥會總院，最初供天主教傳教士藏書與閱覽之用。藏書樓幾經變遷，現存的徐家匯藏書樓建於1896年至1897年間，兩層西式建築，仿照梵蒂岡藏書樓建造，當年是藏書樓的西文書庫，主要收藏西文神學文獻和漢學資料。1847年，當時的耶酥會修院從青浦橫塘遷至徐家匯，傳教士們便可是搜集年畫、地圖、家譜、碑拓等，他們還編撰、印刷西文圖書，從事中西文翻譯。所以這座兩層藏書樓在1897年建成時，就明確地將一樓作為中文書庫，二樓作為西文書庫。『神父樓』原為耶酥會總院所在地，為耶酥會神父住所，建於1867∼1868年間，後經改擴建，為四層西式建築，現也成為徐家匯藏書樓的一部分。

　　徐家匯藏書樓於1956年正式並入上海圖書館，同時，亞洲文會圖書館、海光圖書館、尚賢堂等機構的藏書也相繼並入徐家匯藏書樓。