國際飯店東側的體育大廈，底層大門旁鑲嵌著門牌『南京西路150號』。這裡是上海市體育俱樂部（原西僑青年會），許多青少年曾經在這裡參加過體育活動。但是，這幢建築的歷史鮮為人知。

　　20世紀20年代的上海，已經是受西方經濟和文化影響很大的城市，許多西方人到上海來經商、傳教和從事其他活動。1920年前後，美國僑民和歐洲僑民在上海達1.8萬人。為了讓西方僑民有個休閑和社交的場所，民國17年（1928年）美國人菲奇•洛克菲勒等籌款60萬兩銀子，在靜安寺路（今南京西路）規劃建造一座現代化娛樂和體育為一體的聯誼大廈－－西僑青年會大廈。

　　建築佔地2.08萬平方英尺，建築面積為12.27萬平方英尺。美商哈沙德洋行承擔設計，該洋行建築師安鐸生為該工程項目設計負責人。工程始建於1928年，竣工於1932年。

　　大樓前幢9層，後幢11層，鋼筋混凝土結構。底層設滾球房和室內游泳池；二層設健身房、彈子房、棋牌室和交誼大廳；三層為餐廳。游泳池長74.64英尺，寬23.89英尺，約2153平方英尺，深水區水深8.7英尺，淺水區水深3.445英尺。游泳池常年保持池水恆溫，是上海市最早的溫水游泳池。

　　1928年先建三層後，即投入使用，在西人社會有一定的影響。1932年續建四層以上旅館部分，每層有30間客房。建築坐北朝南，造型美觀，立面具有西方古典建築風格情調，但是又不繁復。立面豎向和橫向均采用歐洲古典主義建築橫三段和縱三段的構圖手法。三層以上中間部分後退，留出空間，形成凹字形，增強了建築的立體效果，又滿足了旅館部分采光通風等功能的要求。立面外牆砌不同深淺的棕色面磚。底層中間三扇大門和左右各三扇門窗的門框均為淺色。二、三層用淺色、上細下粗的巨柱和穹形大長窗框裝飾，使一至三層立面線條流暢又顯得很有氣派。四層以上牆面呈直線凸凹狀，鋼窗下的窗肚牆上飾淺色花飾。二層鋼窗外采用與二至三層相同風格的穹形窗框，使建築風格上下呼應。

　　西僑青年會建成後，成為西僑青年們的社會活動中心，各種演講會、討論會和社交活動都在這裡舉行，美國婦女俱樂部、美國體育聯誼會、上海工部局美國連隊在這裡建立總部，還建立西僑學習華語學校。體育比賽是青年社交活動的主要內容之一，這裡經常舉辦中西青年運動員比賽。1932年2月舉辦了第八屆公開排球聯賽，中國青年會集中了當時全滬好手組成強隊，站勝了當時實力強盛的西僑隊。

　　太平洋戰爭爆發後，大樓被日軍接管，改為東亞體育館。抗戰勝利後又為美軍活動的場所。1950年8月人民政府接管了大樓，上海市文化局曾在此辦公。1953年10月，在陳毅市長的關心下，大樓劃歸上海市體委改為上海市體育俱樂部。經過4年多籌建，1957年12月28日正式對外開放，在大樓內籌建的上海市體育俱樂部正式對外開放。除八、九層為體委機關辦公用房外，其他均是體育俱樂部用房。俱樂部通過開展游泳、水球、跳水、排球、籃球、體操、技巧、圍棋、象棋和拳擊等項目的業餘訓練，為中國體育事業輸送了祝嘉銘、於烈峰、華以剛、喬元、楊文意、謝軍等一批優秀運動員。