国际饭店东侧的体育大厦，底层大门旁镶嵌着门牌“南京西路150号”。这里是上海市体育俱乐部（原西侨青年会），许多青少年曾经在这里参加过体育活动。但是，这幢建筑的历史鲜为人知。

　　20世纪20年代的上海，已经是受西方经济和文化影响很大的城市，许多西方人到上海来经商、传教和从事其他活动。1920年前后，美国侨民和欧洲侨民在上海达1.8万人。为了让西方侨民有个休闲和社交的场所，民国17年（1928年）美国人菲奇•洛克菲勒等筹款60万两银子，在静安寺路（今南京西路）规划建造一座现代化娱乐和体育为一体的联谊大厦－－西侨青年会大厦。

　　建筑占地1933.49平方米，建筑面积为11396.6平方米。美商哈沙德洋行承担设计，该洋行建筑师安铎生为该工程项目设计负责人。工程始建于1928年，竣工于1932年。

　　大楼前幢9层，后幢11层，钢筋混凝土结构。底层设滚球房和室内游泳池；二层设健身房、弹子房、棋牌室和交谊大厅；三层为餐厅。游泳池长22.75米，宽7.28米，约200平方米，深水区水深2.65米，浅水区水深1.05米。游泳池常年保持池水恒温，是上海市最早的温水游泳池。

　　1928年先建三层后，即投入使用，在西人社会有一定的影响。1932年续建四层以上旅馆部分，每层有30间客房。建筑坐北朝南，造型美观，立面具有西方古典建筑风格情调，但是又不繁复。立面竖向和横向均采用欧洲古典主义建筑横三段和纵三段的构图手法。三层以上中间部分后退，留出空间，形成凹字形，增强了建筑的立体效果，又满足了旅馆部分采光通风等功能的要求。立面外墙砌不同深浅的棕色面砖。底层中间三扇大门和左右各三扇门窗的门框均为浅色。二、三层用浅色、上细下粗的巨柱和穹形大长窗框装饰，使一至三层立面线条流畅又显得很有气派。四层以上墙面呈直线凸凹状，钢窗下的窗肚墙上饰浅色花饰。二层钢窗外采用与二至三层相同风格的穹形窗框，使建筑风格上下呼应。

　　西侨青年会建成后，成为西侨青年们的社会活动中心，各种演讲会、讨论会和社交活动都在这里举行，美国妇女俱乐部、美国体育联谊会、上海工部局美国连队在这里建立总部，还建立西侨学习华语学校。体育比赛是青年社交活动的主要内容之一，这里经常举办中西青年运动员比赛。1932年2月举办了第八届公开排球联赛，中国青年会集中了当时全沪好手组成强队，站胜了当时实力强盛的西侨队。

　　太平洋战争爆发后，大楼被日军接管，改为东亚体育馆。抗战胜利后又为美军活动的场所。1950年8月人民政府接管了大楼，上海市文化局曾在此办公。1953年10月，在陈毅市长的关心下，大楼划归上海市体委改为上海市体育俱乐部。经过4年多筹建，1957年12月28日正式对外开放，在大楼内筹建的上海市体育俱乐部正式对外开放。除八、九层为体委机关办公用房外，其他均是体育俱乐部用房。俱乐部通过开展游泳、水球、跳水、排球、篮球、体操、技巧、围棋、象棋和拳击等项目的业余训练，为中国体育事业输送了祝嘉铭、于烈峰、华以刚、乔元、杨文意、谢军等一批优秀运动员。