道光三十年（1850年），侨民霍格（W．HOGG）、吉勃（T．D．GIBB）、兰雷（LANGLEY）、派金（W．W．PAKIN）、韦勃（E．WEBB）5人组织跑马总会，自任董事，并以每亩不足10两银子的价格“永租”得土地81亩，在今河南路南京东路口，建成第一个赛马场（老公园），俗称“抛球场”，于第二年进行了第一次赛马。咸丰四年（1854年），他们把南京路、河南路口的老公园分10块以每亩超过200两银子的价格卖出；又从浙江中路南京路两侧以9700两银子的代价圈定了第二个跑马场（新公园）。咸丰十一年（1861年）又以10万两银子的价格卖掉第二个跑马场，向西移至西藏路以西，南京路以南（今人民公园处）强圈了500亩大小的第三个跑马场，共有草地跑道和硬地跑道两个跑圈。每次迁移都赚了大笔利润，又扩大了数倍土地面积。

　　赛马日期于同治二年（1863年）至民国8年（1919年）之间每年举行两次。春季赛马于4月下旬至5月上旬；秋季赛马于10月下旬至11月中旬，每次都进行4天。民国9年后，增加了几天预赛，有时也在周末或节日举行赛马。跑马总会会员有正式会员和其他会员之分，除华人外，外国人均可申请为正式会员，但申请后需投票委员会表决。跑马总会组织赛马只进行组织工作，并不供应马匹，参赛马匹均由马主私人豢养。跑马总会的收入除门票以外，主要靠赛马时博彩抽成，宣统元年（1909年）以前，采用挂牌定额分彩的方式，由各赌摊的老板向跑马厅交纳保证金后在场内设摊开赌，盈亏由摊主负责，跑马厅坐收盈利。以后为了追求更多利润，在赛马之前发行各种彩票，其中以香槟票为最多，华人买此彩票者甚多。二十世纪二三十年代，是跑马总会的全盛时代，1936年，作为万国体育会的债务担保人，收买了万国体育会5／8的股票，1938年全部接收了万国体育会的财产，跑马总会成了整个跑马厅所有场地的真正主人。

　　跑马总会大楼为后期跑马厅的主要建筑，由英国马海洋行设计，余洪记营造厂承建。面向跑马场，5层钢筋混凝土结构，包括会员俱乐部和来宾看台两部分，建于民国22年（1933年）。当时曾雇用水木工匠近千人，施工规模浩大，当时被称为远东最好的跑马场。建筑外貌具有古典主义构图的折衷主义特色，大楼外墙以褐色面砖和石块交织砌筑。西面有贯通二层、三层的塔什干式柱廊，北端是高53.3米的钟楼，上盖坡形楼顶，四面置直径达3.3米的大钟，气势壮观。室内装修考究，布置设计采用现代俱乐部式样。底层为会员及来宾售票处，两大间各长50米，宽33米。夹层是会员滚球场。底楼是会员俱乐部，有咖啡室一间，长33米、阔14米；外有走廊，长50米、阔8米；并有纸牌室、阅报室、弹子房等。南部有来宾小餐厅，外有走廊，前面即为斜倚式看台。二楼、三楼有会员包厢30处。顶层是职员住室。

　　1941年12月，日军进占租界，跑马总会被日军占领。直到民国34年10月，英国董事才返回跑马厅，重新恢复活动。1946年，上海市政府为收回跑马厅，曾与跑马厅总会进行了数次商洽，跑马总会为了有利于谈判，于第二年4月9日，向香港政府按公司登记法登记成三个公司。上海跑马总会有限公司（会所与看台）；上海跑马总会马厩有限公司（马厩和宿舍）；上海跑马总会场地有限公司（草地跑道）。当时，上海市政府迫于民意，没有同意跑马厅再开赛马，为此，跑马总会只得同意将跑马厅部分土地出让给政府，但要市政府在郊区以10倍的土地建成赛马场与之交换，后因接近解放，未成事实。1951年8月，人民政府将土地收归国有，跑马总会的建筑仍归总会所有，但需交纳土地税。由于解放后仍然不能经营赛马，没有收入，至1954年，已欠下大批地税及人员工资，跑马总会只得表示“愿将一切动产、不动产交大华企业公司，以充债款”。当年5月31日，跑马总会所有建筑物由人民政府接管。现跑马总会大楼作为上海美术馆馆舍。