道光三十年（1850年），僑民霍格（W．HOGG）、吉勃（T．D．GIBB）、蘭雷（LANGLEY）、派金（W．W．PAKIN）、韋勃（E．WEBB）5人組織跑馬總會，自任董事，並以每畝不足10兩銀子的價格『永租』得土地34.9萬平方英尺，在今河南路南京東路口，建成第一個賽馬場（老公園），俗稱『拋球場』，於第二年進行了第一次賽馬。咸豐四年（1854年），他們把南京路、河南路口的老公園分10塊以每畝超過200兩銀子的價格賣出；又從浙江中路南京路兩側以9700兩銀子的代價圈定了第二個跑馬場（新公園）。咸豐十一年（1861年）又以10萬兩銀子的價格賣掉第二個跑馬場，向西移至西藏路以西，南京路以南（今人民公園處）強圈了216萬平方英尺大小的第三個跑馬場，共有草地跑道和硬地跑道兩個跑圈。每次遷移都賺了大筆利潤，又擴大了數倍土地面積。

　　賽馬日期於同治二年（1863年）至民國8年（1919年）之間每年舉行兩次。春季賽馬於4月下旬至5月上旬；秋季賽馬於10月下旬至11月中旬，每次都進行4天。民國9年後，增加了幾天預賽，有時也在周末或節日舉行賽馬。跑馬總會會員有正式會員和其他會員之分，除華人外，外國人均可申請為正式會員，但申請後需投票委員會表決。跑馬總會組織賽馬只進行組織工作，並不供應馬匹，參賽馬匹均由馬主私人豢養。跑馬總會的收入除門票以外，主要靠賽馬時博彩抽成，宣統元年（1909年）以前，采用掛牌定額分彩的方式，由各賭攤的老板向跑馬廳交納保證金後在場內設攤開賭，盈虧由攤主負責，跑馬廳坐收盈利。以後為了追求更多利潤，在賽馬之前發行各種彩票，其中以香檳票為最多，華人買此彩票者甚多。二十世紀二三十年代，是跑馬總會的全盛時代，1936年，作為萬國體育會的債務擔保人，收買了萬國體育會5／8的股票，1938年全部接收了萬國體育會的財產，跑馬總會成了整個跑馬廳所有場地的真正主人。

　　跑馬總會大樓為後期跑馬廳的主要建築，由英國馬海洋行設計，餘洪記營造廠承建。面向跑馬場，5層鋼筋混凝土結構，包括會員俱樂部和來賓看臺兩部分，建於民國22年（1933年）。當時曾僱用水木工匠近千人，施工規模浩大，當時被稱為遠東最好的跑馬場。建築外貌具有古典主義構圖的折衷主義特色，大樓外牆以褐色面磚和石塊交織砌築。西面有貫通二層、三層的塔什乾式柱廊，北端是高175英尺的鍾樓，上蓋坡形樓頂，四面置直徑達10.83英尺的大鍾，氣勢壯觀。室內裝修考究，布置設計采用現代俱樂部式樣。底層為會員及來賓售票處，兩大間各長164英尺，寬108.3英尺。夾層是會員滾球場。底樓是會員俱樂部，有咖啡室一間，長108.3英尺、闊46英尺；外有走廊，長108.3英尺、闊26.3英尺；並有紙牌室、閱報室、彈子房等。南部有來賓小餐廳，外有走廊，前面即為斜倚式看臺。二樓、三樓有會員包廂30處。頂層是職員住室。

　　1941年12月，日軍進佔租界，跑馬總會被日軍佔領。直到民國34年10月，英國董事纔返回跑馬廳，重新恢復活動。1946年，上海市政府為收回跑馬廳，曾與跑馬廳總會進行了數次商洽，跑馬總會為了有利於談判，於第二年4月9日，向香港政府按公司登記法登記成三個公司。上海跑馬總會有限公司（會所與看臺）；上海跑馬總會馬廄有限公司（馬廄和宿捨）；上海跑馬總會場地有限公司（草地跑道）。當時，上海市政府迫於民意，沒有同意跑馬廳再開賽馬，為此，跑馬總會只得同意將跑馬廳部分土地出讓給政府，但要市政府在郊區以10倍的土地建成賽馬場與之交換，後因接近解放，未成事實。1951年8月，人民政府將土地收歸國有，跑馬總會的建築仍歸總會所有，但需交納土地稅。由於解放後仍然不能經營賽馬，沒有收入，至1954年，已欠下大批地稅及人員工資，跑馬總會只得表示『願將一切動產、不動產交大華企業公司，以充債款』。當年5月31日，跑馬總會所有建築物由人民政府接管。現跑馬總會大樓作為上海美術館館捨。