Nel corso delle Olimpiadi di Atene e di Parigi, la performance degli americani fu ottima, per cui dopo le Olimpiadi di Parigi, il CIO considerò di organizzare la successiva edizione in una città americana, il che corrispondeva anche alla speranza di Coubertin di internazionalizzazione delle Olimpiadi. Le città St.Louis e Chicago si candidarono contemporaneamente. Alla fine, dopo aver capito la situazione e ascoltato le opinioni degli esponenti interessati, il presidente americano del tempo e presidente onorario del Comitato olimpico Usa Theodore Roosevelt fu propenso per la città di St.Louis, che così diventò la terza città del mondo organizzatrice delle Olimpiadi. Ottava grande città americana, posta sulla riva destra del Fiume Mississippi, St. Louis presenta dei trasporti convenienti e un'industria sviluppata.

I Giochi olimpici si tennero dal primo luglio al 23 novembre 1904, continuando per più di cinque mesi, tuttavia videro la partecipazione di soli 13 paesi, il numero minimo registrato in tutte le edizioni delle Olimpiadi. Gli atleti presenti furono 689, 8 dei quali donne, tutte del paese ospite. Fra gli atleti partecipanti, gli americani furono 533. A causa della lunga distanza, delle forti spese di viaggio e dei timori per gli sviluppi della guerra marittima tra Russia e Giappone, molti paesi europei, tra cui la Francia, non si presentarono. Visto che gli atleti stranieri non arrivavano a 100, alle gare di certe discipline, come pugilato e tennis, parteciparono solo degli americani. Di conseguenza questa edizione venne chiamata "Olimpiadi degli Usa".

Nonostante il presidente Roosevelt avesse approvato che le Olimpiadi si tenessero a St.Louis, egli non si presentò alla cerimonia di apertura, come pure il presidente del CIO Coubertin, trattenuto in Europa per qualche motivo. Secondo la prassi, il leader del paese organizzatore e il presidente del CIO devono partecipare alle cerimonie di apertura e di chiusura delle Olimpiadi, per cui l'assenza contemporanea dei due è anche stata l'unica nella storia delle Olimpiadi.

Le Olimpiadi di St.Louis presentarono molti punti simili a quelle di Parigi. Le sedi delle gare e gli impianti sportivi furono molto semplici e il pubblico scarso. Dalle edizioni di Parigi e di St.Louis, il CIO e gli esponenti del settore sportivo riconobbero chiaramente che l'organizzazione contemporanea delle Olimpiadi e dell'Expo mondiale era stata un esperimento fallito.