Первый национальный олимпийский комитет в нашей стране появился еще в 1911 году. Спортсмены дореволюционной России приняли участие в Олимпийских играх 1908 и 1912 годов, завоевав 1 золотую, 2 серебряные и 2 бронзовые медали. Однако в 1917 году Олимпийский комитет, как и другие организации, объявленные большевиками буржуазными, был упразднен.

Уже во времена СССР советские спортсмены состояли во многих международных спортивных федерациях и вели в них активную работу. Количество золотых медалей, завоеванных ими на разных международных турнирах, непрерывно росло. Вопрос об участии Советского Союза в Олимпийском движении стоял уже давно. Международный олимпийский комитет хотел видеть советских спортсменов на Олимпиадах. 

23 апреля 1951 года был создан Олимпийский комитет СССР (ОК СССР), положивший начало Олимпийскому движению в нашей стране. В мае того же года Международный Олимпийский комитет вынес решение о признании ОК СССР, что позволило советским спортсменам стать полноправными участниками Хельсинской Олимпиады 1952 года и участвовать во всех последующих Олимпийских играх (за исключением Олимпийских игр в Лос-Анджелесе, 1984).

В соответствии с Олимпийской хартией, ОК СССР содействовал развитию олимпийского движения, физической культуры и спорта в стране, расширению и укреплению международных спортивных связей, формировал национальную олимпийскую команду, направлял спортсменов на олимпийские состязания, осуществлял контроль за их выступлением на играх, обеспечивал финансирование, экипировку, проезд и размещение команд на Олимпиадах.

Также ОК СССР сотрудничал с Национальным олимпийским комитетом и другими организациями, входящими в признанные международные спортивные объединения. В состав комитета входили представители всех спортивных федераций и спорткомитетов СССР и союзных республик, известные спортсмены, видные деятели спорта: Ю.Власов, С.Муратова, П.Колчин, В.Куц и другие. 

В разные годы Олимпийский комитет СССР возглавляли такие известные представители отечественного и мирового спорта, как К.Андрианов, С.Павлов, М.Грамов, В.Васин, В.Смирнов.

В 1992 году в связи с распадом Советского Союза Олимпийский комитет СССР прекратил свое существование, его правопреемником стал Олимпийский комитет России (ОКР)