现代奥林匹克运动传入中国,并取得发展,经历了一个漫长的过程。1894年筹备第一届奥运会时,国际奥委会便向中国发出了邀请。当时的清王朝因对奥运会不了解,没有答复。1904年许多中国报刊曾报导过第三届奥运会消息。1906年,中国的一家杂志介绍了奥林匹克历史。1907年10月24日著名教育家张伯苓先生在天津学界运动会发奖仪式上,以奥林匹克为题发表了著名的演说。他指出:虽然许多欧洲国家获奖机会甚微,但仍然派出选手参加奥运会。他建议中国组队参加奥运会。1908年伦敦奥运会后,天津的一家报纸再次介绍了奥林匹克运动的历史,还提出了要争取这个盛会,举办了奥林匹克专题演讲会。1910年10月18日~22日,在“争取早日参加奥运会”和“争取早日在中国举办奥运会”口号的鼓舞下,在南京举办了中国历史上第一次全国运动会——“全国学校区分队第一次体育同盟会”。1913年开始举办的远东运动会(最初名为“远东奥林匹克运动会”),是奥林匹克运动在亚洲的先驱,中国是发起者之一。在远东运动会上中国运动员取得了较好的成绩,表现了良好的体育道德。1915年国际奥委会致电远东运动会组委会,承认了远东体协,并邀请中国参加下届奥运会和奥委会会议。1922年,我国的王正延当选为国际奥委会委员。1924年中华全国体育协进会成立后。中国陆续加入了田径、游泳、体操、网球、举重、拳击、足球、篮球等8个国际单项体育联合会。在第8届奥运会上,我国3名网球手参加了表演赛。1928年第9届奥运会上,我国派观察员宋如海参加。并进行了考察工作。1931年,当时的中华全国体育协会参加奥运会的历史由此开始。
1954年国际奥委会雅典年会中以23:21的票数承认了中华全国体育总会为中国奥委会,但同时却保留了中华民国奥委会,开了在一个国家中承认两个国家奥委会的先例。国际奥委会后来又作出允许这两个奥委会同时参加第16届奥运会的决定,并规定两个代表团使用的名称一个是“台湾中国”,一个是“北京中国”。
1956年到1979年间,中国奥委会未派代表参加奥运会,台湾选手杨传广在1960年罗马奥运会上夺取十项全能比赛的银牌。他是第一位获得奥运会奖牌的中国运动员。1968年墨西哥城奥运会上,台湾女子选手纪政获80米栏铜牌,她是第一位获得奥运会奖牌的中国女子运动员。
1984年7月,美国洛杉矶第二十三届奥运会,中国奥委会派出了一个大型体育代表团参加这次盛会。52年前,中国首次参加的第十届奥运会,地点也是在洛杉矶。当时运动员仅刘长春孑然一身。而这次运动员达225人,参加了除足球、曲棍球、拳击、马术、现代五项以外的其余16个大项的比赛。中华台北奥委会也派出67名运动员参加了田径、游泳、举重等项的比赛,这是海峡两岸中华儿女首次在夏季奥运会上相逢。重返奥运赛场的中国体育代表团,在洛杉矶奥运会开幕后的第一天,便展示出新兴世界体育强国的风采。许海峰在男子手枪慢射比赛中所获的金牌是本届奥运会决出的第一块金牌,一雪百余年来“东亚病夫”的耻辱。