1894年6月，经过巴黎国际体育会议协商，历史名城雅典赢得了首届现代奥运会主办权。

第一届奥运会克服重重困难，终于在1896年4月6日开幕了。这是历届奥运会举行月份最早的一次。东道主之所以将开幕式选在这一天，是为了纪念希腊反抗土耳其统治起义75周年。

4月6日下午3时，希腊国王乔治一世宣布了大会开幕。维凯拉斯、顾拜旦等国际奥委会官员出席了开幕式。在开幕典礼中，演奏了一曲庄严的古典弦乐，1958年国际奥委会将它定为奥运会会歌，会歌作曲者为希腊人萨马拉斯，作词者为帕拉马斯。希腊人对这次大会表现了极大的热情，出席开幕式的观众达8万人，这一数字直到1932年洛杉机奥运会才被打破。

应邀参加首届现代奥运会的有澳大利亚、奥地利、保加利亚、英国、匈牙利、德国、丹麦、美国、法国、智利、瑞士、瑞典和东道主希腊13个国家的311名运动员，希腊代表团的阵容最庞大，共有230人，占总人数的三分之二；德国、法国各19人；美国14人，居第四位。美国选手大都来自哈佛、普林斯顿大学，他们是自行组织、自筹经费，是抱着到欧洲观光的目的参加的。他们原以为大会在4月18开幕，4月1日到达意大利后才得知开幕日期是4月6日，因此只好放弃一切游览计划，赶在开幕前到达了雅典。

首届奥运会东道主沿袭了古奥运会旧制，不允许女子运动员参加。对于参加国的资格，不像今天一样，有非国际奥委会会员国不得参加的规定。希腊向包括中国在内的世界各国发出了邀请，但绝大多数国家因对奥运会不甚了解或其他原因，都未派队出席，中国亦属此列。希腊的邻国意大利曾去了一名米兰的运动员，这也是意大利派出的唯一选手。但大会组委会认为他是职业运动员，因此未被允许参加。

雅典的大理石体育场是首届奥运会的主要运动场，它是在雅典古运动场的废墟上重建而成的。

首届奥运会比赛项目有田径、游泳、举重、射击、自行车、古典式摔跤(当时称希腊--罗马式)、体操、击剑和网球9个大项，原计划中有赛艇项目，后未举行。东道主没有设200米跑项目，这在奥运会史上是仅有的一次。

4月6日，比赛拉开了序幕。美国选手詹姆斯-康诺利在三级跳远赛中旗开得胜，以13.71米夺得现代奥运会的第一个冠军。他获胜后，运动场上奏起了美国国歌，升起了美国国旗。此后，奏国歌、升国旗成了奥运会颁奖仪式上的固定程序。

在男子100米决赛中，美国的托马斯-伯克采用了近似“蹲踞式”的起跑法，最终以12秒整的成绩夺得了冠军。本届110米跨栏，实际比赛距离是100米，栏也只有8个。比赛时，运动员的过栏姿势也是五花八门，有的甚至是双腿蹦过栏后再跑。预赛时有7人，决赛仅剩下2人，结果美国跨栏冠军托马斯-柯蒂斯摘下了这顶桂冠。

雅典奥运会最热烈、最轰动的比赛场面是马拉松比赛。奥运会前，法国语言学家米歇尔-布里尔曾赴希腊考察，对马拉松战役中的传奇英雄菲迪皮得斯非常钦佩。公元前490年希腊在马拉松河谷以少胜多，大败入侵的波斯军。当时，担任传令兵的菲迪皮得斯，奉命把这一胜利消息迅速转告固守待援的雅典，他不顾疲劳，从马拉松跑到雅典，到达雅典后已精疲力尽，只说了一句“我们胜利了！”就倒毙在广场上。布里尔有感于这一英雄事迹，写信给顾拜旦建议，在奥运会田径赛中专门增设一项马拉松比赛，并提出捐献一个“布里尔银杯”，作为对冠军的奖励。

雅典奥运会马拉松赛采用的是昔日菲迪皮得斯所跑过的路线，从马拉松至雅典，全程40公里。当时雅典只有13万5千人，而观看马拉松比赛的竟达10万人之多。当身着浅蓝色背心的希腊选手斯皮里东-路易斯第一个冲进运动场时，全场雀跃，欢声雷动。希腊王储不由自主的跟着路易斯一起跑完了最后一段距离，而国王乔治一世也步下观礼台，亲自迎接这位凯旋的英雄。人群潮水般地涌入场内，争相拥抱路易斯，不断把他抛向空中，他获得了希腊民族英雄的光荣称号。但路易斯并没享受高官厚禄的殊荣，而是仍然回到了偏僻的家乡，继续做他的乡村邮递员，和妻儿一起过着清贫的生活，直至1940年去世。人们为了纪念他，在他的墓碑上刻下了奥林匹克五环的标志。马拉松比赛将第一届奥运会推向高潮，从此，这项运动在世界各国推广开来，路易斯被称为“奥林匹克之魂”。

游泳比赛在公海举行，用浮艇拉着缆绳作为起终点标志线。距离未经过仔细测量，只是大致估算。赛时天气阴冷，海水冰凉，加之波涛很急，个别选手甚至望而却步。匈牙利选手阿尔弗雷德-哈约什获得了100米和1200米自由泳两项冠军，成为匈牙利第一个奥运会金牌获得者，被希腊报纸誉为“匈牙利海豚”。

举重、摔跤在当时未按体重分级。举重只有单手举和双手举两项。当时对运动员参赛项目没有规定雅典奥运会奖牌榜排名，也没有参赛标准，因此，不少运动员是跨项的。摔跤赛中这种情况更是突出，如举重赛获胜的埃利奥特，同时也是摔跤选手雅典奥运会奖牌榜排名，不过他只获得了第四名，获得冠军的是身体灵巧、体重比所有对手都轻的德国人卡-舒曼。舒曼也是跨项选手，除摔跤外，他还参加了田径、体操比赛，他在体操赛中，取得了出色的成绩，获跳马冠军和双杠、单杠团体第一名，加上摔跤，总共获得了4项冠军，是本届获金牌最多的选手。

4月15日，历时10天的首届奥运会结束了。闭幕式上，希腊国王乔治一世向获奖运动员颁发奖牌。国际奥委会当时对奖牌的设计未能拿出固定的方案，东道主认为金子太俗气，只铸造了银质和铜质两种奖牌。冠军被授予银牌和橄榄枝花环，亚军被授予铜牌和月桂花冠，第三名只有铜牌。参赛的每位选手都得到一张纪念证书。