El 28 de octubre de 1958, contando con casi 77 años, Roncalli fue elegido papa ante la sorpresa de todo el mundo. Escogió el nombre de Juan (nombre de su padre y del patrón de su pueblo natal, aunque escogió este nombre por el evangelista de nombre Juan). Fue entronizado el 4 de noviembre (21 días antes de su cumpleaños 77) por el cardenal Nicola Canali, protodiácono de San Nicola in Carcere Tulliano.
Después del largo pontificado de su predecesor, los cardenales parecieron escoger un papa de transición a causa de su avanzada edad y de su modestia personal.
Ni los cardenales ni el resto de la Iglesia esperaban que el temperamento alegre, la calidez y la generosidad del papa Juan XXIII cautivaran los afectos del mundo de una forma en que su predecesor no pudo. Al igual que Pío XI pensaba que el diálogo era la mejor forma para dar solución a un conflicto.
Enseguida empezó una nueva forma de ejercer el papado. Fue el primero desde 1870 que ejerció su ministerio de obispo de Roma visitando personalmente las parroquias de su diócesis. Al cabo de dos meses de haber sido elegido, dio ejemplo de obras de misericordia: por Navidad visitó los niños enfermos de los hospitales Espíritu Santo y Niño Jesús; al día siguiente fue a visitar los prisioneros de la cárcel Regina Coeli.
En su primera medida de gobierno vaticano, que le enfrentó con el resto de la curia, redujo los altos estipendios (y la vida de lujo que, en ocasiones, llevaban los obispos y cardenales). Asimismo, dignificó las condiciones laborales de los trabajadores del Vaticano, que hasta ese momento carecían de muchos de los derechos de los trabajadores de Europa, y además retribuidos con bajos salarios. Por primera vez en la historia nombra cardenales indios y africanos.
En una visita a Europa, el presidente de Argentina, Arturo Frondizi visitó El Vaticano y conoció al papa, quien le dio el apodo de «el estadista de América», también le dijo que en Italia hacían falta políticos como él.
Tres meses después de su elección, el 25 de enero de 1959, en la Basílica de San Pablo Extramuros y ante la sorpresa de todo el mundo anunció el XXI Concilio Ecuménico -que posteriormente fue llamado Concilio Vaticano II-, el I Sínodo de la Diócesis de Roma y la revisión del Código de Derecho Canónico.
El 2 de diciembre de 1960 se reunió en el Vaticano durante una hora con el arzobispo de Canterbury, Geoffrey Francis Fisher. Era la primera vez en más de 400 años, desde la excomunión de Isabel I, que la máxima autoridad de la Iglesia de Inglaterra se reunía con el papa. Durante su Pontificado nombró 37 nuevos cardenales, entre los cuales por primera vez un tanzano, un japonés, un filipino, un venezolano, un uruguayo y un mexicano.
