Durante la Segunda Guerra Mundial, Von Choltitz participó en la ocupación de Rotterdam donde se le otorga la Cruz de Caballero .

Rotterdam le sirvió en septiembre de 1940 para ascender a Comandante y a partir de 1941 pasó a ostentar el rango de Coronel.

Ya en 1942, Choltitz participó en la Campaña del Este, participando con su Regimiento en el asedio a Sebastopol. En 1943 fue ascendido a Teniente General y se le otorgó el mando de la 260 División de Infantería y también fue nombrado Comandante del 48 Cuerpo Panzer. De Marzo a Junio del 44 fue destinado a Italia donde sirvió con eficacia.

El 1 de agosto de 1944 von Choltitz fue ascendido al rango de General de Infantería, y el 7 de agosto, se convirtió en el gobernador militar de París, su último destino. Llegó a París el 9 de agosto y durante los siguientes 16 días, desobedeció varias órdenes directas de Adolf Hitler, que exigían la destrucción de la ciudad.




La orden de Hitler del 23 de agosto fue bastante contundente respecto al destino de Paris: "La ciudad no debe caer en manos del enemigo, salvo si está bajo los escombros” Cuando Hitler se enteró de que todavía no se había procedido a la destrucción de Paris, Hitler llamó montando en cólera a Von Chotitz diciendo la famosa frase que posteriormente daría nombre a una película; “ ¿ Arde Paris? “

Von Choltitz, se negó rotundamente a destruir la ciudad, aunque sin embargo siguió luchando dentro y en los alrededores de Paris con una guarnición de unos 17.000 hombres. Finalmente, y viendo que la caída de la ciudad era inminente negoció con la Resistencia Francesa y con los Aliados la rendición de sus tropas para preservar la ciudad sin ningún daño

Él y 17.000 hombres bajo su mando se entregó a general francés Philippe Leclerc y el dirigente de la resistencia Henri Rol-Tanguy en la Gare de Montparnasse el 25 de agosto de 1944.. Por evitar lo que pudo ser un segundo Stalingrado, Von Choltitz ha pasado a ser considerado por algunos en la historia de la SGM, como el “Salvador de Paris”.