Nous présentons une méthode robuste pour modéliser les villes à partir de nuages de points 3D. Notre algorithme fournit une description plus complète que les approches existantes en reconstruisant simultanément bâtiments, arbres et sols topographiquement complexes. Une des contributions importantes réside dans la manière originale de modéliser en 3D les bâtiments, garantissant un niveau de généralisation élevé tout en ayant une représentation compacte et sémantisée. Des primitive géométriques 3D telles que des plans, des cylindres, des sphères ou des cones décrivent les facettes de toit régulières. Elles sont combinées avec des parties de maillages qui représentent les composants de toits irréguliers. Les différents éléments urbains intéragissent au sein d'un problème de minimisation d'énergie non convexe dans lequel ils sont propagés sous des contraintes d'arrangement sur une carte planimétrique. L'approche est validée expérimentalement sur des bâtiments complexes et sur des scènes à grandes échelles contenant des millions de points, et comparée à des méthodes références.