Approche conjointe géométrique et sémantique pour la reconstruction de maquettes numériques de bâtiments

L’émergence du Building Information Model (BIM) dans les domaines de l’industrie du BTP et de la gestion de la ville révolutionnent notre manière de concevoir, construire, gérer et entretenir nos bâtiments. Les modèles BIM rassemblent à la fois des informations géométriques sur le bâtiment, mais également des informations sémantiques permettant d’identifier chaque composant logique (mur, dalle, fenêtre, etc.). Cette information est généralement créée manuellement à la conception d’un nouveau bâtiment; cependant, seul 1% du parc immobilier à reconstituer est renouvelé chaque année. La génération automatique de maquettes BIM à partir de capteurs tels que des appareils photos ou des LIDARs (générant directement des nuages de points) constitue dans ce contexte un besoin de plus en plus important. L’objectif de cette thèse est le développement de nouvelles méthodes pour la reconstruction de maquettes BIM, qui incluent à la fois les informations géométriques et sémantiques. Un important effort de recherche est déployé pour rendre les méthodes existantes plus robustes aux contraintes présentes dans les différents cas d’usage pratiques. La reconstruction 3D débute généralement par l’acquisition de nuages de points par LIDARs ou par photogrammétrie, c’est-à-dire la triangulation de points clés mis en correspondance entre différentes photographies d’un même lieu, avant la reconstruction de la surface sous-jacente. Dans le contexte du bâtiment, la triangulation est rendue difficile par la présence de zones sans texture dans lesquelles les algorithmes peinent à détecter des points-clés. De plus, certaines parties du bâtiment peuvent être absentes des données d’entrée en raison des occultations ou d’erreurs imputables à l’opérateur. En ce qui concerne la sémantique au sein des nuages de points, il existe d’importantes ambiguïtés entre les différentes classes: il peut par exemple être ardu de repérer sur un nuage de points la séparation entre une porte et un mur.

Dans cette thèse, nous proposons trois contributions techniques afin de traiter ces limitations.

Tout d’abord, nous proposons la première méthode permettant la reconstruction planaire par morceaux de bâtiments à partir d’images utilisant des segments de droites comme primitives. En effet, bien que les vastes zones sans texture dans les bâtiments (murs blancs par exemple) rendent difficile la détection de points clés, les segments de droites restent visibles et détectables (par exemple grâce au changement de luminance à l’intersection entre deux murs). L’utilisation de ces segments de droites rend notre méthode robuste aux surfaces sans texture, et nous sommes en mesure de reconstruire des scènes pour lesquelles les méthodes basées sur les points-clé échouent

La seconde contribution traite le problème de la reconstruction de maillage à partir d’un ensemble d’images de basse résolution prises à des positions et orientations connues de l’espace. Dans ce contexte, les méthodes traditionnelles échouent, et apprendre des a priori directement sur de grandes bases de données de formes 3D nous permet tout de même d’effectuer une reconstruction. Plus précisément, notre méthode apprend des a priori afin de fournir une première approximation de la forme à reconstruire que nous affinons ensuite en ajoutant des contraintes géométriques. Notre méthode fournit directement un maillage et se compare positivement avec les méthodes de l’état de l’art dont la sortie est limitée à un nuage de point bruité.

Notre troisième contribution est VASAD, un jeu de données pour la reconstruction volumique et sémantique, que nous avons créé à partir de modèles BIM bruts disponibles en ligne. C’est le premier jeu de données de cette taille (62.000m²) à fournir simultanément des annotations géométriques et sémantiques. En plus de ce jeu de données, nous proposons 2 méthodes pour reconstruire de manière conjointe la géométrie et la sémantique à partir d’un nuage de point et nous démontrons que notre jeu de données propose des défis susceptibles de fortement influencer les recherches futures.