3D-LLM's et maquettes numériques : l'impact transformateur de l'IA

L'intelligence artificielle et les modèles de langage (LLMs) ne se contentent plus de générer du texte ou de répondre à des questions : ils investissent désormais les données 3D ! On entre ici dans une nouvelle dimension, où interagir avec une maquette numérique devient presque aussi simple qu'une conversation au bureau. Imaginez : poser des questions comme « Où se trouve la porte d'entrée ? » ou « À quoi ressemble le coin salon ? » et obtenir des réponses précises en temps réel. Cette interaction intuitive avec les modèles 3D ouvre des perspectives passionnantes pour les professionnels du BIM, allant de la conception architecturale à la gestion d'infrastructures.

Cet article s'appuie sur les travaux récents présentés dans le papier "When LLMs step into the 3D World: A Survey and Meta-Analysis of 3D Tasks via Multi-modal Large Language Models", ainsi que sur des échanges inspirants publiés par le Dr. Florent Poux sur LinkedIn, qui explorent l'impact des LLMs sur des tâches 3D comme la description de scènes et le raisonnement spatial.

Les grands modèles de langage appliqués aux données 3

Les Large Language Models (LLMs) sont des systèmes d'intelligence artificielle entraînés sur des bases de données textuelles colossales. Leur capacité à comprendre et générer un langage humain les rend utiles dans des domaines variés, des assistants virtuels à la création de contenu. Cependant, les 3D-LLM vont un cran plus loin en intégrant des données 3D comme les nuages de points, les maquettes volumétriques et les objets tridimensionnels. Cela permet aux utilisateurs de dialoguer en langage naturel avec des modèles 3D, de poser des questions, et d'obtenir des informations précises sur l'environnement.

Dans le contexte du BIM, cette technologie permettrait de relier les données textuelles (instructions, fiches techniques, rapports de maintenance) aux objets 3D correspondants. Cette fonctionnalité améliore la prise de décision et simplifie la navigation dans des environnements complexes, rendant l'accès aux informations plus intuitif et direct.

LL3DA : une approche interactive pour optimiser la compréhension, le raisonnement et la planification en environnement 3D

L'évolution des 3D-LLMs

Les progrès des modèles de langage, initialement limités à des tâches textuelles, ont permis de franchir des étapes marquantes dans l'intégration des données 3D. En 2022, des modèles comme ScanRefer et PointCLIP ont introduit la reconnaissance d'objets dans des maquettes 3D via des descriptions textuelles, posant les bases d'interactions plus riches. En 2023, des modèles tels que 3D-LLM et CLIP-Fields ont permis des descriptions de scènes et un raisonnement spatial plus approfondi, facilitant ainsi la navigation et l'interrogation des maquettes BIM.

Enfin, en 2024, des modèles avancés comme GPT-4V et LLaMA3 rendent possible la génération de maquettes 3D complètes à partir de simples instructions textuelles, révolutionnant l'accès aux informations et la gestion des infrastructures.

Scene-LLM : le modèle polyvalent qui redéfinit l'interaction avec la 3D

Parmi les modèles d'IA, Scene-LLM se distingue par sa polyvalence et ses capacités étendues. Il ne se contente pas de répondre aux questions ou de décrire des objets : il permet aussi de naviguer dans les maquettes 3D, d'engager des dialogues interactifs, et même de manipuler des éléments, offrant ainsi une expérience d'interaction riche et fluide avec les données spatiales. D'autres modèles, tels que 3D-LLM et PointLLM, complètent cette approche en se spécialisant dans la reconnaissance et la description des objets, tandis que Chat-3D et LEO excellent dans l'analyse de scènes complexes. Ensemble, ces outils constituent une avancée majeure pour les professionnels du BIM, où l'interaction ne se limite plus à l'observation, mais devient un dialogue engageant et intuitif avec l'espace numérique.

Le potentiel des LLMs pour la compréhension de scènes 3D

Les LLMs, en fusion avec les données 3D, permettent trois avancées principales dans la compréhension des scènes :

• Captioning 3D : Imaginez un modèle capable de « décrire » ce qu'il voit. Oui, vous avez bien lu : la description de scène en 3D devient possible. Le modèle peut analyser un environnement et générer des descriptions naturelles, comme « Une salle de réunion équipée de 10 chaises et d'un tableau blanc ». Pratique pour documenter des espaces, mais aussi pour faciliter la communication entre différents acteurs du projet.
• 3D Question Answering : Plus besoin de scruter chaque coin d'un modèle 3D pour trouver un élément précis. Avec la fonctionnalité de question-réponse, il suffit de demander au modèle, par exemple, « Où se trouve la table de réunion ? » et d'obtenir immédiatement une réponse. Finies les longues minutes à naviguer dans le modèle – le modèle nous guide directement à la réponse, un vrai GPS des modèles 3D.
• Spatial Reasoning : Ici, le modèle devient presque un agent autonome. On peut lui donner des commandes comme « Va à l'étage », et le modèle suit les instructions en naviguant dans l'environnement virtuel. Pour les équipes qui travaillent sur de grandes maquettes ou dans des projets architecturaux complexes, cette fonction est une révolution en termes d'efficacité et de gain de temps.

Principaux domaines d'application des LLMs dans le 3D

Les LLMs ouvrent la porte à plusieurs types d'applications, dont voici les principales :

• Génération de modèles 3D : Créer un modèle 3D complet à partir d'une simple description textuelle est désormais possible ! Vous dites « Construit-moi un salon spacieux avec une grande baie vitrée », et le modèle se charge de produire la maquette. Cela simplifie grandement les premières étapes de la conception, rendant l'idéation plus accessible et rapide.
• Navigation et manipulation d'agents dans les environnements 3D : Utilisés dans des environnements simulés, ces modèles sont capables de manipuler des objets ou de se déplacer dans une scène. Pour les applications en robotique ou dans les simulations de réalité virtuelle, cela signifie que les agents peuvent recevoir des instructions de déplacement ou de manipulation précises, ce qui ouvre des possibilités dans la formation ou la maintenance à distance.
• Modèles intégrés pour le BIM : Avec la complexité croissante des projets BIM, les LLMs offrent des capacités d'analyse et de description qui facilitent l'annotation des scènes, l'extraction de données pertinentes et même l'analyse prédictive pour mieux anticiper les défis.

Perspectives futures pour le BIM et le secteur immobilier

Les 3D-LLM, par leur capacité à interpréter, générer, et interagir avec les données 3D, pourraient transformer profondément l'écosystème du BIM et du secteur immobilier. Grâce à ces modèles, les équipes de gestion et de maintenance d'infrastructures auront la possibilité d'interroger les maquettes numériques en langage naturel, facilitant l'accès aux informations sans expertise technique. Imaginons un gestionnaire de bâtiment demandant directement des informations spécifiques ou vérifiant des éléments dans un modèle 3D, sans passer par des étapes intermédiaires complexes.

Cette technologie ouvre également la voie à des processus de conception plus interactifs. En fournissant des descriptions textuelles précises, les architectes et ingénieurs pourraient générer automatiquement des modèles 3D adaptés aux besoins spécifiques, rendant les phases de conception plus dynamiques et itératives. À mesure que les 3D-LLM progressent, on peut envisager une intégration où la gestion des bâtiments devient non seulement plus centralisée, mais également plus intuitive, réduisant les marges d'erreur et les délais d'intervention.

En suivant ces évolutions, le secteur pourra non seulement renforcer sa compétitivité, mais aussi répondre de manière proactive aux besoins de modernisation des infrastructures, tout en maintenant un haut niveau de précision et de qualité dans la gestion des données.

Pour approfondir le sujet, nous vous invitons à consulter les ressources suivantes :

• Awesome LLM-3D : une liste exhaustive de ressources sur les modèles de langage multimodaux appliqués à la 3D. Disponible sur GitHub : https://github.com/ActiveVisionLab/Awesome-LLM-3D
• LL3DA : une approche interactive pour optimiser la compréhension, le raisonnement et la planification en environnement 3D. Plus d'informations sur le site officiel : https://ll3da.github.io/
• Nouvelle revue d'article sur ArXiv : analyse détaillée des dernières avancées dans le domaine. L'article est joint ci-après.