Le laboratoire de recherche en intelligence artificielle OpenAI a dévoilé les détails de sa dernière technologie qui permettra d'améliorer considérablement le rendu 3D.
Société à l'origine du générateur de texte-image DALL-E, OpenAI s'est maintenant penchée sur la traduction de textes en nuages de points 3D, qu'elle appelle POINT-E.
Selon un document publié par OpenAI, POINT-E "produit des modèles 3D en seulement 1 à 2 minutes avec un seul GPU", alors que les autres solutions actuelles peuvent prendre des heures et nécessiter plusieurs GPU.
OpenAI POINT-E
Un extrait du document détaille la place actuelle de POINT-E dans le monde de la construction de modèles 3D :
"Bien que notre méthode soit encore en deçà de l'état de l'art en termes de qualité, elle est une à deux fois plus rapide à réaliser, offrant un compromis pratique pour certains cas d'utilisation."
Elle fonctionne en générant une seule vue synthétique avec un modèle de diffusion texte-image. Ensuite, un nuage de points 3D est généré, qui est plus facile à synthétiser, d'où la charge réduite sur les GPU, bien que système ne capture pas les petits détails, d'où le compromis mentionné dans l'article.
Une intelligence artificielle secondaire a été formée pour pallier en partie ce problème, mais les auteurs de l'étude expliquent qu'elle peut "parfois manquer les parties les plus fines et éparses des objets", comme les tiges d'une plante, ce qui donne l'illusion de fleurs flottantes.
OpenAI affirme avoir entraîné l'intelligence artificielle sur plusieurs millions de modèles 3D et leurs métadonnées, bien que ses cas d'utilisation restent pour l'instant assez limités.
L'un de ces exemples est le rendu d'objets du monde réel pour l'impression 3D, mais au fur et à mesure que la technologie se développe et s'affine, il est probable que nous la verrons utilisée dans des cas plus avancés comme les jeux et même la télévision.
Le code open-source du projet est disponible sur GitHub.
