Photoshop pourrait devenir obsolète grâce à une nouvelle technologie capable de retoucher des photos gravement endommagées. Nvidia utilise désormais des algorithmes d’IA et d’apprentissage en profondeur pour prédire à quoi doit ressembler une partie manquante d’une image et la recréer avec une précision déconcertante.
Tout ce que les utilisateurs doivent faire est de cliquer et glisser sur la zone à remplir et l’image est instantanément mise à jour. En plus de restaurer d’anciennes photos endommagées, cette technologie peut également être utilisée pour corriger les pixels endommagés ou les mauvaises modifications apportées aux fichiers numériques.
Les résultats complets de l’étude ont été publiés sur le référentiel de préimpression, Arxiv.
La nouvelle IA de Nvidia
Nvidia, basé à Santa Clara, en Californie, a formé son réseau de neurones en utilisant une variété de trous de forme irrégulière dans les images. Le système a ensuite déterminé ce qui manquait à chacun et a comblé les lacunes. Selon les chercheurs, c’est la première fois qu’un système d’apprentissage en profondeur a été programmé avec succès de cette manière.
Le processus, baptisé « inpainting », propose une gamme d’applications potentielles, notamment la modification d’images de paysage, l’élimination des imperfections et des rides d’un portrait et l’effacement d’un arrière-plan d’objets indésirables. Les séquences publiées détaillant le travail de l’IA montrent des résultats extrêmement réalistes par rapport aux méthodes existantes bien qu’elles ne soient pas encore parfaites.
Un travail impressionnant
Dans un article décrivant leurs découvertes, les auteurs ont écrit : « Le but de ce travail est de proposer un modèle de retouche d’image qui fonctionne de manière robuste sur des motifs de trous irréguliers et produit des prédictions sémantiquement significatives qui s’intègrent facilement au reste de l’image. » Pour préparer son réseau neuronal, l’équipe de Nvidia a d’abord généré 55 116 masques de stries aléatoires de formes et de tailles arbitraires.
Ceux-ci ont ensuite été classés en six catégories en fonction des tailles par rapport à l’image d’entrée afin d’améliorer la précision de la reconstruction. Les experts ont également généré près de 25 000 lacunes différentes qui ont finalement été utilisées pour vérifier que l’IA avait vraiment compris comment restaurer les photos en général, mais pas seulement les images sur lesquelles elle avait été formée.