Les films tournés sur la Lune par les astronautes du programme Apollo sont des témoignages précieux. Mais ils ont été tournés avec des définitions très faibles et parfois à 1 seule image par seconde. L’IA permet aujourd’hui d’améliorer ces images de façon spectaculaire. Et vous pouvez utiliser cette IA pour restaurer vos propres films 8 mm…

Grâce à l’IA, nous allons bientôt pouvoir revivre la conquête de la Lune en version grand spectacle. L’intelligence artificielle permet aujourd’hui d’améliorer les images comme aucun autre algorithme automatique n’est arrivé à le faire jusqu’à aujourd’hui.

En témoigne l’époustouflant travail réalisé par « DutchSteamMachine » sur sa chaîne YouTube. En travaillant sur les fichiers numérisés fournis par la NASA, il a réussi à considérablement améliorer le rendu de ces vidéos mythiques qui continuent de faire rêver l’humanité.

Une IA qui fait des merveilles

La plupart des vidéos tournées par les astronautes l’ont été en 12 images par seconde. Certaines à des fréquences encore plus faibles de 6 images par seconde parfois même 1 seule image par seconde. Plusieurs tentatives pour stabiliser et fluidifier les images ont été réalisées ces dernières années, notamment par la NASA avec plus ou moins de réussite.
Mais en utilisant l’intelligence artificielle en open-source DAIN (écrite en python), DutchSteamMachine a réussi à produire des séquences spectaculaires en 60 images par seconde. Pour reconstituer une capture à 12 images par seconde en une vidéo fluide de 60 images par seconde, l’IA doit donc recréer artificiellement 48 images inexistantes à partir de celles existantes.

La vidéo suivante compare le film original (en 12 images par seconde) de la traversée d’une section lunaire en rover par l’équipage d’Apollo 16 avec le rendu DAIN en 24 images par seconde et en 60 images par seconde :

 

Comment ça marche ?

Bien sûr, plus la vidéo d’origine dispose d’images par seconde, plus l’IA a de matière pour reconstituer les images manquantes afin d’obtenir un résultat fluide. Néanmoins, DAIN offre des résultats vraiment spectaculaires.
Le processus est assez simple. Il faut d’abord décomposer la vidéo d’origine en autant d’images PNG : à raison de 12 images par seconde, on obtient donc 12 images PNG pour 1 seconde de films. Puis on soumet à DAIN les images en lui précisant le nombre d’images par seconde que l’on souhaite obtenir et un réseau de neurone pré-entraîné génère les images manquantes avec une précision d’interpolation bien supérieure à celle produite par les algorithmes classiques d’interpolation. Le calcul est toutefois complexe et lent. Il faut compter 20 heures de calcul sur GPU pour une séquence de 5 minutes. Il n’y a plus, ensuite, qu’à remonter toutes les images en vidéo avec un logiciel comme Adobe Premiere ou Wondershare Filmora.

L’une des vidéos les plus mythiques reste le déploiement du drapeau américain par les astronautes d’Apollo 11. Les images diffusées par la télévision sont en très basse qualité, en noir et blanc, et produites par la caméra placée à distance du LEM par les astronautes pour la diffusion TV en direct. Il existe une autre vidéo en définition supérieure et en couleur filmée depuis la caméra du LEM. Malheureusement celle-ci était alors réglée en mode 1 image par seconde. La vidéo ci-dessous remontre la séquence telle que les deux caméras l’ont captée :

 

Avec DAIN, DutchSteamMachine a réussi à produire une version en 24 images par seconde du film couleur tourné en 1 image par seconde. Le résultat est évidemment imparfait mais néanmoins assez spectaculaire. DutchSteamMachine compte sur les améliorations régulières du moteur IA de DAIN pour obtenir au fil du temps un résultat encore plus précis. Voici la vidéo obtenue en 24 im/s après traitement par DAIN.

Une technologie accessible à tous

Cette technologie peut aujourd’hui être utilisée par tous pour convertir des anciens films familiaux tournés avec des caméras 8mm et en Super 8.

Les films de l’époque sont tournés la plupart du temps en 16 images par seconde (8mm) ou 18 images par seconde (Super 8) ce qui produit un résultat évidemment très saccadé.

Pour convertir les anciennes bobines, il existe des outils de scan de films accessibles au plus grand nombre comme le Reflecta ou le Winait Scanner.

Une fois la pellicule scannée, il est possible d’améliorer le rendu en 24, 30 ou même 60 images par seconde en utilisant la version alpha de DAIN-APP, implémentation sous Windows du moteur IA DAIN. De quoi occuper vos vacances.

En attendant, nous ne résistons pas au plaisir de vous faire revivre les premiers pas de l’homme sur la Lune en version DAIN 24 images par seconde réalisée par DutchSteamMachine :

 

C’est l’été sur InformatiqueNews.fr ! L’actualité numérique continue durant les vacances, accompagnée de sujets amusants, d’applications et services qui sortent de l’ordinaire, de sites insolites, d’astuces et nouveaux usages, etc.
En attendant de retrouver vos rubriques habituelles, dès la rentrée…

 


Source : Patreon Dutchsteammachine