Miles de cómics han cobrado vida como películas, pero los investigadores de la Universidad Tecnológica de Varsovia han desarrollado un sistema para hacer lo inverso: convertir un video de acción en vivo en un cómic.
Comixify selecciona los mejores fotogramas de cualquier video que lo alimente y lo convierte en una “historieta”.
Según los investigadores a cargo de la iniciativa, el proyecto utiliza un algoritmo de estilo neural basado en redes adversas generativas (GAN). Esta técnica de aprendizaje automático contempla el uso de dos redes diferentes: un generador y un discriminador.
El algoritmo se alimenta con toneladas de información, que el generador utiliza para crear nuevas instancias de datos. El discriminador tiene la tarea de determinar si la instancia proviene del conjunto de datos en el que se formó o generó la otra red. El proceso continúa hasta que el generador produce un trabajo tan similar al conjunto de entrenamiento que el discriminador ya no puede distinguir la diferencia.
Como los cómics solo tienen un determinado número de fotogramas, el sistema tiene que determinar los mejores y más representativos momentos de un video para crear el producto final.
Una vez que el algoritmo ha elegido sus marcos, les aplica el “estilo cómic”. El resultado final es una reimaginación bastante confiable de cualquier video como un producto gráfico.
Un paper completo que detalla cómo funciona Comixify ha sido publicado en línea. Además, los usuarios pueden pasar directamente a alimentar el algoritmo de video a través de su aplicación web.