Parece que después de vivir el boom de los chatbots y la IA capaz de generar imágenes, ahora estamos en plena carrera por encontrar la mejor IA para generar videos. Por el momento, tenemos Sora de Open AI, Dream Machine de Luma AI, Kling y Veo de Google. Y se acaba de sumar Runway con su modelo de video Gen-3. ¿Cuál es el mejor generador de videos con IA?
¿De qué es capaz Gen-3 de Runway?
Los videos generados con IA se están volviendo virales debido a que tienen un nivel de realismo sorprendente. Esta semana, Runway ha presentado su modelo Gen-3 que busca ofrecer a los cineastas y artistas una herramienta tremendamente poderosa para generar videos con IA. Puede generar videos mediante prompts de texto o imágenes estáticas. Es decir, puede convertir texto a video o imágen a video. Frente al modelo anterior, Gen-2, es evidente que hay un progreso considerable en los resultados y el tiempo de generación. Con la versión gratuita, puedes generar un video en menos de un minuto, aunque solo con una duración máxima de 4 segundos. Solo necesitas crearte una cuenta de Runway y esperar un poco en el caso de que exista una demanda muy alta en sus servidores. Existe un plan premium por 15 dólares mensuales que reduce considerablemente el tiempo de espera y las limitaciones de resolución y marcas de agua en los videos.
Gen-3 Alpha is the first of an upcoming series of models trained by Runway on a new infrastructure built for large-scale multimodal training, and represents a significant step towards our goal of building General World Models.
— Runway (@runwayml) June 17, 2024
Prompt: Subtle reflections of a woman on the window… pic.twitter.com/Lw54twUTbs
Los de Runway aseguran que su modelo está especializado en generar humanos de la forma más fotorealista posible y con expresiones creíbles que plasmen emociones y sentimientos. Con Gen-3, también puedes lograr que el modelo entienda la terminología propia del cine. Por ejemplo, si le pides un plano picado, un traveling o un plano cenital con dron. Es cierto que todavía tiene ciertas limitaciones, cometiendo algunos errores o siendo incapaz de ofrecer un realismo total. Al menos en la versión gratuita. Pero como aseguran desde Runway, estamos solo ante el principio de lo que será capaz de hacer la IA.
Trained jointly on videos and images, Gen-3 Alpha will power Runway's Text to Video, Image to Video and Text to Image tools, existing control modes such as Motion Brush, Advanced Camera Controls and Director Mode, and upcoming tools to enable even more fine-grained control over… pic.twitter.com/sWXIb3NXgm
— Runway (@runwayml) June 17, 2024
Aunque este tipo de herramientas nunca están exentas de polémica. Los de Runway no han querido compartir los datos que han utilizado para entrenar a su modelo Gen-3. Al fin y al cabo, no quieren desvelar sus posibles claves para tener una ventaja competitiva. Aunque según parece, el modelo ha bebido de muchas películas para plasmar el estilo y los planos que se suelen usar. Pero al no ser públicos estos datos, surgen muchas dudas de la legalidad en cuanto al copyright de lo que han utilizado. Además de las posibles demandas por la propiedad intelectual, también existen los usos inadecuados que se pueden dar a este tipo de herramientas. Desde luego, los deepfakes con IA se van a volver cada vez más realistas…
¿Cuál es la mejor herramienta con IA para videos?
Lo cierto es que todavía es pronto para saberlo. La mayoría de herramientas de generar videos con IA como Sora todavía no están disponibles para el público general. Por ahora, solo hemos podido ver de lo que son capaces con los videos de muestra que han compartido en redes sociales estas empresas. En el caso de Runway, es posible generar videos de 4 segundos para probar su herramienta Gen-2. Lo que parece evidente es que la competición está reñida. Igual que sucede con la generación de imágenes, cada plataforma como Dall-E, Mid Journey o Leonardo, tienen sus propias características. Y todo indica que en la generación de video con IA va a suceder lo mismo. Habrá algunas herramientas que serán más precisas para generar videos con personas, otras para videos con mucho movimiento, con continuidad, de larga duración, etc… Además, es probable que cada plataforma apueste por un estilo propio a la hora de generar videos. Pero lo que se busca es el mayor realismo posible, y por el momento parece que la cosa va a estar reñida.
As part of the family of Gen-3 models, we have been collaborating and partnering with leading entertainment and media organizations to create custom versions of Gen-3 Alpha.
— Runway (@runwayml) June 17, 2024
Customization of Gen-3 models allows for even more stylistically controlled and consistent characters,… pic.twitter.com/ebfyfzGoJv
