El creador de videos con inteligencia artificial Runway agregó la función prometida de conversión de imágenes a videos a su modelo Gen-3 lanzado hace unas semanas, y puede ser tan impresionante como se prometió. Runway mejoró la función para abordar sus mayores limitaciones en el modelo Gen-2 lanzado a principios del año pasado. La herramienta actualizada es mucho mejor en cuanto a consistencia de personajes e hiperrealismo, lo que la convierte en una herramienta más poderosa para los creadores que buscan producir contenido de video de alta calidad.
El modelo Gen-3 de Runway todavía está en fase de prueba alfa y solo está disponible para suscriptores que pagan 12 dólares al mes por editor por el paquete más básico. El nuevo modelo ya había despertado mucho interés incluso cuando salió con solo capacidades de conversión de texto a vídeo. Pero, por muy bueno que sea un motor de conversión de texto a vídeo, tiene límites inherentes, especialmente cuando se trata de que los personajes de un vídeo tengan el mismo aspecto en varias indicaciones y parezcan estar en el mundo real. Sin continuidad visual, es difícil crear cualquier tipo de narrativa. En iteraciones anteriores de Runway, los usuarios a menudo tenían dificultades para mantener la uniformidad de los personajes y los escenarios en diferentes escenas cuando dependían únicamente de indicaciones de texto.
Ofrecer una coherencia fiable en el diseño de personajes y entornos no es tarea fácil, pero el uso de una imagen inicial como punto de referencia para mantener la coherencia en las distintas tomas puede resultar de ayuda. En Gen-3, la IA de Runway puede crear un vídeo de 10 segundos guiado por indicaciones de texto o movimiento adicionales en la plataforma. Puedes ver cómo funciona en el video que aparece a continuación.
De imágenes fijas, a video
La función de conversión de imágenes a vídeo de Runway no solo garantiza que las personas y los fondos permanezcan iguales cuando se ven desde la distancia. Gen-3 también incorpora la función de sincronización de labios de Runway para que la persona que habla mueva la boca de una manera que coincida con las palabras que está diciendo. Un usuario puede decirle al modelo de IA lo que quiere que diga su personaje y el movimiento se animará para que coincida. La combinación de diálogo sincronizado y movimientos realistas de los personajes interesará a muchos desarrolladores de marketing y publicidad que buscan formas nuevas y, idealmente, más económicas de producir videos.
Runway tampoco ha terminado de añadir mejoras a la plataforma Gen-3. El siguiente paso es incorporar las mismas mejoras a la opción de vídeo a vídeo. La idea es mantener el mismo movimiento, pero con un estilo diferente. Un humano corriendo por la calle se convierte en un zorro antropomórfico animado que corre por un bosque, por ejemplo. Runway también incorporará sus funciones de control a Gen-3, como Motion Brush, controles avanzados de cámara y modo Director.
Las herramientas de video con IA todavía están en las primeras etapas de desarrollo, y la mayoría de los modelos se destacan en la creación de contenido de formato corto, pero tienen dificultades con las narrativas más largas. Eso coloca a Runway y sus nuevas funciones en una posición sólida desde el punto de vista del mercado, pero no es la única. Midjourney, Ideogram, Leonardo (ahora propiedad de Canva) y otras empresas están compitiendo para crear el generador de video con IA definitivo. Por supuesto, todas ellas están vigilando con cautela a OpenAI y su generador de video Sora . OpenAI tiene algunas ventajas en cuanto a reconocimiento de nombre, entre otros beneficios. De hecho, Toys "R" Us ya ha hecho un anuncio de cortometraje utilizando Sora y lo estrenó en el Festival de Cannes. Aun así, la película sobre los generadores de video con IA está solo en su primer acto, y el ganador triunfante aplaudiendo en cámara lenta al final está lejos de ser inevitable.
You might also like...
