Vi älskar att experimentera med AI-videoverktyg – även när de inte fungerar som tänkt kan de vara underhållande och när de lyckas är det riktigt imponerande. Därför var vi extra nyfikna på att testa Runways nya Gen-4-modell.
Företaget själva säger att Gen-4 (och dess mindre och snabbare syskonmodell, Gen-4 Turbo) ska överträffa föregångaren Gen-3 både i kvalitet och stabilitet. Enligt Runway ska Gen-4 vara särskilt bra på att hålla karaktärer konsekventa mellan olika scener, skapa smidigare rörelser och leverera mer realistisk fysik i miljöerna.
Dessutom ska den vara otroligt lyhörd för instruktioner. Användaren matar in en visuell referens och lite beskrivande text och resultatet ska bli en video som stämmer väl överens med det man föreställde sig. Det låter, med andra ord, väldigt likt det OpenAI har utlovat med sin egen AI-videogenerator, Sora.
Även om Sora kan generera riktigt vackra videor, är resultatet inte alltid konsekvent. En scen kan vara klockren medan nästa innehåller svävande karaktärer eller dörrar som leder till ingenstans.
Videomagi?
Runway Gen-4 marknadsförs som någon typ av videomagi, så vi bestämde oss för att testa det konceptet rakt av – genom att skapa en liten fantasy-trilogi om en vandrande trollkarl.
Vi ville låta trollkarlen möta en alvprinsessa, jaga henne genom magiska portaler och sedan träffa henne igen när hon är förvandlad till ett magiskt djur – innan han förvandlar henne tillbaka. Inga blockbusters, men ett enkelt test för att se hur långt Gen-4 kunde sträcka sig med minimala instruktioner.
Eftersom vi inte hade några bilder på riktiga trollkarlar använde vi den nyligen förbättrade bildgeneratorn i ChatGPT för att skapa trovärdiga stillbilder. Sora har kanske inte tagit över Hollywood, men kvaliteten på många av bilderna från ChatGPT är onekligen hög.
Vi gjorde den första videon och använde sedan Runways funktion för att “låsa” ett seed, så att karaktärerna skulle förbli konsekventa mellan klippen. Resultatet blev tre korta videor som vi satte ihop till en film – med en kort paus mellan varje del.
Kan locka över användare
Perfekt är det inte. Vissa objekt rör sig märkligt och karaktärernas utseende är inte helt konsekvent. Bakgrunder flimrar ibland och vi skulle inte rekommendera att visa klippen på bio. Men själva rörelserna, ansiktsuttrycken och känslorna hos karaktärerna kändes förvånansvärt levande.
Vi uppskattade även iterationsverktyget, som inte överöste oss med inställningar men ändå gav tillräckligt med kontroll för att kännas som ett kreativt samarbete – inte bara som att trycka på en knapp och hoppas på det bästa.
Kommer det här betyda problem för Sora eller OpenAIs samarbete med professionella filmskapare? Nej, inte ännu. Men om vi vore hobbyskapare som ville se våra idéer komma till liv utan att lägga tusentals kronor på ett helt filmteam, hade vi absolut börjat experimentera med Runway Gen-4.
Om vi dessutom lärde oss använda verktyget tillräckligt bra för att konsekvent få ut det vi vill ha? Då kanske vi inte ens skulle överväga Sora längre.
Läs vidare
