- Adobe släpper tre nya AI-verktyg för ljud i Firefly
- Kreatörer kan nu använda Generate Music, Generate Speech och Generate Sound Effects
- Vi testade dem för att se hur bra de fungerar för videoskapande
Efter att ha befunnit sig i beta ett tag har Adobe Firefly nu gjort tre nya AI-verktyg för ljud tillgängliga för alla kreatörer, med löftet om "ljud i studiokvalitet". Vi testade samtliga för att se om resultaten lever upp till löftet och överlag gjorde de faktiskt det, även om vi stötte på några egenheter.
Generate Music, Generate Sound Effects och Generate Speech är de senaste ljudfunktionerna som lagts till i Adobes webbläsarbaserade AI-plattform och namnen avslöjar ganska tydligt vad de gör.
Efter att ha experimenterat med alla tre är det Generate Music som imponerar mest på oss. Det är betydligt bättre än vi hade väntat oss och vi kan definitivt se hur både marknadsförare och innehållsskapare kan få stor praktisk nytta av verktyget. Du kan själv testa funktionerna via Adobe Firefly.
Vad är nytt?
Tre nya AI-verktyg är nu tillgängliga för alla. De är ganska självförklarande, men här är det viktigaste du behöver veta:
- Generate Music låter dig skapa licensierad musik som anpassas efter videons längd och stämning.
- Generate Speech omvandlar skrivna manus till AI-genererade voiceovers.
- Generate Sound Effects skapar – precis som namnet antyder – ljudeffekter som matchar handlingen och tajmingen i en video.
Men är de faktiskt bra?
Vi har tidigare skrivit om vår ganska avvaktande inställning till AI i allmänhet och de problem som uppstår när tekniken används för kreativt arbete. Resultatet kan lätt kännas mer som en imitation av konst än genuint skapande.
Samtidigt har flera av Adobes AI-verktyg lyckats imponera även på de största AI-skeptikerna i vårt team – inte minst funktioner som Generative Extend i företagets videoredigeringsprogram. Vi är samtidigt öppna för att bli övertygade, så vi bestämde oss för att själva testa de nya ljudverktygen för att se vad de faktiskt går för.
Åtminstone i nuläget ligger fokus framför allt på att snabba upp kreativa arbetsflöden för marknadsförare och innehållsskapare.
Skapa AI-musik
Vi började med Generate Music, där du antingen kan skriva en egen prompt eller ladda upp en video och låta AI:n försöka lista ut vilken typ av musik som passar. Vi använde ett kort 27-sekundersklipp som filmats till vår recension av reMarkable Paper Pure – mest för att det råkade ligga kvar i nedladdningsmappen.
Utifrån videon föreslog Firefly prompten "en lugn, eftertänksam låt i ambient elektronisk stil för en produktdemonstration".
Vi tryckte på Generate och efter bara ett par sekunder – det går faktiskt imponerande snabbt – fick vi fyra olika låtar att välja mellan, alla med ungefär samma känsla. De var ... helt okej. Lite generiska, men helt klart användbara om du har ont om tid eller snabbt behöver få klart ett projekt.
Vi bestämde oss sedan för att lägga till fler instruktioner i prompten, som "jazz" och "cinematic", samt att musiken skulle användas i en "vlogg" och "trailer". Vi ändrade också energinivån från "low" till "medium". Resultaten blev betydligt bättre.
Precis som med många andra AI-verktyg blir resultatet bättre ju mer detaljerade instruktioner du ger. Du kan också själv beskriva vilken känsla, stil och användning du är ute efter om du redan har en tydlig idé.
När du är nöjd kan du ladda ner både videon och musiken tillsammans, eller bara musikspåret.
Skapa AI-voiceovers
När vi gick vidare till Generate Speech fick vi först välja vilken AI-modell som skulle användas via sidomenyn. I skrivande stund finns Adobes kommersiellt säkra Firefly-modell samt partnermodellen ElevenLabs Multilingual V2.
Därefter valde vi en röst från en lista med 45 alternativ. Rösterna kategoriseras bland annat efter man, kvinna eller icke-binär samt ung vuxen, medelålders och senior.
Slutligen klistrade vi in texten i textfältet. Firefly kan automatiskt identifiera vilket språk du använder, men det går även att välja språk manuellt. För testet använde vi dikten Ozymandias.
Något vi gillade var möjligheten att lägga till extra instruktioner i själva texten och tala om för AI:n var den ska göra pauser.
För att faktiskt förhandslyssna behövde vi däremot markera hela textstycket och använda snabbmenyn. Det är också där du kan korrigera uttal och justera röstens tonläge.
Med tanke på hur mycket Adobe pratar om snabbare arbetsflöden känns det här som ett onödigt krångligt upplägg. En vanlig uppspelningsknapp längst ner på skärmen hade gjort jobbet betydligt enklare.
Vi behövde dessutom justera pauserna för att ge uppläsningen lite mer luft. När de väl lagts till kunde vi finjustera längden genom att klicka på respektive paus i förhandsvisningen. Av någon anledning var det ordet "land" som AI:n hade störst problem med och uttalade det som "lan".
Skapa AI-ljudeffekter
För att testa Generate Sound Effects använde vi återigen ett klipp från vår reMarkable-recension, den här gången en 12 sekunder lång video där reMarkable 2 jämförs med Paper Pure.
Här är processen betydligt mer manuell, eftersom AI:n inte själv försöker lista ut vilka ljudeffekter som passar videon. Vi fick beskriva vad vi ville ha och klickade sedan på "Enhance Prompt", som automatiskt lade till fler detaljer.
Resultatet blev prompten "en glidande vissling som mjukt sjunker i tonhöjd, med metallisk klang och mild resonans". Efter att vi klickat på Generate skapade tjänsten snabbt fyra öronbedövande varianter. Vi tänker bespara er de resultaten.
I stället ändrade vi prompten till det betydligt behagligare "syrsor på ett fält" och satte längden till 12 sekunder för att fylla hela videoklippet.
En bra detalj med Sound Effects är att du kan lägga till flera ljudspår och använda reglagen för att bestämma exakt var de ska placeras.
Med en tidslinje längst ner på skärmen börjar gränssnittet faktiskt påminna om en riktig ljudredigerare, åtminstone till viss del. Genom att dra i ljudspårets handtag kan du dessutom justera volymen eller radera spåret.
Är de värda att använda?
Överlag finns det några saker i gränssnittet vi gärna skulle vilja se Adobe justera för att göra produktionsflödet snabbare.
Vi tror inte att verktygen kommer att ersätta professionella ljuddesigners, kompositörer eller musiker inom den närmaste framtiden. Men för marknadsförare och enklare, vardaglig videoproduktion kan vi absolut se att de fyller en funktion.
Generate Speech befinner sig långt från tiden då AI-röster lät som gamla Microsoft Sam, men när det gäller nyanserad och trovärdig leverans är det fortfarande svårt att slå en riktig person framför en mikrofon.
Generate Sound Effects känns betydligt mer användbart. Efter att ha genererat en rad olika ljud hade vi svårt att höra någon större skillnad mellan AI-effekterna och ljuden på en gammal CD-skiva med ljudeffekter vi hade till hands.
Den stora vinnaren är däremot Generate Music. Redan den första, automatiskt skapade prompten gav musik som utan problem hade kunnat användas i en produktdemo, recension, företagsvideo eller liknande. Dessutom blev resultaten bättre för varje ny generering vi gjorde.
För den som behöver producera videoinnehåll snabbt är det alltså en uppdatering som definitivt är värd att utforska.
