Recent heeft het New Yorkse bedrijf Runway, gespecialiseerd in generatieve AI, een opmerkelijke stap gezet met de lancering van de Multi Motion Brush voor hun Gen-2 model. Deze innovatie maakt het mogelijk om meerdere bewegingen en richtingen toe te voegen aan AI-videocreaties, een primeur in commerciële AI-videoprojecten.
Tot voor kort konden bestaande producten op de markt slechts beweging toevoegen aan een volledige afbeelding of een geselecteerd gebied. Met de Multi Motion Brush, die oorspronkelijk in november 2023 verscheen met slechts één soort beweging, kunnen gebruikers nu onafhankelijke bewegingen toevoegen aan verschillende delen van hun video. Dit varieert van het bewegen van een gezicht tot het veranderen van de richting van wolken in de lucht.
Gebruikers beginnen met het uploaden van een stilstaand beeld en "schilderen" dit met een digitale penseel, bestuurd door de cursor van hun computer. Vervolgens gebruiken ze schuifregelaars in de webinterface van Runway om te bepalen in welke richting en met welke intensiteit de geschilderde delen van hun afbeelding moeten bewegen. Elke schuifregelaar wordt bestuurd met een decimaalwaarde van -10 tot +10, waardoor gebruikers nauwkeurige controle hebben over de beweging.
Deze ontwikkeling versterkt Runway's positie in de snelgroeiende markt van creatieve AI, waar het concurreert met spelers zoals Pika Labs en Leonardo AI. Hoewel de uitvoer van deze tools over tijd is verbeterd, zijn ze nog niet perfect en kunnen ze soms wazige, onvolledige of inconsistente beelden en video's produceren.
Met de Gen-2 heeft Runway zijn gereedschapskist uitgebreid om de video-outputs beter te beheren. Het model, oorspronkelijk onthuld in maart 2023, was een grote upgrade ten opzichte van Gen-1 en introduceerde tekst-, video- en op afbeeldingen gebaseerde generatie. Het vermogen om clips uit te breiden tot 18 seconden en extra functies zoals een "Director Mode" zijn toegevoegde bonussen.
Deze vooruitgang in AI-gestuurde videogeneratie plaatst Runway in een competitieve positie tegenover bedrijven als Pika Labs en Stability AI's Stable Video Diffusion modellen. Runway biedt ook een tool voor tekst-naar-afbeelding, die concurreert met tools zoals Midjourney en DALL-E 3.
Comments