OpenAI Sora kan skapa kusligt realistiska videor utifrån beskrivningar

Text-till-video har fått ett genombrott genom AI-modellen Sora från OpenAI som kan skapa upp till 60 sekunder långa videor utifrån användares textbeskrivningar. Exempel på videor som har genererats av Sora finns i videospellistan nedan.

Enligt OpenAI kan Sora generera komplexa scener med flera olika karaktärer, specifika typer av rörelser, samt med korrekta detaljer för både motivet och bakgrunden. Text-till-bild-modellen ska även kunna skapa flera olika scener inom samma klipp, med bibehållna karaktärer och samma visuella stil.

Sora har samtidigt brister. Modellen kan exempelvis ha svårt att korrekta simulera fysikens lagar för komplexa scener och Sora förstår inte alltid orsak och verkan: om en person tar en tugga av en kaka kan kakan fortfarande vara intakt efteråt. OpenAI skriver att Sora även kan blanda ihop höger och vänster.

Sora testas för närvarande av ett team som ska bedöma eventuella risker och fallgropar med tekniken. En samling bildkonstnärer, designers och filmskapare har även fått tidig tillgång till Sora, för att samla in feedback.