Model animacji postaci Z.ai zbudowany na szkielecie konkurenta: wagi zawierają komponenty Wan od Alibaby, a domyślna gałąź kodu nazywa się wprost wan-scail2.
SCAIL-2 ożywia nieruchomy obraz postaci na podstawie nagrania sterującego. Potrafi też podmienić postać w istniejącym materiale i obsłużyć scenę z kilkoma bohaterami naraz. Od wcześniejszych rozwiązań odróżnia go rezygnacja z kroku pośredniego: konkurencyjne systemy najpierw zamieniają nagranie w mapę szkieletu albo maskę do zamalowania, a dopiero to podają generatorowi. SCAIL-2 czyta nagranie sterujące wprost i właśnie dlatego może być prowadzony ruchem zwierzęcia albo renderem siatki, którego nigdy nie widział podczas uczenia.
Nietypowe jest pochodzenie modelu. Z.ai wydaje własne flagowe modele językowe, ale ten stoi na fundamencie konkurenta: w pobranej paczce siedzi koder obrazu Wan 2.1 od Alibaby i koder tekstu umT5-XXL od Google, polecenie uruchamiające ładuje punkt kontrolny o nazwie SCAIL-14B, a domyślna gałąź repozytorium kodu nazywa się wan-scail2. Tak samo powstały dane treningowe: 60 tysięcy par ruchu zsyntetyzowały trzy gotowe modele, w tym dwa z innych firm — Wan-Animate od Alibaby i MoCha od Orange. Producent nazywa tę metodę odwrotnym sterowaniem i podaje, że model nauczył się zachowań, których nie miały jego nauczyciele.
Licencja jest zadeklarowana dwa razy i za każdym razem inaczej. Repozytorium kodu ma Apache 2.0. Repozytorium wag ma w metadanych etykietę MIT i nie ma pliku licencji wcale, choć rozprowadzana paczka zawiera cudze komponenty wydane na Apache 2.0. Kto zamierza rozpowszechniać punkt kontrolny dalej, powinien czytać obie noty, a nie plakietkę.
#video generation#character animation#open weights#image to video