Wan2.1-I2V-14B-720P
Alibaba Cloud · China · 2025
Model, dzięki któremu otwarta animacja zdjęcia trafiła na 720p: dostaje jedną fotografię i wprawia w ruch dokładnie ten kadr, w wysokiej rozdzielczości, z wag, które każdy może pobrać.
Wan2.1-I2V-14B-720P to wersja rodziny Wan 2.1 przeznaczona do animowania zdjęcia w wysokiej rozdzielczości, opublikowana razem z całą generacją 25 lutego 2025 roku na licencji Apache 2.0. Modele tekst-na-wideo wymyślają scenę z opisu; ten dostaje fotografię i ma ją zachować — pierwszą klatką materiału jest obraz podany przez użytkownika, a zadaniem modelu jest wiarygodnie wprawić go w ruch. To ograniczenie zmienia architekturę. Plik konfiguracyjny pokazuje transformator dyfuzyjny o 40 warstwach i szerokości 5120, z 40 głowicami uwagi — czyli ten sam szkielet co w modelu tekstowym 14 mld — ale wejście ma 36 kanałów zamiast 16. Dodatkowe kanały niosą zakodowany obraz warunkujący i jego maskę obok reprezentacji wideo. Zdjęcie czyta osobny koder obrazu: otwarty CLIP zbudowany na xlm-roberta-large i wieży wizyjnej ViT-huge. Polecenie tekstowe czyta wspólny koder umt5-xxl, z pułapem 512 tokenów. Uwaga dla czytającego nazwę dosłownie: pliki wag w tym repozytorium liczą 16,4 miliarda parametrów, nie 14. Etykieta opisuje generator wspólny z modelem tekstowym, a nadwyżka to maszyneria, która w ogóle umożliwia warunkowanie obrazem. Pobranie jest odpowiednio ciężkie — części transformatora plus koder tekstu o wielkości 11,4 GB, koder wizyjny CLIP i autoenkoder wideo Wan. Jeden praktyczny szczegół łatwo przeoczyć, a w pracy ma znaczenie. Przy animowaniu zdjęcia ustawienie rozmiaru opisuje pole powierzchni materiału, a nie jego kształt: proporcje bierze się z fotografii wejściowej. Zdjęcie pionowe daje pionowy film bez żadnej dodatkowej instrukcji. Alibaba rozdzieliła animowanie zdjęcia na dwa osobne pobrania — to, trenowane dla 1280×720, i siostrzane dla 832×480 — a podział widać w sposobie korzystania. Model 480p pobierany jest z Hugging Face około dwuipółkrotnie częściej niż ten, a ten ma prawie trzykrotnie więcej polubień: podziwiany w wyższej rozdzielczości, uruchamiany w niższej. W repozytorium brakuje też pliku LICENSE.txt, do którego odsyła karta modelu — inaczej niż w siostrzanej wersji 480p, gdzie plik jest na miejscu.
▸Wideo
Brak materiałów wideo.
▸Recenzje
Brak recenzji. Bądź pierwszy!