Wan2.1-VACE-14B
Alibaba Cloud · China · 2025
Otwarte modele wideo zwykle tylko tworzą nowy materiał. VACE zmienia też ten, który już masz — podmienia bohatera, przemalowuje zaznaczony fragment, resztę ujęcia zostawia — i robi to wszystko z jednego zestawu wag.
Wan2.1-VACE-14B, wydany 14 maja 2025 roku na licencji Apache 2.0, jest w rodzinie Wan 2.1 modelem od edycji. Pozostałe modele tej generacji zaczynają od zera: na wejściu tekst albo nieruchomy obraz, na wyjściu nowy materiał. VACE zaczyna od materiału, który już istnieje, i go zmienia — a to zadanie innego i trudniejszego rodzaju. Z jednego zestawu wag wykonuje trzy prace. Tryb odniesienia przyjmuje zdjęcie bohatera i generuje ujęcie, w którym ten bohater pozostaje sobą. Edycja wideo przepisuje istniejące nagranie zgodnie z nowym poleceniem. Edycja z maską robi to samo wewnątrz obszaru zamalowanego przez użytkownika, zostawiając resztę kadru w spokoju. Przed VACE były to zwykle trzy osobne modele, każdy uczony do swojego zadania, a łączenie ich oznaczało spinanie narzędzi łańcuchem i godzenie się na utratę jakości przy każdym przekazaniu. Warto nazwać mechanizm, który je scala, bo to on tłumaczy elastyczność modelu. Zespół badawczy Alibaby zdefiniował jeden format wejścia, Video Condition Unit, w który pakuje się i materiał do edycji, i obrazy odniesienia, i maski; adapter kontekstu wstrzykuje następnie pojęcie zadania do generatora jako sformalizowaną wypowiedź o czasie i przestrzeni. Praktyczny skutek jest taki, że zadania się składają — bohatera z odniesienia, maskę i polecenie edycji można podać w jednym przebiegu zamiast w trzech — a publikacja podaje, że model scalony dorównuje modelom wyspecjalizowanym na ich własnym terenie. Wersja 14 mld obsługuje 480P i 720P, w odróżnieniu od mniejszej siostry 1,3 mld, którą Alibaba zaleca trzymać przy 480P, bo uczenie w wyższej rozdzielczości było ograniczone. Pobranie jest ciężkie: siedem części wag o łącznej wielkości około 63 GB, do tego wspólny koder tekstu umt5-xxl ważący 11,4 GB i autoenkoder wideo. Przeróbki obu wielkości do formatu Diffusers ukazały się 4 czerwca 2025. Drobiazg ciekawy z punktu widzenia katalogu: to repozytorium zawiera plik licencji, do którego odsyła jego karta modelu. Każde repozytorium następnej generacji, Wan 2.2, odsyła do tego samego pliku i go nie zawiera — papiery starszego modelu są więc w lepszym porządku niż jego następców. VACE pozostaje jednym z najczęściej pobieranych modeli linii Wan, wyraźnie przed wydanymi później narzędziami do edycji, a w generacjach, które Alibaba zamknęła, model edycyjny tego rodzaju w ogóle się nie pojawił.
▸Wideo
Brak materiałów wideo.
▸Recenzje
Brak recenzji. Bądź pierwszy!