CogVideoX-2B

CogVideoX-2B, opublikowany 6 sierpnia 2024 roku, był pierwszym modelem linii CogVideoX wydanym z wagami do pobrania. Ważniejsze od tego, co generuje, jest to, gdzie się uruchamia: sześć sekund obrazu 720x480 przy ośmiu klatkach na sekundę, na jednej karcie graficznej z półki konsumenckiej. W bibliotece diffusers, z włączonymi wszystkimi oszczędnościami pamięci, producent podaje próg 4 GB pamięci karty, a przy kwantyzacji INT8 — 3,6 GB. Dlatego w notatkach projektu jako maszyna robocza pojawia się GTX 1080 Ti. Ograniczenia są twarde, nie umowne. Wyjście jest zablokowane na 720x480 i producent pisze wprost, że żadna inna rozdzielczość nie jest obsługiwana — również przy dostrajaniu. Polecenia przyjmowane są wyłącznie po angielsku i mieszczą się w 226 tokenach. Nagranie ma zawsze 49 klatek i zawsze sześć sekund. Wygenerowanie jednego przy 50 krokach zajmuje około 90 sekund na karcie A100 i około 45 na H100, więc za niski próg pamięci płaci się czasem oczekiwania. Opublikowane wagi to około 1,7 mld parametrów w transformerze wideo; w repozytorium leżą jeszcze koder tekstu T5 i trójwymiarowy autoenkoder wideo, których potrzebuje cały potok, więc pobranie waży więcej, niż wynikałoby z samej liczby parametrów. Najwarto zapamiętać licencję. Model wyszedł na własnym, restrykcyjnym dokumencie producenta, a 27 sierpnia 2024 roku został przeniesiony na Apache 2.0 — tego samego dnia, w którym większy CogVideoX-5B pojawił się na licencji, którą 2B właśnie porzucił. Dziś jest to jedyny model tej linii, którego można używać komercyjnie bez rejestracji u producenta.

▸Wideo

Brak materiałów wideo.

▸Recenzje