CogVideoX-5B
Z.ai (Zhipu AI) · China · 2024
Większy otwartowagowy CogVideoX: lepszy obraz w tym samym pudełku 720x480, ale pobranie idzie z odwoływalną licencją i limitem ruchu.
CogVideoX-5B wyszedł 27 sierpnia 2024 roku, trzy tygodnie po 2B, i to o nim najczęściej mowa, gdy ktoś mówi, że uruchamia CogVideoX u siebie. To ten sam kształt produktu — sześć sekund, 49 klatek, osiem klatek na sekundę, 720x480 i nic poza tym, polecenia po angielsku do 226 tokenów — tyle że z około 5,6 mld parametrów w transformerze wideo zamiast 1,7. Nadmiar poszedł w jakość obrazu, nie w dłuższe czy większe nagranie. Jedyna różnica architektoniczna, którą producent nazywa, to kodowanie pozycji: tutaj trójwymiarowe RoPE, w 2B trójwymiarowy sinus-cosinus. Próg praktyczny został nisko. W BF16 przez bibliotekę diffusers, z pełnym zestawem oszczędności pamięci, producent podaje 5 GB pamięci karty, a przy INT8 — 4,4 GB. Wystarczy biurkowy RTX 3060. Jedno nagranie przy 50 krokach powstaje w około 180 sekund na A100 i około 90 na H100, czyli mniej więcej dwa razy dłużej niż w 2B. Model przestaje być hobbystyczny dopiero przy dostrajaniu: 63 GB na kartę przy metodzie LoRA i 75 GB przy pełnym dostrajaniu — trening wymaga sprzętu serwerowego, choć samo uruchomienie nie. Prawdziwą granicą w tej rodzinie jest licencja i biegnie ona odwrotnie, niż sugerują rozmiary. Mniejszy 2B został przeniesiony na Apache 2.0 dokładnie w dniu premiery tego modelu; 5B wyszedł na własnym dokumencie producenta, CogVideoX License. Udzielone w nim prawo jest wprost odwoływalne, użytek naukowy jest wolny, a każdy, kto chce korzystać komercyjnie, musi zarejestrować się u producenta i nie przekroczyć miliona odwiedzin usługi miesięcznie. Prawa do wygenerowanych materiałów producent przypisuje użytkownikowi w zakresie, na jaki pozwala prawo miejscowe.
▸Newsy
▸Wideo
Brak materiałów wideo.
▸Recenzje
Brak recenzji. Bądź pierwszy!