DeepSeek-V3

DeepSeek-V3 to model, na którym stoi wszystko, co firma wydała później. Wagi pojawiły się na Hugging Face 25 grudnia 2024: rzadki transformer z mieszanką ekspertów, 671 miliardów parametrów łącznie i 37 miliardów aktywnych na token, w 61 warstwach o szerokości 7168. Pierwsze trzy warstwy są gęste; pozostałych 58 kieruje każdy token do 8 z 256 ekspertów plus jednego współdzielonego. Słownik liczy 129 280 tokenów, a okno kontekstu 163 840 tokenów, podawane zwykle jako 128K. Wrażenie zrobił wtedy nie rozmiar, tylko rachunek. DeepSeek podaje, że pełne uczenie zajęło 2,788 miliona godzin GPU H800, z czego 2,664 miliona poszło na wstępne uczenie na 14,8 biliona tokenów — o rząd wielkości taniej, niż szacowano koszt porównywalnych modeli zachodnich. Składają się na to trzy decyzje: uwaga ściśnięta mechanizmem Multi-head Latent Attention, równoważenie obciążenia ekspertów bez funkcji pomocniczej (wcześniejsze mieszanki płaciły za równowagę składnikiem kary, który psuł jakość) oraz uczenie w mieszanej precyzji FP8, tutaj po raz pierwszy sprawdzone na tak dużej skali. Firma odnotowuje także, że przez całe uczenie nie zdarzył się ani jeden nieodwracalny skok straty ani cofnięcie do wcześniejszego punktu — przy tej wielkości modelu jest to deklaracja o dyscyplinie inżynierskiej, nie o architekturze. Jeden szczegół podaje się zwykle błędnie: DeepSeek-V3 nie jest modelem na licencji MIT. W repozytorium leżą dwa osobne pliki. Kod jest na MIT, ale wagi obejmuje DeepSeek License Agreement w wersji 1.0 — licencja z własnymi ograniczeniami użytku. Dopiero marcowe odświeżenie z 2025 roku, DeepSeek-V3-0324, przeniosło same wagi na MIT. W odczycie z 25 sierpnia 2026 — dwadzieścia miesięcy po publikacji i długo po premierze dwóch nowszych generacji — pierwotne repozytorium notuje wciąż 934 114 pobrań w trzydzieści dni.

▸Wideo

Brak materiałów wideo.

▸Recenzje