Qwen3.5-4B
Alibaba Cloud · China · 2026
Model wizyjno-językowy o czterech miliardach parametrów na licencji Apache 2.0, który mieści się na jednej domowej karcie graficznej, a w testach obrazowych producenta wypada lepiej niż jego własny, trzydziestomiliardowy model wyspecjalizowany w widzeniu.
Qwen3.5-4B to najmniejszy model generacji Qwen3.5, który Alibaba przedstawia jeszcze jako gotowy produkt do wdrożenia, a nie materiał badawczy. Opublikowany 27 lutego 2026 r., pobierany jest z Hugging Face około 7,3 miliona razy w oknie trzydziestu dni — w swojej generacji ustępuje tylko modelowi 9B. Dla czytelnika ze zwykłym sprzętem liczy się prosty rachunek. Pliki wag zawierają 4,66 miliarda parametrów w formacie bfloat16, razem z koderem obrazu, co daje około 9,3 GB na dysku — model zmieści się na jednej domowej karcie graficznej z 12 lub 16 GB pamięci, a wersje skwantowane schodzą jeszcze niżej. I nie jest to okrojony model tekstowy, lecz pełny system wizyjno-językowy: na wejściu obrazy, klatki wideo i dokumenty, na wyjściu tekst. Najciekawsze jest porównanie, które robi sam producent. Wobec Qwen3-VL-30B-A3B, wyspecjalizowanego modelu wizyjnego z poprzedniej generacji, model 4B wypada lepiej na MMMU (77,6 wobec 76,0), MMMU-Pro (66,3 wobec 63,0), MathVision (74,6 wobec 65,7) i VlmsAreBlind (92,6 wobec 72,5), czyli teście zbudowanym z obrazów, których nie da się odgadnąć ze znajomości samego języka. Wobec małych modeli hostowanych, do których go zestawiono — GPT-5-Nano i Gemini 2.5 Flash-Lite — prowadzi na MMMU, MathVision, OCRBench i w rozumieniu dokumentów. W tekście jest tam, gdzie każe mu być rozmiar: MMLU-Pro 79,1, GPQA Diamond 76,2, IFEval 89,8, wyraźny spadek w kodzie (LiveCodeBench v6 55,8) i w matematyce olimpijskiej wobec modeli większych. Wszystkie liczby pochodzą od producenta. Budowa powtarza hybrydowy układ całej generacji: 32 warstwy jako osiem powtórzeń trzech bloków Gated DeltaNet i jednego bloku uwagi bramkowanej, wymiar ukryty 2560, słownik 248 320 tokenów, wagi wyjściowe związane z wejściowymi, trening z przewidywaniem wielu tokenów naraz. To uwaga liniowa w trzech warstwach na cztery utrzymuje zużycie pamięci w ryzach przy oknie kontekstu liczącym 262 144 tokeny, które według producenta rozciąga się do 1 010 000 — obietnicę tę Alibaba składa dla modelu 4B i większych, ale już nie dla mniejszych od niego 2B i 0.8B. Licencja to Apache 2.0, a plik licencji w repozytorium jest niezmienionym tekstem Apache, bez dodatkowych warunków.
▸Wideo
Brak materiałów wideo.
▸Recenzje
Brak recenzji. Bądź pierwszy!