IBM Granite 4.0 H Tiny

Granite-4.0-H-Tiny to model tego pokolenia o największej różnicy między tym, co przechowuje, a tym, co liczy. Opublikowane wagi mieszczą 6,94 miliarda parametrów, ale mieszanka ekspertów wybiera do każdego tokena tylko sześciu z sześćdziesięciu czterech ekspertów, więc nad pojedynczym słowem pracuje mniej więcej miliard parametrów. W praktyce oznacza to model, który potrzebuje pamięci jak model siedmiomiliardowy, a mocy obliczeniowej jak miliardowy. Jak reszta linii hybrydowej używa czterech warstw uwagi i trzydziestu sześciu stanowych warstw Mamba-2, bez kodowania pozycji. Wymiar osadzeń wynosi 1536, warstwy uwagi mają 12 głowic i 4 głowice klucz-wartość, a długość sekwencji to 128 tysięcy tokenów. Ponieważ stan Mamba-2 ma stały rozmiar, koszt pamięciowy długiego dokumentu nie rośnie tak jak w zwykłym transformerze — a to własność najważniejsza właśnie na domowym sprzęcie, do którego ten rozmiar jest kierowany. Wyniki leżą tam, gdzie każe rozmiar, a czasem wyżej: MMLU 68,65, MMLU-Pro 44,94, GPQA 32,59, średnia IFEval 81,44, HumanEval 83, MBPP 80, BigCodeBench 41,06. Dwa rezultaty warto wyróżnić. W wielojęzycznych zadaniach rachunkowych MGSM (45,36) model bije trzydziestodwumiliardowego flagowca własnej rodziny, a w wielojęzycznym teście programistycznym MULTIPLE osiąga 55,83, blisko flagowych 57,37. To także najczęściej pobierana hybryda pokolenia: około 90 800 pobrań głównego repozytorium w trzydziestu dniach do 1 września 2026 r., wyraźnie przed flagowcem z wynikiem 25 700. Jak na model wydany w październiku 2025 r. i od tego czasu dwukrotnie zastąpiony, to mocny znak, że znalazł swoje miejsce — dość mały, by postawić go u siebie, dość sprawny, by się przydał, i wolny od warunków licencyjnych. Licencja to zwykłe Apache 2.0. Polskiego nie ma wśród dwunastu języków przetestowanych przez IBM.

▸Wideo

Brak materiałów wideo.

▸Recenzje