IBM Granite 4.0 H Small

Granite-4.0-H-Small to największy model pokolenia Granite 4.0 i najpełniejszy wyraz tego, co czyniło to pokolenie nietypowym. Z czterdziestu warstw tylko cztery używają uwagi; pozostałe trzydzieści sześć to warstwy stanowe Mamba-2, a model nie ma żadnego kodowania pozycji — w rozwiązaniu NoPE kolejność słów wynika z samej rekurencji. Opublikowane wagi liczą 32,21 miliarda parametrów, z czego nad pojedynczym tokenem pracuje około 9 miliardów. Mieszanka ekspertów obejmuje 72 ekspertów, z których dziesięciu jest wybieranych do każdego tokena obok jednego wspólnego; wymiar osadzeń wynosi 4096, a cztery warstwy uwagi mają 32 głowice i 8 głowic klucz-wartość. Długość sekwencji to 128 tysięcy tokenów. Rodzinę trenowano na klastrze NVIDIA GB200 NVL72 w CoreWeave. Sensem tej konstrukcji jest pamięć. Zwykły transformer przechowuje pamięć podręczną klucz-wartość, która rośnie wraz z długością rozmowy; warstwy Mamba-2 utrzymują zamiast tego stan o stałym rozmiarze, więc długie wejście kosztuje mniej więcej tyle samo co krótkie. Przy modelu trzydziestodwumiliardowym, przeznaczonym na serwery firmowe, to różnica między jednym akceleratorem a kilkoma. W pomiarach producenta H Small prowadzi w całym pokoleniu: MMLU 78,44, MMLU-Pro 55,47, BBH 81,62, GPQA 40,63, średnia IFEval 87,55, ArenaHard 46,48, HumanEval 88, MBPP 84, BigCodeBench 46,23 i BFCL v3 64,69 przy wywoływaniu narzędzi. Jedyny test, w którym przegrywa z mniejszym rodzeństwem, to wielojęzyczne zadania rachunkowe MGSM (38,72 wobec 45,36 dla H Tiny). Eksperyment nie miał ciągu dalszego. Granite 4.1 z kwietnia 2026 r. i późniejsze Granite 4.2 to gęste transformery wyłącznie z uwagą i pozycjami RoPE — bliższe zwykłemu modelowi Micro z tego pokolenia niż jego hybrydowemu flagowcowi. Czytelnik porównujący nasze profile Granite powinien traktować wersję 4.0 jako odgałęzienie architektoniczne, a nie krok na prostej linii. Licencja to Apache 2.0 bez żadnych warunków dodatkowych, co w roku licencji z wyłączeniami terytorialnymi i progami liczby użytkowników warto powiedzieć wprost.

▸Newsy

IBM zbudował pokolenie modeli prawie bez uwagi — a potem po cichu się wycofał

1.09.2026 · IBM (karty modeli i pliki konfiguracyjne ibm-granite na Hugging Face)

▸Wideo

Brak materiałów wideo.

▸Recenzje