IBM zbudował pokolenie modeli prawie bez uwagi — a potem po cichu się wycofał

Dziewięć na dziesięć warstw w modelach IBM Granite 4.0 nie zawiera w ogóle mechanizmu uwagi. To pokolenie, opublikowane 2 października 2025 r., zastąpiło 36 ze swoich 40 warstw blokami stanowymi Mamba-2 i całkowicie zrezygnowało z kodowania pozycji — pliki konfiguracyjne nazywają to rozwiązanie „nope", od braku osadzeń pozycyjnych. Kolejność słów model wywodzi z samej rekurencji. Powodem była pamięć. Zwykły transformer trzyma pamięć podręczną klucz-wartość, która rośnie z każdym tokenem rozmowy, dlatego długie dokumenty drożeją szybciej, niż spowalniają. Warstwa Mamba-2 utrzymuje zamiast tego stan o stałym rozmiarze, więc wejście o długości 128 tysięcy tokenów kosztuje mniej więcej tyle samo co krótkie. Przy modelach mających zmieścić się na jednym akceleratorze to cały argument. Eksperyment nie przetrwał we własnej rodzinie. Granite 4.1 z kwietnia 2026 r. i późniejsze Granite 4.2 to zwyczajne gęste transformery: każda warstwa używa uwagi, pozycje kodowane są przez RoPE, a hybrydowej maszynerii nie ma. Pliki konfiguracyjne pokazują to zerwanie wprost — Granite 4.0 deklaruje typ modelu granitemoehybrid, jego następcy zwykłe granite. Szczegółem, który czyni z tego coś więcej niż przypis, jest to, którego modelu ludzie faktycznie używają. IBM sam zabezpieczył się w październiku 2025 r., wydając obok trzech hybryd jeden model niehybrydowy — z myślą o oprogramowaniu, które warstw Mamby jeszcze nie uruchamiało. To właśnie ten zapasowy Granite 4.0 Micro jest najczęściej pobieranym modelem pokolenia: około 59 500 pobrań repozytorium w trzydziestu dniach do 1 września 2026 r. wobec 19 100 u jego hybrydowego bliźniaka tej samej wielkości. Jego liczba warstw, wymiar osadzeń i liczba głowic to również to, co IBM przeniósł do najmniejszego modelu następnego pokolenia. Jest i przeciwwaga. Jedyny model Granite 4.0, który pośrednicy API odsprzedają do dziś, jest hybrydą — Granite 4.0 H Micro, za około 0,017 dolara od miliona tokenów wejściowych, taniej niż nowsze oferty samego IBM. A najczęściej pobierana hybryda, Granite 4.0 H Tiny, przechowuje siedem miliardów parametrów, ale liczy mniej więcej jednym, i dlatego wciąż znajduje miejsce na skromnym sprzęcie prawie rok po premierze dwóch nowszych pokoleń. Wszystkie cztery modele mają licencję Apache 2.0 bez wyłączeń terytorialnych i bez progów liczby użytkowników. Polskiego nie ma wśród dwunastu języków przetestowanych przez IBM — ani w tym pokoleniu, ani w dwóch kolejnych. wujec.ai dodał profile wszystkich czterech modeli Granite 4.0, z pomiarami producenta i zestawionymi obok siebie różnicami architektonicznymi.