Jamba2 3B

Jamba2 3B to najmniejszy model rodziny Jamba, opublikowany przez AI21 Labs 8 stycznia 2026 razem z Jamba2 Mini. Producent przeznacza go do pracy, która nie opuszcza urządzenia: telefonów, laptopów i komputerów stacjonarnych, gdzie model musi zmieścić się w zwykłej pamięci konsumenckiej, a nie w centrum danych. Ciekawa przy tym rozmiarze jest architektura. Jamba przeplata warstwy Mamby, czyli modelu przestrzeni stanów, który czyta tekst jednym przebiegiem przy stałym koszcie pamięci, z niewielką liczbą zwykłych warstw uwagi. Opublikowana konfiguracja wag pokazuje, jak oszczędnie użyto tu uwagi: na 28 warstw warstwa uwagi pojawia się tylko co czternastą, więc przytłaczająca większość sieci to Mamba. W odróżnieniu od Jamba2 Mini ten model nie ma mixture-of-experts — każdy parametr pracuje przy każdym tokenie. To świadomy wybór pod sprzęt brzegowy: pamięć potrzebna na trzymanie nieużywanych ekspertów to dokładnie ta, której telefon nie ma. Praktycznym skutkiem jest okno kontekstu. Koszt pamięciowy rozmowy w transformerze rośnie z kwadratem jej długości i dlatego małe modele zwykle mają krótki kontekst; Jamba2 3B utrzymuje 256 000 tokenów, czyli tyle samo, ile AI21 podaje dla modeli ponad stukrotnie większych. Producent raportuje czołowe wyniki w testach wykonywania poleceń (IFBench, IFEval, Collie) oraz w teście wierności źródłom FACTS, publikuje je jednak wyłącznie jako wykresy bez liczb, więc żadnego wyniku tu nie powtarzamy. Generację Jamba2 AI21 zbudowało na wstępnym treningu Jamby 1.5, dokładając trening pośredni na 500 miliardach wyselekcjonowanych tokenów z przewagą matematyki, kodu i długich dokumentów, osobną fazę strojenia warstw Mamby pod długi kontekst, uczenie nadzorowane, DPO i kilka rund uczenia ze wzmocnieniem. Jedno ograniczenie warto powiedzieć wprost: w odróżnieniu od reszty rodziny Jamba2 3B nie ma u AI21 punktu dostępowego API — własna tabela modeli producenta oznacza go jako niedostępny. Istnieje jako wagi do pobrania z Hugging Face i nigdzie indziej. Sklepy chmurowe są jeszcze dalej w tyle: w chwili pisania Amazon Bedrock i Azure mają wyłącznie generację 1.5, Google Cloud 1.6, a Kaggle 1.7.

▸Wideo

Brak materiałów wideo.

▸Recenzje