Jamba 1.5 Large

Jamba 1.5 Large to model, dzięki któremu architektoniczny zakład AI21 Labs stał się czytelny dla reszty branży. Wydany 22 sierpnia 2024 roku z otwartymi wagami na licencji Jamba Open Model License, przeplata warstwy przestrzeni stanów Mamba ze zwykłymi warstwami uwagi i rzadkim mixture-of-experts, osiągając 398 miliardów parametrów, z czego 94 miliardy są aktywne na token. Sensem takiej budowy jest długi kontekst: sama uwaga drożeje kwadratowo wraz z długością wejścia, a warstwy przestrzeni stanów pozostają tanie, ale historycznie gubiły szczegóły. AI21 opublikowało wyniki testu RULER, żeby pokazać, że hybryda zachowuje jedno i drugie — i Jamba 1.5 Large była w tej tabeli jedynym modelem, którego kontekst rzeczywisty dorównywał deklarowanemu: pełne 256 tysięcy tokenów z wynikiem 93,9 przy najdłuższym ustawieniu, podczas gdy Gemini 1.5 Pro, GPT-4 Turbo i Llama 3.1 70B traciły jakość na długo przed swoim limitem. Model uczciwie przyznaje, ile kosztuje: nie da się go wczytać w FP16 na jednym węźle ośmiu kart 80 GB, więc AI21 wypuściło ExpertsInt8 — własną kwantyzację dla modeli mixture-of-experts w vLLM — żeby jeden węzeł wystarczył. Jego wiedza kończy się 5 marca 2024 roku. AI21 poszło dalej: ta generacja zniknęła z własnego API firmy 6 maja 2025 roku, ale Amazon Bedrock wciąż ją sprzedaje, z datą wyłączenia 26 listopada 2026.

▸Wideo

Brak materiałów wideo.

▸Recenzje