Jamba Large

Jamba Large to flagowy model AI21 Labs, telawiwskiego laboratorium założonego w 2017 roku, a więc wcześniej niż większość obecnego pokolenia firm od sztucznej inteligencji. Ciekawa jest w nim architektura: Jamba przeplata warstwy przestrzeni stanów Mamba ze zwykłymi warstwami uwagi, zamiast opierać się wyłącznie na uwadze. To uwaga sprawia, że długie dokumenty są drogie, bo jej koszt rośnie z kwadratem długości wejścia, a razem z nią rośnie pamięć podręczna klucz-wartość; warstwy przestrzeni stanów tego problemu nie mają, ale historycznie gorzej pamiętały szczegóły. Hybryda jest próbą kupienia taniości jednego rozwiązania i precyzji drugiego i to dzięki niej model o 398 miliardach parametrów, z 94 miliardami aktywnymi, mieści 256 tysięcy tokenów bez rachunku za pamięć, jakiego taka skala zwykle wymaga. AI21 sprzedaje go tam, gdzie ma to największe znaczenie — bankom, ubezpieczycielom i systemom ochrony zdrowia, które chcą przetwarzać długie wewnętrzne dokumenty we własnych murach — oferując wdrożenie w prywatnej chmurze, na własnych serwerach i w trybie mieszanym obok API. Czyta i pisze w dziewięciu językach, kosztuje dwa dolary za milion tokenów wejścia i osiem za milion wyjścia, a jego wiedza kończy się 22 sierpnia 2024 roku.

▸Wideo

Brak materiałów wideo.

▸Recenzje