Mixtral 8x7B

Mixtral 8x7B ogłoszono 11 grudnia 2023 roku i zmienił on wyobrażenie o tym, ile powinno kosztować uruchomienie otwartego modelu. Zamiast jednej gęstej sieci każdy blok przetwarzający mieści osiem osobnych grup parametrów; dla każdego tokenu, w każdej warstwie, mały router wybiera dwie z nich. Model przechowuje więc 46,7 miliarda parametrów, ale zużywa tylko 12,9 miliarda na token — odpowiada z szybkością i w koszcie modelu trzynastomiliardowego, a punktuje jak znacznie większy. Porównanie producenta stawiało go na poziomie Llamy 2 70B lub wyżej w większości testów, przy około sześciokrotnie szybszym wnioskowaniu, oraz na poziomie bazowego GPT-3.5 — czyli modelu, który stał wtedy za darmową wersją ChatGPT. Obsługiwał kontekst 32 tysięcy tokenów, języki angielski, francuski, włoski, niemiecki i hiszpański, a także sensownie pisał kod. Licencja znów brzmiała Apache 2.0 i to była rzecz handlowo najważniejsza: firma mogła dorównać płatnemu produktowi z górnej półki na własnym sprzęcie, bez żadnych negocjacji. Sama premiera była przy tym spektaklem, który branża potem kopiowała. Mistral wypuścił wagi najpierw jako goły odnośnik magnet na platformie X — bez publikacji naukowej, bez tabeli wyników i bez wpisu na blogu — i pozwolił społeczności zmierzyć model przez trzy dni, zanim podał własne liczby. Rzadkie mieszanki ekspertów stały się później domyślnym rozwiązaniem w dużych modelach całej branży. Mixtral 8x7B nie występuje już w ofercie API Mistrala, a daty wyłączenia nigdy nie ogłoszono; na licencji Apache 2.0 wagi pozostają do pobrania.

▸Wideo

Brak materiałów wideo.

▸Recenzje