Mistral 7B

Mistral 7B ukazał się 27 września 2023, cztery miesiące po założeniu firmy, i to od niego wywodzi się reszta katalogu Mistrala. Teza komunikatu premierowego była wąska i sprawdzalna: 7,3 miliarda parametrów bijących Llamę 2 13B we wszystkich testach, które Mistral przeprowadził, oraz pierwotną Llamę 34B w wielu z nich. Wagi wypuszczono na licencji Apache 2.0 — tej swobodnej, nie badawczej — więc każdy mógł model pobrać, dostroić i sprzedawać to, co na nim zbudował, bez pytania o zgodę. Za wynikiem stały dwie decyzje architektoniczne. Uwaga z grupowanymi zapytaniami (GQA) ograniczyła ruch w pamięci przy generowaniu tekstu, a to właśnie czyni mały model szybkim, a nie jedynie małym. Uwaga przesuwna (SWA) zawęziła każdą warstwę do okna 4096 tokenów, pozwalając informacji wędrować między warstwami, dzięki czemu dłuższe wejścia kosztowały mniej niż wynikałoby z pełnej macierzy uwagi; opublikowana konfiguracja deklaruje 32 768 pozycji przy tym oknie 4096 tokenów. Żadnego z tych pomysłów tu nie wynaleziono, ale ich połączenie w swobodnie licencjonowanym modelu 7B było dla otwartego świata nowością. Ważniejsze od wyników testów okazało się to, co przyszło potem. Mistral 7B stał się domyślnym punktem wyjścia dla otwartego dostrajania przez końcówkę 2023 i cały 2024 rok — repozytorium na Hugging Face po latach wciąż notuje setki tysięcy pobrań miesięcznie — i ustanowił schemat, który firma powtarzała: otwarte wagi na dole, modele z górnej półki komercyjne. W dzisiejszej ofercie API Mistrala model nie występuje, a daty wyłączenia firma nigdy nie ogłosiła; przy licencji Apache 2.0 wag nie da się zresztą odebrać nikomu, kto już je pobrał.

▸Wideo

Brak materiałów wideo.

▸Recenzje