MiniCPM5-1B

MiniCPM5-1B otwiera rodzinę MiniCPM5 firmy OpenBMB — otwartoźródłowego ramienia pekińskiej spółki ModelBest. To gęsty transformer o 1 080 632 832 parametrach, z czego 679 552 512 przypada poza tablicami osadzeń, ułożony w 24 warstwy z uwagą grupowaną: 16 głowic zapytań na 2 głowice klucza i wartości. Opublikowana konfiguracja podaje okno kontekstu 131 072 tokenów i wagi w formacie bfloat16, a architektura to standardowy LlamaForCausalLM, więc model uruchamia się w zwykłych narzędziach bez dopisywania kodu. Przeznaczenie producent określa wprost: lokalni asystenci, agenty programistyczne i zadania z wywoływaniem narzędzi na sprzęcie, który nie ma dostępu do centrum danych. Ten sam plik wag obsługuje dwa zachowania dzięki wbudowanemu szablonowi rozmowy — odpowiedź natychmiastową oraz tryb, w którym model wypisuje osobny blok rozumowania — przełączane jedną flagą, a nie podmianą modelu. Obok wydania głównego OpenBMB udostępnia punkt kontrolny sprzed dostrajania, wersję po dostrajaniu nadzorowanym, wydanie GGUF dla llama.cpp, Ollamy i LM Studio oraz wydanie MLX skwantowane do 4 bitów na układy Apple Silicon. Dwie rzeczy wyróżniają to wydanie na tle innych małych modeli. Pierwsza to licencja: Apache 2.0, bez progu przychodowego, bez rejestracji i bez osobnych warunków dla użytku komercyjnego — co warto odnotować w czasach, gdy określenie „otwarte wagi" coraz częściej idzie w parze z jakimś zastrzeżeniem. Druga to jawność materiału treningowego: zbiory użyte do trenowania wstępnego i do dostrajania instrukcyjnego zostały opublikowane jako osobne zestawy danych, a nie tylko opisane ogólnikami, a przepis na dotrenowanie — dostrajanie nadzorowane, uczenie ze wzmocnieniem, a następnie destylacja z modeli-nauczycieli wyspecjalizowanych w poszczególnych dziedzinach z powrotem do jednego wydanego punktu kontrolnego — jest udokumentowany krok po kroku. Własne pomiary producenta zestawiają model z innymi wydaniami tej samej wielkości i przypisują mu prowadzenie w tym zestawieniu, z największą przewagą w użyciu narzędzi, generowaniu kodu i trudniejszym rozumowaniu; są to liczby producenta, niepotwierdzone niezależnie. Z zewnątrz mierzalne jest co innego — popularność: repozytorium odnotowuje ponad 1,09 miliona pobrań w ciągu poprzedzających trzydziestu dni i ponad tysiąc rekomendacji społeczności.

▸Wideo

Brak materiałów wideo.

▸Recenzje