ChatGLM-6B

ChatGLM-6B opublikowano w marcu 2023 roku, trzy miesiące po tym, jak ChatGPT trafił pod strzechy, i cztery miesiące przed Llamą 2. Ważniejsze od tego, co potrafił, jest to, gdzie dawało się go uruchomić: 6,2 mld parametrów po kwantyzacji INT4 mieściło się w 6 GB pamięci karty graficznej — sprzętu domowego, nie serwerowni. Przez dużą część 2023 roku był domyślnym sposobem, żeby spróbować chińskojęzycznego asystenta na własnym komputerze. Architektura to opracowany na Uniwersytecie Tsinghua szkielet GLM, a nie zwykły dekoder transformerowy: 28 warstw, wymiar ukryty 4096, 32 głowy uwagi i limit sekwencji 2048 tokenów, trening na około bilionie tokenów dwujęzycznych, a następnie dostrajanie nadzorowane, samowzmacnianie na informacji zwrotnej i uczenie ze wzmocnieniem na ocenach ludzi. Najważniejsza do przeczytania przed użyciem jest licencja — i od tamtej pory się nie zmieniła. Wagi wydano na własnym dokumencie producenta (ChatGLM-6B License), a nie na licencji otwartego oprogramowania: udzielone prawo jest wprost odwoływalne, zastosowania wojskowe są zabronione, użytek komercyjny wymaga wypełnienia formularza rejestracyjnego u producenta, a spory rozstrzyga sąd rejonowy dzielnicy Haidian w Pekinie według prawa Chińskiej Republiki Ludowej. Ten sam dokument zastrzega, że obejmuje wyłącznie ten model i nie dotyczy ani ChatGLM2-6B, ani modeli późniejszych. Repozytorium wciąż istnieje i wciąż zbiera pobrania, choć ruch dawno przeniósł się do następców. Ma przy tym więcej polubień niż jakikolwiek inny model na koncie tej firmy — jest bardziej pomnikiem niż narzędziem.

▸Wideo

Brak materiałów wideo.

▸Recenzje