Tiny Aya Base

Tiny Aya Base to model, z którego wyrasta cała reszta rodziny. Cohere Labs pretrenowało go jako wielojęzyczny pień o 3,35 mld parametrów, obsługujący ponad siedemdziesiąt języków, a na nim zbudowało warianty rozumiejące polecenia: tiny-aya-global z uczeniem nadzorowanym i treningiem preferencji oraz trzy modele regionalne dostrojone do węższych grup językowych. To, co opublikowano tutaj, to etap przed całą tą pracą nad dostrojeniem - i właśnie dlatego istnieje jako osobne wydanie. Model bazowy jest użytecznym punktem wyjścia dla każdego, kto chce dostrajać na własnych danych, a nie dziedziczyć czyjeś zachowanie instrukcyjne. Architektura jest w całej rodzinie ta sama: autoregresyjny transformer drugiej generacji Cohere, w którym trzy warstwy z każdych czterech korzystają z uwagi w oknie przesuwnym o szerokości 4096 tokenów z kodowaniem rotacyjnym, a czwarta z uwagi globalnej bez kodowania pozycji. Okno kontekstu to 8 tys. tokenów na wejściu i 8 tys. na wyjściu. Ponieważ jest to model bazowy, nie należy oczekiwać, że wykona polecenie, poprowadzi rozmowę albo czegokolwiek odmówi: trening bezpieczeństwa i użyteczności, który daje takie zachowania, dokładają warianty pochodne. Warunki dostępu są warunkami całej rodziny i są ostrzejsze, niż sugerują słowa „otwarte wagi": CC BY-NC 4.0 wraz z zasadami dopuszczalnego użycia Cohere Labs, czyli wyłącznie użytek badawczy i żadnego komercyjnego w jakiejkolwiek skali, a do tego bramka wymagająca konta i danych kontaktowych przed pobraniem plików. Do 17 sierpnia 2026 repozytorium miało 1515 pobrań i 63 polubienia - liczba skromna wobec instrukcyjnego Global, co przy wydaniu bazowym jest zjawiskiem normalnym.

▸Wideo

Brak materiałów wideo.

▸Recenzje