Aya 101

Aya 101 to pierwszy model programu Aya laboratorium Cohere Labs, opublikowany 8 lutego 2024 roku razem z praca "Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model". Jego ambicja bylo pokrycie jezykow, a nie wyniki w testach: wykonuje polecenia w 101 jezykach, czyli mniej wiecej dwa razy wiecej niz modele wielojezyczne, z ktorymi go wowczas porownywano - mT0 i BLOOMZ - i obejmuje dlugi ogon jezykow slabo reprezentowanych, ktore modele komercyjne nadal pomijaja. Polski jest na tej liscie, zaklasyfikowany przez autorow jako jezyk o wysokich zasobach. Architektonicznie nie jest to wlasny pien Cohere. Aya 101 to dostrojenie instrukcyjne modelu mT5-XXL od Google - konstrukcji koder-dekoder z rodziny T5, a nie architektury wylacznie dekodujacej, ktora pozniej stala sie standardem - o 12,92 mld parametrow w opublikowanym punkcie kontrolnym. Samo dostrajanie opisano nietypowo szczegolowo: 25 mln obejrzanych probek, wielkosc wsadu 256, trening na klastrze TPUv4-128 w T5X i Jaksie. Mieszanke treningowa tworza zbior xP3x, tworzone spolecznosciowo Aya Dataset i Aya Collection, zweryfikowany komercyjnie podzbior kolekcji Data Provenance oraz ShareGPT-Command; poniewaz podstawa jest mT5, lista jezykow to dokladnie 101 jezykow obslugiwanych przez mT5. Jako model T5 korzysta z wzglednego kodowania pozycji i nie ma podanego stalego okna kontekstu. Tym, co po dwoch latach uzasadnia osobny profil, jest licencja. Cohere Labs wydalo punkty kontrolne na Apache 2.0 - firma wprost nazywa to decyzja misyjna - podczas gdy kazde pozniejsze wydanie Aya, od Aya 23 przez Aya Expanse i Aya Vision po rodzine Tiny Aya z 2026 roku, ma licencje CC BY-NC 4.0, a w nowszych przypadkach takze wniosek o dostep przed pobraniem wag. Aya 101 wciaz pobiera sie bez zadnej bramki. Odpowiedz spolecznosci idzie w tym samym kierunku: to nadal najczesciej polubione repozytorium w calej rodzinie, przed nowszymi i technicznie mocniejszymi modelami Aya Expanse, mimo ze jest najstarsze. Jak na 2026 rok model jest przestarzaly - koder-dekoder z 2024 roku, ktory przegrywa z duzo mniejszymi wspolczesnymi modelami wielojezycznymi - ale to punkt odniesienia dla kazdego pozniejszego wydania Aya i jedyny, na ktorym projekt komercyjny moze legalnie budowac.

▸Wideo

Brak materiałów wideo.

▸Recenzje