gte-multilingual-base

gte-multilingual-base, opublikowany 20 lipca 2024 roku, to wielojęzyczny członek rodziny GTE Alibaby i ten, który firma opisała w artykule mGTE przedstawionym na konferencji EMNLP 2024. Zamienia tekst w ponad 70 językach na wektor, dzięki czemu indeks zbudowany z polskich dokumentów można odpytywać po angielsku i wciąż dostać właściwy fragment. Producent broni tu jednej decyzji projektowej: samego enkodera. Konkurencyjne modele wyszukiwawcze z tego okresu powstawały przez okrojenie modeli czatowych — w tym własnego gte-Qwen2-1.5B-instruct Alibaby — co czyni je dużymi i powolnymi. Ten jest wyłącznie enkoderem: 12 warstw, wymiar ukryty 768, obrotowe osadzenia pozycji rozciągnięte na okno 8192 tokenów. Producent deklaruje dziesięciokrotne przyspieszenie wnioskowania wobec podejścia dekoderowego przy porównywalnej jakości. Szczegół, który warto znać przed oceną rozmiaru: model figuruje jako 305 369 089 parametrów, ale 192 miliony z nich to tablica osadzeń wielojęzycznego słownika liczącego 250 048 pozycji. Właściwa sieć wykonująca pracę ma około 113 milionów parametrów — mniej niż anglojęzyczny gte-modernbert-base, którego firma wydała pół roku później. W modelach wielojęzycznych duża liczba parametrów oznacza często duży alfabet, a nie duży mózg. Dwie cechy wyróżniają go w rodzinie. Wektor wyjściowy można skrócić do dowolnej długości między 128 a 768 wymiarami bez ponownego uczenia, wymieniając dokładność na rozmiar indeksu. Poza zwykłym wektorem gęstym model potrafi też zwrócić rzadki — listę ważonych tokenów, na wzór klasycznego wyszukiwania po słowach kluczowych — który przy zapytaniu można zmieszać z oceną gęstą. Żadne inne wydanie GTE nie daje obu naraz. Jedno ostrzeżenie pochodzi z samej karty modelu: Alibaba Cloud sprzedaje pod tą samą marką usługi osadzeń i przestawiania wyników (text-embedding-v1 do v3, gte-rerank), a karta wprost pisze, że modele stojące za tymi płatnymi interfejsami nie są całkowicie identyczne z otwartymi. Wyniki testów opublikowane dla jednych nie przenoszą się na drugie. Wagi są na Apache 2.0. Szczegółowe wyniki karta pokazuje wyłącznie jako obrazki, a liczby zostawia artykułowi. Popularność w 30 dniach do 23 września 2026: 1 324 593 pobrania i 377 polubień — drugi najczęściej pobierany model z badawczego konta Alibaby.

▸Wideo

Brak materiałów wideo.

▸Recenzje