IBM wydrukował w karcie własnego modelu lepszy wynik konkurenta — i warto wiedzieć dlaczego

Model IBM do przestawiania wyników angielskiego wyszukiwania, wydany na licencji Apache 2.0, ma w karcie tabelę porównawczą, w której konkurent o dokładnie tej samej wielkości wygrywa dwa z trzech testów. Strata na długich dokumentach wynosi 5,4 punktu, a IBM wydrukował ją obok własnego wyniku, zamiast pominąć. Model granite-embedding-reranker-english-r2 niczego nie wyszukuje. Jest drugim stopniem systemu: szybka wyszukiwarka ściąga dwadzieścia prawdopodobnych dokumentów, a reranker czyta każdy z nich razem z zapytaniem i rozstrzyga ostateczną kolejność. To dodatkowe przejście jest kosztowne — uruchamia się raz na każdy dokument — ale to właśnie z niego bierze się większość trafności w dzisiejszych wyszukiwarkach. W pomiarach producenta efekt jest duży. Przestawienie dwudziestu najlepszych wyników z własnej wyszukiwarki IBM podnosi trafność BEIR z 53,1 na 55,8, przeszukiwanie długich dokumentów z 41,6 na 45,8, a angielską część testu MIRACL z 43,6 na 55,2 — prawie dwanaście punktów uzyskane bez pobrania choćby jednego nowego dokumentu. Ta sama tabela pokazuje, że gte-reranker-modernbert-base, otwarty konkurent o identycznych 149 milionach parametrów i tym samym oknie 8192 tokenów, ma 56,1 w BEIR wobec 55,8 modelu Granite i 51,2 na długich dokumentach wobec 45,8. Granite wygrywa wyłącznie test wielojęzyczny, 55,2 wobec 54,8. Łatwo przeoczyć czwarty wiersz, a jest ciekawszy niż zwycięzca. Wiekowy ms-marco-MiniLM-L12-v2, o 33 milionach parametrów i limicie 512 tokenów, osiąga 53,2 w BEIR i 55,4 w MIRACL — bijąc oba nowoczesne modele w teście wielojęzycznym przy pięciokrotnie mniejszym rozmiarze. Nie radzi sobie natomiast z długimi dokumentami, gdzie krótkie okno zatrzymuje go na 34,5. Stąd praktyczny wniosek dla wybierających reranker: o przydatności do prawdziwych dokumentów decyduje długość okna, a nie liczba parametrów, a liczy się ten test, który najbardziej przypomina własny zbiór. Średnie to zacierają. Jest też powód, dla którego IBM może sobie pozwolić na szczerość. W całej rodzinie R2 firma pominęła zbiór MS MARCO — ten, na którym uczy się większość otwartych modeli — bo jego licencja zabrania zastosowań komercyjnych. IBM traci na tym trafność i pisze o tym wprost, dokładnie tak jak w sierpniu, gdy wydał model mowy w dwóch wersjach i lepszej zabronił używać komercyjnie. Karcie, która przyznaje wygraną konkurentowi, łatwiej wierzyć w pozostałych punktach. Reranker i jego brat wyszukujący trafiły do katalogu.