IBM Granite Embedding 311M Multilingual R2

Granite-Embedding-311M-Multilingual-R2 zamienia tekst na wektory 768 liczb, służące wyszukiwaniu i odnajdywaniu dokumentów. Nie pisze, nie odpowiada i nie rozumuje — ale dla czytelnika spoza świata anglojęzycznego to najistotniejszy model, jaki IBM dziś wydaje, bo jako jedyny w tym katalogu ma trening wprost obejmujący polski. To warto podkreślić. Każdy czat Granite, który opisujemy, wymienia dwanaście przetestowanych języków i w żadnym z nich nie ma polskiego. Ten model wymienia 52 języki, które dostały osobny trening par wyszukiwania i par międzyjęzykowych — polski wśród nich, obok czeskiego, słowackiego, ukraińskiego, litewskiego i większości naszego regionu — na koderze uczonym wstępnie na ponad dwustu. Polska firma, która chce przeszukiwać własne dokumenty modelem IBM, ma dokładnie jedną możliwość i jest nią ten model. Skok względem poprzedniego pokolenia jest nietypowo duży: 65,2 w wielojęzycznym wyszukiwaniu MTEB wobec 52,2 dla granite-embedding-278m-multilingual, czyli trzynaście punktów w jednym pokoleniu, i średnia 56,3 we wszystkich testach wyszukiwania wobec 41,8. Przeszukiwanie długich dokumentów niemal się podwaja, z 37,7 do 71,7. IBM tłumaczy to przejściem na architekturę ModernBERT i oknem kontekstu, które urosło z 512 tokenów do 32 768. Praktyczną nowością jest tak zwana matrioszka: wektor 768 liczb można skrócić do 512, 384, 256, a nawet 128 liczb bez ponownego uruchamiania modelu, a producent podaje, ile to kosztuje. Przycięcie z 768 do 256 zabiera jeden punkt w wyszukiwaniu angielskim i pół punktu w wielojęzycznym — sześciokrotna oszczędność pamięci za błąd, którego większość wyszukiwarek nie zauważy. Przy 128 liczbach strata staje się widoczna, około dwóch punktów. Dla zastosowań wrażliwych na czas odpowiedzi istnieje mniejszy brat: granite-embedding-97m-multilingual-r2, 97 milionów parametrów, wektory 384-liczbowe, pięć punktów mniej w wyszukiwaniu wielojęzycznym i o jakieś 40 procent szybszy. Opisywany model przetwarza około 1828 dokumentów na sekundę na jednej karcie H100, mniejszy — 2534. Licencja to czysta Apache 2.0, bez wyłączeń terytorialnych — co warto odnotować w roku, w którym kilka laboratoriów chińskich i amerykańskich dopisało do swoich wag zastrzeżenia dotyczące Europy. Obok wag PyTorch producent wydaje konwersje ONNX i OpenVINO.

▸Wideo

Brak materiałów wideo.

▸Recenzje