Pierwsza PaliGemma wydała 54 punkty kontrolne, żeby każdy mógł sprawdzić jej wyniki. Druga ogłasza najlepsze rezultaty w pięciu nowych dziedzinach i wydała dwa

Kiedy Google publikował PaliGemmę w maju 2024, zrobił rzecz, której prawie nikt inny nie robi: obok wag bazowych wydał pięćdziesiąt cztery osobne dostrojone punkty kontrolne, po jednym na test — podpisy COCO, DocVQA, TextVQA, ScienceQA, pytania o zdjęcia satelitarne, opis ekranu, segmentacja. Raport techniczny oceniał model na prawie czterdziestu zadaniach, a kto nie dowierzał którejś liczbie, mógł pobrać dokładnie te wagi, które ją dały, i powtórzyć pomiar. PaliGemma 2, ogłoszona 5 grudnia 2024, znacznie rozszerzyła deklaracje. Google podaje najlepsze w dziedzinie wyniki dla rozpoznawania struktury tabel, struktur cząsteczek, partytur, długich drobiazgowych podpisów oraz generowania opisów radiologicznych ze zdjęć klatki piersiowej — pięć dziedzin, których pierwsza generacja wcale nie dotykała. Przeliczenie repozytoriów samej firmy pokazuje dla tej generacji dwa punkty kontrolne pod konkretne zadanie, oba do długich podpisów na zbiorze DOCCI. Pozostałe cztery deklaracje są w raporcie prozą, a czytelnik dostaje wagi wstępnie nauczone i dostrojone na mieszance zadań, z których dostrajanie musiałby odtworzyć sam. To nie jest zmiana licencji ani odwrót od otwartości — wagi obu generacji nadal są dostępne, na tych samych warunkach użytkowania Gemma, w zabramkowanych repozytoriach wymagających przyjęcia warunków. To zawężenie tego, co da się sprawdzić. I wypada niezręcznie na tle ruchu: w trzydziestu dniach do 17 września 2026 repozytoria Google wydały 619 679 pobrań pierwszej PaliGemmy i 64 773 pobrania drugiej, którą firma sama opisuje jako zamiennik wstawiany bez zmian w kodzie. Prawie dwa lata po tej aktualizacji dziewięć z dziesięciu pobrań w tej linii wciąż idzie do starszego modelu — tego, którego opublikowane liczby można weryfikować punkt kontrolny po punkcie.