Wykres, na którym Opus 5 jest najlepszy, ma przypis: przy odmowach odpowiadał Opus 4.8

Głównym argumentem premiery Claude Opus 5 jest wykres z zadań inżynierii oprogramowania: w teście Frontier-Bench v0.1 — pisze Anthropic — Opus 5 „wyprzedza wszystkie inne modele i ponad dwukrotnie przewyższa Opusa 4.8 przy niższym koszcie zadania”. Na dole tej samej strony, w jednym przypisie pod nagłówkiem Footnotes, firma wyjaśnia, jak ten pomiar przeprowadzono — i jedno zdanie zmienia sposób czytania wykresu. Przypis brzmi: „Wyniki pochodzą z wewnętrznego przebiegu Frontier-Bench v0.1, na szkielecie mini-SWE-agent i zapleczu GKE, jako średnia nagroda z pięciu prób na zadanie. Opus 4.8 służył jako rozwiązanie zapasowe przy odmowach klasyfikatora bezpieczeństwa dla Opusa 5 i Fable 5”. Czytane wprost, znaczy to, że części pracy stojącej za krzywą Opusa 5 nie wykonał Opus 5. Gdy klasyfikator bezpieczeństwa zablokował zapytanie, zadanie przejmował poprzedni flagowiec, Opus 4.8, i próba biegła dalej. Ten sam mechanizm obejmował Claude Fable 5. Anthropic nie podaje, jak często się uruchamiał, przy których zadaniach ani jak wykres wyglądałby bez niego — a skoro wynik jest średnią z pięciu prób na zadanie, podmiana nie musi być częsta, żeby przesunąć linię. Niezręczne jest samo porównanie. Reklamowana liczba to dwukrotna przewaga nad Opusem 4.8, a Opus 4.8 to model, który wkraczał zawsze wtedy, gdy Opus 5 dostawał odmowę. Przypis wymienia zresztą wyłącznie dwa modele Anthropic. Co działo się, gdy na własną odmowę trafiał model konkurencji z tego samego wykresu, nie zostało napisane; naturalne odczytanie jest takie, że taka próba po prostu przepadała — co czyniłoby dwa wpisy Anthropic jedynymi na wykresie z zapasową drogą do odpowiedzi. Nic z tego nie jest ukryte i nic z tego nie jest zarzutem fałszowania. Zostało ujawnione, słowami samego producenta, w miejscu przeznaczonym na metodologię. Warto też zauważyć, że ten sam komunikat wprowadza automatyczne przełączanie jako funkcję produktu: programiści mogą odtąd kierować zapytania odrzucone przez klasyfikatory bezpieczeństwa Opusa 5 lub Fable 5 automatycznie do innego modelu, zamiast dostawać blokadę. Anthropic mierzy więc model tak, jak zakłada, że będzie używany — jako element systemu z przekierowaniami, a nie samodzielna maszyna. To wybór, którego da się bronić, i zarazem coś innego niż to, co zwykle oznacza słupek podpisany nazwą jednego modelu. W tym samym przypisie stoją jeszcze dwa zastrzeżenia, które łatwo pominąć. Przebieg jest wewnętrzny, a nie zgłoszony do publicznego rankingu Frontier-Bench. I korzysta ze szkieletu mini-SWE-agent — czyli tej samej zmiennej, która w opisanym przez nas wczoraj przypadku dała trzy różne wyniki Terminal-Bench dla jednego, niezmienionego modelu. Wpis katalogowy Claude Opus 5 został odpowiednio poprawiony. Odnotowuje teraz mechanizm zastępowania stojący za liczbą z Frontier-Bench, dwa wiersze, których komunikat Anthropic nie wygrywa — cyberbezpieczeństwo, gdzie Opus 5 pozostaje za Claude Mythos 5, oraz CursorBench 3.2, gdzie wypada tuż pod Claude Fable 5 — a także fakt, że cytowany wszędzie wynik 61 punktów w Artificial Analysis Intelligence Index należy do wersji 4.1 tego indeksu. W obowiązującej dziś wersji 4.3 ta sama konfiguracja ma 51 punktów.