Najlepszy model rozdzielający mówców myli się co do trzech słów na dziesięć — a standardowa miara to ukrywała

AssemblyAI opublikowało materiały premierowe swojego flagowego modelu rozpoznawania mowy Universal-3.5 Pro, a najciekawsza rzecz nie jest w nich deklaracją o możliwościach. Jest nią zarzut, że miara, którą branża od lat ocenia rozpoznawanie mówców, jest miarą niewłaściwą. Od dawna podaje się w tej dziedzinie wskaźnik DER — błąd rozdzielania mówców. DER porównuje odcinki czasu: pyta, które fragmenty nagrania przypisano któremu głosowi. Na słowa nie patrzy w ogóle. Zastrzeżenie AssemblyAI brzmi tak: taka miara potrafi ustawić systemy w odwrotnej kolejności. Transkrypcja, w której co do jednego słowa wszystko trafiło do właściwej osoby, może dostać ponad 30% DER — bo system nie uznał śmiechu za mowę albo dlatego, że ręcznie zaznaczone odcinki mowy są po prostu luźniejsze niż znaczniki czasu, które przy słowach zwraca współczesny model. Firma przeszła na cpWER — błąd słów liczony po sklejeniu wypowiedzi każdego mówcy w najlepszym możliwym dopasowaniu. Ta miara zadaje pytanie, które zadałby czytelnik: z tego wszystkiego, co powiedziała ta osoba, jaką część system przekręcił albo przypisał komuś innemu? Liczby wyliczone w ten sposób są znacznie mniej pochlebne, niż sugerowałaby dekada wykresów DER. Własny nowy model AssemblyAI wypada w tym zestawieniu najlepiej — średnie cpWER 30,17 na sześciu zbiorach testowych. To mniej więcej trzy słowa na dziesięć błędne albo przypisane nie tej osobie. Ważny jest rozrzut: na nagraniach telefonicznych model notuje 17,18 i 17,78, na nagraniach ze spotkań 27,36, ale na trudniejszych zbiorach konwersacyjnych 37,02 i 48,22. Każdy rywal z tabeli wypada średnio gorzej, od 35,26 do 44,58 — z tym że są to pomiary producenta dotyczące konkurencji i tak należy je czytać. Moment wyostrza wymowę tych liczb. Dwa dni temu Google wydało Gemini 3.5 Transcribe, którego punkt dostępu na żywo w ogóle nie rozpoznaje mówców, a punkt plikowy po włączeniu rozdzielania skraca maksymalne nagranie o połowę i nazywa przypisywanie wypowiedzi powyżej trzech osób eksperymentalnym. Zestawione z tabelą AssemblyAI wygląda to mniej na lukę w produkcie, a bardziej na uczciwe odbicie tego, jak dalece problem pozostaje nierozwiązany. Jedno zastrzeżenie trzeba postawić wprost: dostawca, który zmienia miarę, według której jest oceniany, zawsze zasługuje na drugie spojrzenie, a nowy model AssemblyAI akurat tę nową miarę wygrywa. Ale krytyka DER broni się sama — to miara czasu, a czytelnika transkrypcji obchodzą słowa. Nowa liczba jest mniej pochlebna dla wszystkich w branży, łącznie z firmą, która ją publikuje. Universal-3.5 Pro udostępniono 29 czerwca 2026 roku, a 2 września 2026 staje się domyślnym modelem AssemblyAI dla nagrań — wtedy wycofana zostaje poprzednia linia Universal-3 Pro. Kosztuje 0,21 dolara za godzinę nagrania; wariant strumieniowy 0,45 dolara za godzinę otwartej sesji. Model ma od dziś profil w katalogu, podobnie jak jego producent, którego wujec.ai do tej pory w ogóle nie opisywał.