VoxCPM2

VoxCPM2 to syntezator mowy OpenBMB, opublikowany na Hugging Face 3 kwietnia 2026 roku. Ma 2 290 004 544 parametry i był trenowany na ponad dwóch milionach godzin mowy w wielu językach, a jego architektura jest w tej dziedzinie nietypowa: jest bezotokenowa i dyfuzyjno-autoregresyjna, co znaczy, że model nie zamienia mowy na dyskretne tokeny dźwiękowe, zanim ją wygeneruje. Zdolnością, która go wyróżnia, jest projektowanie głosu. Większość systemów klonowania potrzebuje próbki głosu, który ma naśladować; VoxCPM2 potrafi też zbudować nowy głos z opisu zwykłym językiem — płeć, wiek, barwa, emocja, tempo — całkiem bez nagrania wzorcowego. Samo klonowanie występuje w dwóch odmianach: sterowanej, która bierze krótkie nagranie i pozwala wskazówkami stylu kierować emocją i tempem przy zachowaniu barwy, oraz dokładniejszej, która przyjmuje nagranie wraz z jego transkrypcją i kontynuuje wypowiedź. Wyjście ma 48 kHz — częstotliwość studyjną — uzyskane z materiału wzorcowego 16 kHz przez super-rozdzielczość wbudowaną w dekoder AudioVAE V2, więc zewnętrzny konwerter nie jest potrzebny. OpenBMB podaje współczynnik czasu rzeczywistego około 0,3 na karcie RTX 4090, spadający do mniej więcej 0,13 przy użyciu akceleratora Nano-VLLM, co stawia strumieniowanie na żywo w zasięgu jednej konsumenckiej karty. Model sam wyprowadza prozodię z treści tekstu, zamiast wymagać jej oznaczenia. Obsługiwanych jest trzydzieści języków, bez konieczności podawania znacznika języka, a wśród nich polski — obok arabskiego, birmańskiego, duńskiego, greckiego, hebrajskiego, khmerskiego, laotańskiego, suahili, tagalskiego i pozostałych; osobno wymieniono dziewięć chińskich odmian regionalnych, w tym kantoński, syczuański i hokkien. Licencja to Apache 2.0, bezpłatna do użytku komercyjnego i bez progów — spójnie z resztą obecnej rodziny MiniCPM. Instalacja sprowadza się do jednego pakietu Pythona, dokumentacja stoi na Read the Docs, a wersję do wypróbowania producent hostuje w Hugging Face Spaces. Repozytorium notuje 453 089 pobrań i 1534 polubienia.

▸Wideo

Brak materiałów wideo.

▸Recenzje