QwQ-32B-Preview

QwQ-32B-Preview trafił na Hugging Face 27 listopada 2024 jako wagi modelu rozumującego łańcuchem myśli; wpis zespołu Qwen ukazał się dzień później. W tamtym momencie rozumowanie było czymś, co się wynajmowało: OpenAI pokazało o1-preview we wrześniu 2024 i ukrywało treść myślenia. To wydanie pozwoliło każdemu pobrać model o 32,5 miliarda parametrów, obejrzeć każdy krok jego rozumowania i douczyć go — na zwykłej licencji Apache 2.0, bez dodatkowych zastrzeżeń. Opublikowane wyniki były wąskie i wysokie: 90,6 procent na MATH-500, 65,2 procent na GPQA, 50,0 procent na AIME i 50,0 procent na LiveCodeBench. Czyli matematyka i kod — i wydanie mówi to wprost: producent sam zapisuje, że model ma sporo do poprawy w rozumowaniu zdroworozsądkowym i w niuansach języka. Nietypowa jest w tym wydaniu uczciwość rozdziału o ograniczeniach; warto go czytać jako decyzję produktową, nie jako formułkę. Autorzy wyliczają cztery wady: model miesza języki i przeskakuje między nimi w środku odpowiedzi; wpada w rozumowanie w kółko i produkuje długie wypowiedzi, które nie dochodzą do konkluzji; wymaga mocniejszych zabezpieczeń przed wdrożeniem; a jego siła ogranicza się do dziedzin technicznych. Opublikowanie modelu w takim stanie i opisanie go w taki sposób jest właśnie tym, czym ma być wydanie zapoznawcze. Korpusem jest Qwen2.5-32B-Instruct przeprowadzony przez dalsze trenowanie: 64 warstwy, uwaga z grupowanymi zapytaniami o 40 głowicach zapytań wobec 8 głowic klucza i wartości oraz kontekst 32 768 tokenów — czwarta część tego, co dwa miesiące później zaoferował DeepSeek-R1. Następca, QwQ-32B, ukazał się 5 marca 2025 na tej samej liczbie parametrów i zasypał większość tych luk; wersja zapoznawcza zostaje na Hugging Face jako plik do pobrania i jako znacznik miejsca, w którym zaczęła się otwarta linia rozumująca.

▸Wideo

Brak materiałów wideo.

▸Recenzje