AutoGLM-Phone-9B
Z.ai (Zhipu AI) · China · 2025
Otwarty model wizyjno-językowy, który czyta ekran telefonu i sam go dotyka — sterowany przez androidowy mostek diagnostyczny, dostrojony do chińskich aplikacji i wydany wyłącznie do badań mimo etykiety MIT.
AutoGLM-Phone-9B to model stojący za Open-AutoGLM, czyli szkieletem Z.ai do oddawania smartfona w ręce oprogramowania. Użytkownik pisze zdanie — przykład producenta brzmi „otwórz Xiaohongshu i wyszukaj polecane jedzenie” — a system robi zrzut ekranu telefonu, rozpoznaje, co na nim widać, planuje kolejne dotknięcie albo przesunięcie i doprowadza zadanie do końca. Droga sterowania jest celowo zwyczajna, a nie wymyślna: szkielet steruje androidem przez ADB, standardowy mostek diagnostyczny dla programistów, a urządzeniem z HarmonyOS NEXT przez jego odpowiednik HDC; dla iPhone'ów opisano osobną ścieżkę. Uprawnienia diagnostyczne trzeba włączyć ręcznie, a na androidzie telefon potrzebuje dodatkowo doinstalowanej klawiatury pomocniczej, bo ADB nie potrafi pisać w zwykłej metodzie wprowadzania. Połączyć się można też przez WiFi, nie tylko kablem. Wbudowane są dwa zachowania bezpieczeństwa: operacje wrażliwe wymagają potwierdzenia, a logowanie i kody weryfikacyjne oddają sterowanie człowiekowi. Od strony architektury to nie jest nowa konstrukcja. Model powstał z dostrojenia GLM-4.1V-9B-Base i — słowami samego producenta — jest architektonicznie identyczny z GLM-4.1V-9B-Thinking: czterdzieści warstw tekstowych nad dwudziestoczterowarstwową wieżą wizyjną, okno kontekstu 65 536 tokenów i tokeny wideo obok tokenów obrazu w słowniku. Stoją za nim dwie opublikowane prace — AutoGLM o agentach interfejsu graficznego z 2024 roku i MobileRL o uczeniu ze wzmocnieniem dla agentów mobilnych z 2025 roku. Dwie ostrożności należą się każdej decyzji wdrożeniowej. Po pierwsze, nazwa zaniża rozmiar pobrania: wagi zajmują 20,6 GB w formacie bfloat16, czyli około 10,3 miliarda parametrów po doliczeniu kodera obrazu, a nie dziewięć. Hugging Face pokazuje przy tym repozytorium 934 400 parametrów, ale ta liczba bierze się z błędnej wartości wpisanej przez producenta do indeksu wag i należy ją zignorować. Po drugie, licencja jest podana dwa razy i za każdym razem inaczej: metadane repozytorium mówią MIT, a własna nota projektu ogranicza go do badań i nauki oraz zakazuje używania do nieuprawnionego pozyskiwania danych i zakłócania systemów. Kto planuje uruchomienie produkcyjne, powinien najpierw wyjaśnić tę sprzeczność z producentem. Wariant podstawowy jest dostrojony do chińskich aplikacji. Bliźniacze wydanie, AutoGLM-Phone-9B-Multilingual, obsługuje angielski i inne języki.
▸Newsy
▸Wideo
Brak materiałów wideo.
▸Recenzje
Brak recenzji. Bądź pierwszy!