Cohere Command R7B

Command R7B, opublikowany w grudniu 2024 roku, jest przez samo Cohere opisywany jako najmniejszy, najszybszy i ostatni model rodziny R. Z około 8 miliardami parametrów w opublikowanych wagach i oknem kontekstu 128 tysięcy tokenów powstał dla tej części rynku, której flagowce nie obsłużą: chatbotów, asystentów programisty i agentów, gdzie czas odpowiedzi i koszt liczą się bardziej niż ostatnie punkty w rankingu. Najciekawszy jest rachunek. Cohere liczy 0,0375 dolara za milion tokenów wejścia i 0,15 dolara za milion tokenów wyjścia, czyli na wejściu około sześćdziesiąt sześć razy taniej niż za Command A, korporacyjnego flagowca tej samej firmy. Producent wskazuje przy tym wprost na karty graficzne dla graczy i procesory, co otwiera drogę do uruchamiania modelu na własnym urządzeniu — takiego trybu nie oferuje żaden większy model linii Command. Lista możliwości jest celowo wąska, ale kompletna z punktu widzenia firmy: generowanie wspomagane wyszukiwaniem z cytowaniami w treści, wbudowane użycie narzędzi i wielokrokowe pętle agentowe. Cohere osobno podkreśla umiejętność powstrzymania się od wywołania narzędzia, gdy nie jest potrzebne, co w praktyce znaczy tyle samo co poprawne wywoływanie. Wagi są na Hugging Face na licencji CC BY-NC 4.0 — wolno je pobrać i obejrzeć, ale nie wolno wdrożyć komercyjnie bez osobnej umowy z Cohere. To ten sam układ co przy Command A i inny niż licencja Apache 2.0, którą firma zastosowała później przy Command A+.

▸Wideo

Brak materiałów wideo.

▸Recenzje