Model pobrał się bez problemu, ale przy dłuższej rozmowie pojawia się błąd braku pamięci. To częsty moment, w którym rozmiar pliku modelu przestaje być użyteczną odpowiedzią na pytanie o wymagania sprzętowe. VRAM musi pomieścić nie tylko wagi, lecz także pamięć potrzebną podczas obliczeń.
Nie istnieje jedna wiarygodna tabela „model 14B = karta X”, która obejmie wszystkie formaty, długości kontekstu i programy. Można jednak oszacować punkt startowy, a potem wykonać kontrolowany pomiar własnego zadania. W tym poradniku liczby dotyczące wag są rachunkiem teoretycznym. Nie przedstawiam ich jako wyników benchmarku kart graficznych.
Co zajmuje pamięć podczas uruchamiania modelu
Najłatwiej zacząć od wag, czyli zapisanych parametrów sieci. Ich wielkość zależy od liczby parametrów oraz sposobu reprezentacji. O znaczeniu oznaczeń 7B i 32B przeczytasz w artykule o liczbie parametrów modeli AI.
Do wag dochodzi pamięć robocza silnika. Program potrzebuje buforów i miejsca na operacje wykonywane podczas przetwarzania promptu oraz generowania odpowiedzi. Część zasobów może też zajmować pulpit, przeglądarka albo inny proces korzystający z GPU.
Kolejnym składnikiem jest KV cache. Przechowuje informacje używane przy kolejnych tokenach, dzięki czemu model nie musi za każdym razem odtwarzać całej wcześniejszej pracy. Jego wielkość zależy między innymi od architektury i długości obsługiwanego kontekstu. Dlatego dwa modele o podobnym rozmiarze pliku mogą zachowywać się inaczej.
W praktycznym planie zostaw miejsce na cztery grupy:
- wagi modelu;
- cache związany z kontekstem;
- bufory i narzut programu;
- pozostałe procesy oraz zapas na docelowe obciążenie.
Nie sumuj wartości odczytanych z różnych narzędzi bez sprawdzenia, co mierzą. Liczba przypisana procesowi przez sterownik nie musi oznaczać dokładnie tego samego co pamięć tensorów raportowana wewnątrz biblioteki.
Rachunek wag daje dolny punkt odniesienia
Uproszczony wzór wygląda tak:
bajty wag = liczba parametrów × liczba bitów / 8
Poniższa tabela używa dziesiętnych GB. Pomija dodatkowe dane formatu, skale kwantyzacji i wszystkie pozostałe składniki pamięci.
| Hipotetyczny model | Wagi 16-bitowe | Wagi 8-bitowe | Wagi 4-bitowe |
|---|---|---|---|
| 7 miliardów parametrów | 14 GB | 7 GB | 3,5 GB |
| 14 miliardów parametrów | 28 GB | 14 GB | 7 GB |
| 32 miliardy parametrów | 64 GB | 32 GB | 16 GB |
Z tabeli nie wynika, że 14B w dowolnym wariancie czterobitowym zmieści się na GPU z 8 GB pamięci. Nie wynika też, że wymagania pliku GGUF będą równe wartości z kolumny. To tylko proste mnożenie pomagające zauważyć skalę problemu.
Różnice między formatami opisuje poradnik o kwantyzacji modeli AI. Przy wyborze konkretnego pliku sprawdź jego rzeczywisty rozmiar i dokumentację używanego silnika.
Długi kontekst i równoległe rozmowy zmieniają wynik
Krótki prompt z jednym pytaniem jest słabym testem aplikacji, która ma czytać długie dokumenty. Ustawienie dużego kontekstu oraz sposób zarządzania cache przez silnik wpływają na zapotrzebowanie na pamięć.
Przykładowo chatbot obsługujący jedną rozmowę lokalnie ma inne warunki niż API przyjmujące kilka równoległych zapytań. Nawet jeśli każde działa osobno, jednoczesna obsługa może przekroczyć dostępny budżet.
W Ollama warto sprawdzić konfigurację długości kontekstu i równoległości zamiast kopiować maksymalne wartości znalezione w przykładzie. Znaczenie samego limitu wyjaśnia tekst o oknie kontekstu.
Do testu wybierz najdłuższe typowe wejście, a nie najkrótsze możliwe. Jeżeli aplikacja ma generować rozbudowaną odpowiedź, uwzględnij również ją. Nie zajmuj całego dopuszczalnego kontekstu samymi dokumentami.
Jak wykonać użyteczny pomiar
Najpierw zapisz warunki: model i jego wariant, wersję programu, ustawiony kontekst, liczbę równoległych zapytań oraz urządzenie. Bez tego wynik trudno porównać po aktualizacji.
Na komputerze z kartą NVIDIA i działającym sterownikiem możesz obserwować pamięć poleceniem:
nvidia-smi --query-gpu=name,memory.total,memory.used,memory.free --format=csv -l 1
Zakończ obserwację przez Ctrl+C. To podgląd stanu urządzenia, nie kompletny profiler. Odczyt co sekundę może nie pokazać krótkiego skoku, a wynik obejmuje również inne obciążenia GPU.
Praktyczny scenariusz pomiaru:
- Zanotuj zajętość pamięci przed uruchomieniem modelu.
- Załaduj model i wykonaj krótkie zapytanie rozgrzewające.
- Uruchom reprezentatywny długi prompt.
- Zapisz zajętość oraz czas odpowiedzi.
- Powtórz próbę z docelową równoległością.
- Sprawdź, czy nie nastąpiło przeniesienie części pracy na CPU.
W poradniku uruchomienia Ollama znajdziesz punkt startowy do lokalnego środowiska. Tutaj nie podaję pomiarów konkretnego GPU, ponieważ nie wykonano takiego benchmarku na potrzeby artykułu.
Co zrobić, kiedy model się nie mieści
Zmieniaj jeden parametr naraz. Dzięki temu zobaczysz, która decyzja pomogła i jaki miała koszt.
Najpierw zamknij zbędne procesy GPU i upewnij się, że problem nie wynika z drugiego załadowanego modelu. Następnie sprawdź krótszy kontekst oraz mniejszą równoległość. Jeżeli aplikacja nie potrzebuje całej historii rozmowy, ograniczenie wejścia może być sensowniejsze niż zakup sprzętu.
Kolejny wariant to mniejszy model albo mocniejsza kwantyzacja. W obu przypadkach ponownie oceń jakość na własnych przykładach. Oszczędność pamięci nie ma dużej wartości, jeśli odpowiedzi przestają spełniać wymagania.
Niektóre silniki potrafią przenieść część obliczeń do pamięci systemowej. Wtedy zadanie może wystartować, ale charakterystyka czasu odpowiedzi się zmienia. RAM, VRAM i swap nie są zamiennymi pulami o identycznej wydajności.
Jeżeli sporadycznie potrzebujesz większego modelu, rozważ rozdzielenie zadań lokalnych i zdalnych. Koszty oraz ograniczenia takiej decyzji omawia porównanie lokalnego AI i API.
Jak ocenić kartę przed zakupem
Najbardziej użyteczny wynik to pomiar podobnego modelu, formatu i zadania na sprzęcie, który rozważasz. Sam rozmiar VRAM nie odpowiada na pytanie o szybkość ani zgodność z oprogramowaniem.
Przygotuj zestaw kilku własnych promptów: krótki, długi i taki, który występuje w docelowym procesie. Zapisuj poprawność odpowiedzi, czas pierwszego tokena, całkowity czas oraz pamięć. Dopiero taki komplet pozwala porównać dwa warianty bez sprowadzania decyzji do jednej liczby.
Najczęstsze pytania
Czy plik modelu 6 GB potrzebuje dokładnie 6 GB VRAM?
Nie. Plik opisuje zapis na dysku. Uruchomienie wymaga także cache i pamięci roboczej, a część danych może być rozmieszczona inaczej.
Czy więcej RAM zastąpi VRAM?
Może umożliwić pracę w innym trybie, jeśli silnik go obsługuje. Nie oznacza jednak tej samej szybkości ani identycznego sposobu wykonania.
Czy dłuższy kontekst jest zawsze lepszy?
Nie. Powinien odpowiadać zadaniu. Zbędne wejście zwiększa koszt przetwarzania i może utrudniać znalezienie istotnych informacji.
Czy ten poradnik zawiera benchmark GPU?
Nie. Zawiera rachunek teoretyczny i procedurę pomiaru. Wyniki sprzętowe trzeba uzyskać na konkretnym środowisku.
Źródła
- Długość kontekstu, Ollama.
- Pamięć, GPU i równoległość, Ollama.
- Strategie KV cache, Hugging Face Transformers.
- Polecenia NVIDIA System Management Interface, NVIDIA.
- Przykładowa karta modelu 14B, Qwen.
Data publikacji: 10.11.2026.

Dyskusja