Czego szukasz?

Wpisz temat, narzędzie lub problem do rozwiązania.

← Wszystkie artykuły

Ollama: jak uruchomić lokalny model AI na własnym komputerze

Otwarty laptop i niewielki komputer stoją na jasnym biurku przy oknie.

Lokalny model AI daje kontrolę nad miejscem wykonywania obliczeń, ale samo zainstalowanie Ollamy jeszcze tego nie gwarantuje. Trzeba wybrać model uruchamiany na komputerze, sprawdzić jego wymagania i upewnić się, że aplikacja nie korzysta z chmurowego endpointu. Inaczej łatwo pomylić lokalny interfejs ze zdalnym przetwarzaniem.

W tym poradniku przejdziesz od instalacji przez pierwszą rozmowę do wywołania lokalnego API. Przykład używa konkretnego tagu qwen3:4b, aby polecenia były jednoznaczne. Nie jest to ranking modeli ani benchmark sprzętu; szybkość i jakość trzeba ocenić na własnych zadaniach.

Co robi Ollama, a co robi model

Ollama pobiera modele, uruchamia je i udostępnia interfejs rozmowy oraz API. Model jest osobnym zestawem wag i konfiguracji. Możesz mieć kilka modeli na dysku, ale tylko część z nich załadowaną do pamięci. Usunięcie modelu z pamięci nie jest tym samym co skasowanie pobranych plików.

To rozróżnienie pomaga przy instalacji i diagnozie. Komunikat „nie znaleziono modelu” nie musi oznaczać awarii serwera. Możliwe, że serwer działa, lecz podano inny tag. Z kolei pobrany model nie zacznie odpowiadać, jeśli proces Ollamy nie jest dostępny.

Lokalny model nie staje się też automatycznie agentem. Bez dodatkowej aplikacji nie ma dowolnego dostępu do plików, poczty czy panelu hostingu. O tym, jakie działania może wykonywać, decyduje integracja. Ten podział wyjaśnia szerzej poradnik o agentach AI.

Czy komputer wystarczy do lokalnego modelu

Nie ma jednej prawidłowej odpowiedzi typu „każdy model działa na 8 GB RAM”. Znaczenie mają rozmiar wag, kwantyzacja, długość kontekstu, liczba jednoczesnych żądań i sposób wykorzystania GPU. Pamięć zajmują także system oraz inne programy.

Wybierając pierwszy model, zacznij od małego wariantu przeznaczonego do lokalnego uruchamiania. Sprawdź rozmiar pobieranego pliku na stronie modelu, ale nie utożsamiaj go z całkowitym zużyciem RAM lub VRAM. Do wag dochodzą bufory i dane potrzebne podczas generowania. Dłuższa rozmowa może zmienić zapotrzebowanie, mimo że tag modelu pozostaje ten sam.

Kwantyzacja zmniejsza precyzję reprezentacji wag, co może obniżyć wymagania pamięciowe. Nie jest darmowym przyspieszeniem bez konsekwencji: jakość oraz szybkość zależą od konkretnego modelu i sprzętu. Nie wybieraj wyłącznie największej liczby parametrów, którą uda się załadować. Mniejszy model z akceptowalnym czasem odpowiedzi bywa bardziej użyteczny w codziennej pracy.

Obserwacja Co sprawdzić najpierw
Model nie mieści się w pamięci Mniejszy wariant, inne programy, długość kontekstu
Odpowiedź powstaje bardzo wolno Użycie CPU/GPU, sterownik, obciążenie komputera
Pierwsza odpowiedź trwa dłużej Czas załadowania modelu i przetworzenia wejścia
Krótka rozmowa działa, długa już nie Kontekst, liczba żądań, wolna pamięć

Nie traktuj pliku wymiany jako zamiennika odpowiedniej ilości pamięci. Może pomóc systemowi przetrwać presję pamięciową, ale intensywne przenoszenie danych na dysk potrafi drastycznie wydłużyć pracę. Mechanizm i ograniczenia opisuje tekst o swapie; dla lokalnej inferencji obowiązuje podobne rozróżnienie między „uruchamia się” a „działa wygodnie”.

Instalacja na Windows, macOS i Linuxie

Pobierz instalator wyłącznie z oficjalnej strony Ollamy. Dla Windows najprostsza jest instalacja aplikacji, po której polecenie ollama staje się dostępne w terminalu. Na macOS skorzystaj z oficjalnego pakietu dla tego systemu. Sprawdź bieżące wymagania platformy i obsługę swojego GPU, ponieważ zależą od sterowników oraz wydania programu.

Po instalacji otwórz nowy terminal:

ollama --version

Zapisanie wersji ułatwi późniejsze porównanie zachowania. Jeśli polecenie nie jest rozpoznawane, najpierw zamknij stary terminal i sprawdź instalację oraz PATH. Nie zaczynaj od pobierania alternatywnego pliku z przypadkowego poradnika.

Na Linuxie oficjalna dokumentacja udostępnia skrypt instalacyjny. Możesz najpierw pobrać go do pliku i obejrzeć przed wykonaniem:

curl -fsSL https://ollama.com/install.sh -o ollama-install.sh
less ollama-install.sh
sh ollama-install.sh

Skrypt może wymagać podniesienia uprawnień podczas instalacji. Wykonuj go na komputerze przeznaczonym do tego zadania. Jeżeli masz już działającą usługę, nie uruchamiaj równolegle drugiego ollama serve na tym samym porcie. Na typowej instalacji Linux z systemd jej stan sprawdzisz poleceniem:

systemctl status ollama --no-pager

To poradnik pracy na własnym komputerze. Nie ma potrzeby instalowania dużego modelu na VPS obsługującym stronę tylko po to, aby sprawdzić składnię kilku poleceń. Inferencja może konkurować z bazą danych i serwerem WWW o RAM oraz CPU.

Pobranie i pierwsze uruchomienie modelu

Użyj jednego, jawnie wskazanego tagu:

ollama pull qwen3:4b
ollama list
ollama show qwen3:4b
ollama run qwen3:4b

pull pobiera model, list pokazuje dostępne pozycje, a show pozwala sprawdzić jego informacje. run rozpoczyna rozmowę. Jeżeli model nie jest jeszcze pobrany, uruchomienie może także rozpocząć pobieranie, więc pierwszej próby nie oceniaj wyłącznie po czasie oczekiwania.

Zacznij od krótkiego zadania, którego wynik potrafisz ocenić. Na przykład: „Wyjaśnij różnicę między kopią pliku a kopią bazy danych w trzech zdaniach”. Następnie poproś o wskazanie ograniczeń odpowiedzi. Nie rozpoczynaj od wielomegabajtowego logu i pytania „napraw wszystko”, ponieważ utrudnia to odróżnienie problemów modelu od problemów wejścia.

Rozmowę w terminalu zakończysz przez /bye. Lista modeli aktualnie załadowanych jest osobna:

ollama ps
ollama stop qwen3:4b

stop zwalnia zasoby zajmowane przez uruchomiony model. Jeśli później chcesz usunąć pobrany model z dysku, służy do tego ollama rm qwen3:4b. To inna operacja, dlatego nie używaj jej jako odpowiednika zwykłego zamknięcia rozmowy.

Jak upewnić się, że model działa lokalnie

Sprawdź dokładny model wybrany w aplikacji oraz adres API. Ollama obsługuje także funkcje chmurowe, dlatego nazwa programu nie jest wystarczającym dowodem. W lokalnej konfiguracji z tego poradnika żądanie trafia na 127.0.0.1:11434, a tag dotyczy pobranego wariantu modelu.

Oficjalna dokumentacja opisuje tryb wyłączający funkcje Ollama Cloud. Można ustawić disable_ollama_cloud w pliku server.json w katalogu .ollama użytkownika:

{
  "disable_ollama_cloud": true
}

Jeśli plik już zawiera inne ustawienia, dodaj pole do istniejącego obiektu zamiast nadpisywać całość. Alternatywą jest zmienna środowiskowa OLLAMA_NO_CLOUD=1. Zmiana musi dotyczyć procesu serwera; ustawienie jej tylko w nowym terminalu nie zmieni już działającej aplikacji. Po zmianie uruchom Ollamę ponownie i sprawdź w logu informację o wyłączeniu chmury.

Po pobraniu modelu można też wykonać kontrolną rozmowę bez połączenia z internetem. Jest to praktyczny test lokalnego działania konkretnej funkcji, nie pełny audyt prywatności całego komputera. Osobny interfejs WWW, rozszerzenie edytora lub narzędzie wyszukiwania może mieć własne połączenia sieciowe.

Nie wysyłaj poufnych danych do przypadkowego interfejsu tylko dlatego, że deklaruje obsługę Ollamy. Sprawdź, czy łączy się z Twoim serwerem i co zapisuje w logach lub historii. Miejsce inferencji, miejsce przechowywania rozmów i dostęp rozszerzeń to trzy oddzielne kwestie.

Pierwsze żądanie do lokalnego API

API pozwala użyć modelu we własnym skrypcie. Poniższy przykład działa w Pythonie 3 i korzysta tylko z biblioteki standardowej. Wymaga uruchomionej Ollamy oraz wcześniej pobranego qwen3:4b:

import json
import urllib.request

payload = {
    "model": "qwen3:4b",
    "messages": [
        {"role": "user", "content": "Wyjasnij DNS w dwoch zdaniach."}
    ],
    "stream": False,
    "think": False,
    "options": {"num_ctx": 4096, "num_predict": 256}
}

request = urllib.request.Request(
    "http://127.0.0.1:11434/api/chat",
    data=json.dumps(payload).encode("utf-8"),
    headers={"Content-Type": "application/json"},
    method="POST"
)

with urllib.request.urlopen(request, timeout=180) as response:
    result = json.load(response)

print(result["message"]["content"])
print("Wejscie:", result.get("prompt_eval_count"))
print("Wyjscie:", result.get("eval_count"))

stream: false upraszcza przykład: skrypt otrzymuje jedną odpowiedź JSON zamiast strumienia kolejnych fragmentów. num_ctx ustawia wielkość kontekstu dla tego żądania, a num_predict ogranicza generowanie. think: false dotyczy wybranego modelu obsługującego taki parametr; po zmianie modelu sprawdź jego możliwości.

To przykład klienta API, a nie wynik pomiaru wydajności. Zapisz go jako ollama-chat.py i uruchom przez python ollama-chat.py. Jeżeli skrypt zwróci odmowę połączenia, sprawdź serwer przed zmianą promptu. Pomocna będzie procedura diagnozowania Connection refused.

Przy debugowaniu odpowiedzi możesz użyć formattera JSON dla danych demonstracyjnych. Nie zakładaj, że każda odpowiedź zawiera pełną treść: obsłuż timeout, kod błędu HTTP i brak oczekiwanego pola. W produkcyjnym skrypcie warto zapisywać identyfikator zadania oraz czas wykonania bez kopiowania całych poufnych wiadomości do logu.

Co oznacza kontekst i dlaczego zużywa pamięć

Rozmiar modelu i długość kontekstu to różne parametry. Pierwszy dotyczy reprezentacji modelu, drugi ilości informacji przetwarzanej w danym wywołaniu. Zwiększanie kontekstu może zwiększyć wykorzystanie pamięci, nawet jeśli nie pobierasz żadnych nowych wag.

Nie ustawiaj maksymalnego limitu „na zapas” przy pierwszym teście. Zacznij od krótkiego wejścia i sprawdź zachowanie. Potem zwiększaj długość materiału stopniowo. Jeśli analizujesz dokumentację, rozważ wybór odpowiednich fragmentów zamiast wysyłania wszystkiego za każdym razem. Taki sposób pracy opisuje wprowadzenie do RAG.

W ollama ps sprawdź, jak model jest aktualnie wykonywany. Nie zakładaj użycia GPU wyłącznie na podstawie obecności karty w komputerze. Przyczyną pracy na CPU może być obsługa konkretnego sprzętu, sterownik albo brak miejsca. Zmiana ustawień w ciemno utrudnia porównanie, dlatego podczas testu zmieniaj jeden parametr naraz.

Jak ocenić użyteczność zamiast samej liczby tokenów

Przygotuj dziesięć krótkich zadań podobnych do swojej pracy: streszczenie notatki, wydobycie pól z tekstu, odpowiedź na podstawie wskazanego fragmentu i rozpoznanie braku informacji. Dla każdego określ oczekiwany rezultat przed uruchomieniem. W przeciwnym razie płynna odpowiedź łatwo zostanie uznana za poprawną.

Zapisuj model, jego lokalny identyfikator, wersję Ollamy, ustawienia i czas. Oddziel pierwsze wywołanie od kolejnych, bo ładowanie wag zaburza porównanie. Nie porównuj krótkiej odpowiedzi jednego modelu z długim rozumowaniem drugiego jako równoważnych pomiarów szybkości.

W zadaniach administracyjnych sprawdzaj także skutki porady. Model może podać poprawnie wyglądające polecenie z nieodpowiednią ścieżką albo destrukcyjną flagą. Do weryfikacji codziennych komend przyda się ściąga Linuxa. Lokalność nie zwiększa automatycznie prawdziwości odpowiedzi.

API nie powinno być przypadkowo publiczne

Na start zachowaj domyślny nasłuch lokalny. Zmiana adresu na wszystkie interfejsy może udostępnić usługę innym urządzeniom, a zależnie od sieci także szerszemu otoczeniu. Lokalnego API nie traktuj jak gotowej usługi internetowej z kompletem mechanizmów kontroli użytkowników.

Jeśli potrzebujesz dostępu z drugiego komputera, zaprojektuj osobno uwierzytelnienie, ograniczenie sieci i limity wykorzystania. Sam reverse proxy nie gwarantuje kontroli dostępu. Równie ważne jest ograniczenie aplikacji, które potrafią wysłać żądanie, oraz ochrona przed niekontrolowaną kolejką kosztownych generacji.

FAQ

Czy Ollama działa bez internetu?

Lokalna inferencja może działać po pobraniu modelu. Pobieranie, aktualizacje i funkcje chmurowe wymagają sieci. Przetestuj konkretny model oraz używany interfejs.

Czy potrzebuję karty NVIDIA?

Nie zawsze. Dostępne ścieżki wykonania zależą od systemu i sprzętu. CPU może wystarczyć do nauki z małym modelem, lecz komfort pracy trzeba sprawdzić praktycznie.

Dlaczego model zajmuje więcej pamięci niż plik na dysku?

Wagi nie są jedynym składnikiem zużycia. Dochodzą kontekst, bufory wykonania i inne procesy. Rozmiar pobierania nie jest pełnym wymaganiem sprzętowym.

Czy lokalny model może czytać moje pliki?

Tylko jeśli aplikacja przekaże ich zawartość lub udostępni odpowiednie narzędzie. Nie należy utożsamiać uruchomienia modelu z przyznaniem pełnego dostępu do komputera.

Czy lokalny model jest bezpłatny w każdym zastosowaniu?

Sprawdź licencję konkretnego modelu i programu. Brak rachunku za każde żądanie nie usuwa kosztu sprzętu, energii i utrzymania ani warunków licencyjnych.

Źródła

Data publikacji: 15.10.2026.

KP
O AUTORZE

Krystian Proć

Tworzę narzędzia do pracy z danymi, systemy backendowe i automatyzacje. Pracuję z SQL, PHP, TypeScriptem i Dockerem; rozwijam m.in. dragon-island.com. AI pomaga mi przyspieszać pracę, a architekturę, weryfikację i decyzje techniczne biorę na siebie. Na Trybie Technicznym dzielę się doświadczeniami z budowania i utrzymywania własnych projektów.

Dyskusja

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *