Kwantyzacja modeli AI: Q4, Q5, Q8 i FP16 wyjaśnione po ludzku
Co oznaczają Q4, Q5, Q8 i FP16? Poznaj wpływ kwantyzacji na pamięć, jakość odpowiedzi i szybkość oraz sposób porównania modeli lokalnych.
Co oznaczają Q4, Q5, Q8 i FP16? Poznaj wpływ kwantyzacji na pamięć, jakość odpowiedzi i szybkość oraz sposób porównania modeli lokalnych.
Uruchom Open WebUI i Ollamę w Docker Compose. Skonfiguruj lokalny czat, trwałe dane, konto administratora i dostęp przez tunel SSH.
Wyślij alert z Linuxa na Telegram. Utwórz bota, zapisz token poza kodem i uruchom skrypt z obsługą błędów, limitów oraz harmonogramu cron.
REST API na przykładach: adresy zasobów, metody HTTP, statusy, JSON i tokeny. Wykonaj pierwsze żądanie i poznaj typowe błędy integracji.
Docker volumes krok po kroku: nazwane wolumeny, Compose, usuwanie kontenerów i kopie danych. Sprawdź, co przetrwa odtworzenie aplikacji.
Poznaj prompt injection: ataki przez dokumenty i wyniki narzędzi. Ogranicz uprawnienia agenta AI i sprawdź zabezpieczenia na prostym przykładzie.
Jak działają embeddings? Poznaj podobieństwo wektorów, indeksowanie dokumentów, RAG, filtry uprawnień i prosty przykład obliczeń w Pythonie.
Zrozum okno kontekstowe AI: tokeny, budżet odpowiedzi, skracanie historii i RAG. Sprawdź, dlaczego duży limit nie gwarantuje dobrej odpowiedzi.
Uruchom lokalny model AI w Ollama. Instalacja, wybór modelu, komendy, API, pamięć RAM i VRAM oraz sprawdzenie, gdzie trafiają dane.
Poznaj MCP: host, klient, serwer, narzędzia i zasoby. Zobacz przykład integracji, różnice wobec API oraz zasady bezpiecznego dostępu.