ЛОКАЛЬНИЙ ШІ НА ПК
Оригінальний набір Вайб-Кодинг, 25.10.2026
https://vibe-coding.com.ua/lokalnyi-shi-na-pk-nvidia-amd

Команди є альтернативними прикладами, а не єдиним скриптом. Не запускай великі моделі без перевірки пам’яті.

Перша локальна модель: термінал або PowerShell
ollama --version
ollama run qwen3.5:4b

Альтернативи — обери одну під свою пам’ять
# Для слабкого ПК:
ollama run qwen3.5:2b

# Наступний крок:
ollama run qwen3.5:9b

# Для станції з достатньою пам’яттю:
ollama run qwen3.8:27b
ollama run gemma4:31b
ollama run gpt-oss:20b

Перевірка й керування завантаженням
# Окреме вікно термінала, поки модель працює:
ollama ps

# Список уже завантажених пакетів:
ollama list

# Вивантажити з пам’яті:
ollama stop qwen3.5:4b

# Лише якщо хочеш видалити пакет із диска, прибери #:
# ollama rm qwen3.5:4b

Локальний API з Python 3: без зовнішніх бібліотек
import json
import urllib.request

payload = {
    "model": "qwen3.5:4b",
    "messages": [{
        "role": "user",
        "content": "Поясни українською різницю RAM і SSD у трьох реченнях."
    }],
    "stream": False,
    "options": {"num_ctx": 4096, "num_predict": 256}
}
request = urllib.request.Request(
    "http://127.0.0.1:11434/api/chat",
    data=json.dumps(payload).encode("utf-8"),
    headers={"Content-Type": "application/json"},
    method="POST"
)
with urllib.request.urlopen(request, timeout=180) as response:
    result = json.load(response)
print(result["message"]["content"])

llama.cpp: приклад для готового binary та локального GGUF
# Linux/macOS shell; заміни шлях на свій:
./llama-server -m /path/to/model.gguf -c 4096 --host 127.0.0.1 --port 8080

# Windows PowerShell; заміни шлях на свій:
.\llama-server.exe -m "C:\Models\model.gguf" -c 4096 --host 127.0.0.1 --port 8080

# GPU-backend залежить від завантаженої збірки.
# Це приклади для різних ОС, не команди для послідовного виконання.

ЧЕКЛІСТ
[ ] Записав ОС, CPU, RAM, точну карту й виділену VRAM
[ ] Перевірив сумісність програми та драйвера
[ ] Вибрав одну модель і точний тег/файл
[ ] Залишив запас пам’яті для системи та контексту
[ ] Перевірив реальне CPU/GPU розміщення
[ ] Порівняв українську й факти на власній задачі
[ ] Перевірив новий чат із відключеною мережею
[ ] Перевірив окремо голос, пошук і плагіни
[ ] Залишив API на loopback або окремо захистив доступ
[ ] Записав версії й результати, не видаючи оцінки за бенчмарк