Локальний ШІ на ПК: що це, для чого потрібен і як запустити

Що таке локальний ШІ — людською мовою

Локальний ШІ — це штучний інтелект, який працює на твоєму комп’ютері. Ти встановлюєш програму, завантажуєш потрібну модель і спілкуєшся з нею у вікні чату. Відповіді обчислює твій ПК.

Звичайний хмарний чат працює інакше: ти надсилаєш повідомлення через інтернет, його обробляє сервер компанії, а тобі повертається відповідь. За локального запуску цю роботу бере на себе твій процесор або відеокарта. Після встановлення й завантаження моделі базовий чат може працювати навіть без інтернету. [1]

Уяви музичний плеєр: можна слухати музику онлайн, а можна завантажити її на комп’ютер. Із ШІ схожий принцип, тільки замість пісні ти завантажуєш модель — набір файлів, завдяки яким програма розуміє запит і створює відповідь. Навчати її з нуля не потрібно.

Для чого це потрібно: приклади зі звичайної роботи

Локальна модель корисна, коли ти часто працюєш із текстами, файлами або кодом і хочеш мати свого помічника під рукою. Ось із чого можна почати.

Таблицю можна гортати вбік →

Наприклад, ти можеш дати моделі власні робочі нотатки й отримати зрозумілий план. Або попросити пояснити незнайомий скрипт перед тим, як його запускати. Якщо програма підтримує роботу з документами, файл можна додати прямо до чату. У LM Studio таке опрацювання завантажених документів може виконуватися локально. [1]

Важлива межа: завантажена модель не дізнається свіжі новини сама. Для актуальних цін, подій і пошуку джерел потрібен доступ до інтернету або надані тобою матеріали. А відповіді моделі все одно можуть містити помилки.

Локальний ШІ чи хмарний: що зручніше саме тобі

Таблицю можна гортати вбік →

Локальний варіант варто спробувати, якщо тобі потрібна робота без мережі, хочеться тримати документи на своєму ПК або ти регулярно виконуєш однакові нескладні задачі. Він також цікавий для власних програм, експериментів і вибору поведінки помічника.

Хмарний чат часто зручніший, якщо потрібна сильна модель без налаштувань, а комп’ютер слабкий. Можна поєднувати обидва підходи: щоденні нотатки обробляти локально, а складний запит віддавати потужнішій хмарній моделі.

Для приватної роботи перевір також доповнення програми: вебпошук, голосовий сервіс або підключений інструмент можуть звертатися в інтернет. Сам факт встановлення програми на ПК ще не означає, що всі її функції локальні.

Перший запуск без коду: LM Studio

LM Studio — програма, у якій можна знайти модель, завантажити її та почати чат. Для першого знайомства цього достатньо. [2]

1. Завантаж LM Studio з офіційного сайту. Обери версію для Windows, Linux або свого Mac і встанови її.
2. Відкрий пошук моделей. У документації він називається Discover. Знайди Qwen3.5-4B. Якщо маєш лише 8 ГБ оперативної пам’яті, почни з меншої Qwen3.5-2B.
3. Обери файл для завантаження. Якщо бачиш кілька варіантів, для початку шукай сумісну версію GGUF приблизно з позначкою Q4. Це стисла модель, яка потребує менше пам’яті. Не завантажуй одразу всі варіанти.
4. Дочекайся завантаження й відкрий Chat. Вибери модель у списку та натисни завантаження в пам’ять — Load, якщо твоя версія показує таку кнопку.
5. Напиши простий запит українською. Наприклад: «Ось мій лист. Скороти його вдвічі, збережи всі дати й суми та зроби тон привітнішим».

Перший запуск може зайняти більше часу: програма читає великі файли з диска. Наступні відповіді вже йдуть із завантаженої моделі. Якщо вона не поміщається або працює дуже повільно, вибери менший розмір. [4]

У новішому інтерфейсі можуть траплятися назва Bionic та пропозиції хмарних моделей. Для описаного маршруту обирай саме модель, файли якої завантажені на твій комп’ютер.

Чи вистачить твого комп’ютера

Для початку треба знати лише дві цифри: скільки оперативної пам’яті в ПК і скільки власної пам’яті має відеокарта. У Windows це можна подивитися в Диспетчері завдань → Продуктивність.

• RAM — оперативна пам’ять комп’ютера. Її використовують Windows, відкриті програми й модель.
• VRAM — власна пам’ять відеокарти. Коли модель у ній поміщається, карта може виконувати основну роботу швидше.
• SSD — місце для файлів. Воно потрібне для завантаження моделі, але великий SSD не замінює RAM чи VRAM.

Якщо Windows показує відеокарті додаткову «спільну» пам’ять, це частина звичайної RAM. Вона не робить карту з 8 ГБ такою самою, як карта з 24 ГБ власної пам’яті. Для ноутбуків також перевіряй точну конфігурацію: мобільна й настільна карти з подібною назвою можуть відрізнятися.

Таблицю можна гортати вбік →

У LM Studio для Windows x64 потрібен процесор із підтримкою AVX2; рекомендовано від 16 ГБ RAM. На дуже старому ПК спочатку перевір саме сумісність програми. [3]

Приклади NVIDIA та Radeon, щоб знайти свій рівень

RTX 3060 буває з 8 або 12 ГБ пам’яті. RTX 4060 Ti — з 8 або 16 ГБ. Radeon RX 7600 XT має 16 ГБ, RX 7900 XTX — 24 ГБ; у настільної RTX 4090 також 24 ГБ, у RTX 5090 — 32 ГБ. Професійна RTX PRO 6000 Blackwell Workstation Edition має 96 ГБ. Це приклади місткості, а не рейтинг швидкості чи список обов’язкових покупок. [40]–[45]

Порада перед витратами: спочатку запусти маленьку модель на тому ПК, який маєш. Тоді стане зрозуміло, чого саме бракує: швидкості, пам’яті чи якості відповідей. Більше пам’яті дозволяє брати більшу модель, але саме по собі не виправляє її помилки.

Яку модель обрати: простіші та потужніші

Уявляй модель як конкретного помічника, якого ти запускаєш у програмі. Можна завантажити кількох і порівняти їх на одній задачі. Встановлювати все підряд не потрібно.

Число з літерою B зазвичай означає мільярди параметрів. Для першого вибору достатньо простого правила: менші моделі легше запустити, більші потребують більше пам’яті й можуть краще виконувати складні завдання. Але більша модель не завжди буде кращою саме у твоїй роботі.

Таблицю можна гортати вбік →

Якщо не хочеш довго обирати: почни з Qwen3.5-4B. Якщо вона працює комфортно, але відповіді надто прості, спробуй 9B. На потужному ПК порівняй Qwen3.8-27B з Gemma 4 26B або 31B. Українську, точність і корисність перевіряй на своїх прикладах — універсального переможця для всіх задач немає.

Що означає Q4 під час завантаження

Одну модель можуть пропонувати в кількох стиснутих версіях. Це називають квантизацією. Q4 зазвичай займає менше пам’яті, Q8 — більше й краще зберігає точність початкових ваг. Для старту часто обирають Q4_K_M, якщо ця версія доступна й підтримується програмою. GGUF — просто назва формату файла. [4]

Дивись на розмір конкретного завантаження. Файл на 8 ГБ не гарантує, що моделі вистачить рівно 8 ГБ пам’яті під час роботи: додаткове місце потрібне для самої розмови й обчислень.

NVIDIA та AMD Radeon: як запустити без зайвих складнощів

Якщо маєш NVIDIA

Онови драйвер із офіційного сайту NVIDIA, встанови актуальну програму для моделей і почни з невеликої моделі. У готових LM Studio або Ollama зазвичай не потрібно самостійно встановлювати весь набір інструментів розробника CUDA.

Програма має побачити карту й використати її для обчислень. Якщо карта підтримується, але модель не поміщається, частина роботи може піти на процесор — тоді відповідь часто сповільнюється. На час тесту закрий гру, рендер та інші важкі програми. На ноутбуці підключи живлення. [19]

Якщо маєш Radeon

На Radeon локальний ШІ також працює. У документації AMD є готовий маршрут із LM Studio. Проте підтримка залежить від точної карти, операційної системи й версії програми. [20]

Можеш зустріти назви ROCm, HIP і Vulkan. Це способи, якими програма використовує відеокарту. Для першого запуску їх не потрібно вивчати як окремі дисципліни: перевір інструкцію для своєї карти й обери підтримуваний варіант у програмі. У Ollama для Windows і Linux є шлях через Vulkan; списки підтримки ROCm для цих систем відрізняються. [19] [21]

Порядок простий: дізнайся точну карту → перевір сумісність → онови драйвер і програму → завантаж маленьку модель → подивись, чи використовується GPU. Для AMD не копіюй навмання інструкцію, написану для CUDA/NVIDIA.

Якщо окремої відеокарти немає

Спробуй маленьку модель на процесорі. Вбудована графіка теж може допомагати, якщо її підтримує програма. Це нормальний спосіб зрозуміти, чи потрібен тобі локальний ШІ взагалі, перш ніж витрачатися на обладнання.

На Mac з Apple Silicon програми можуть використовувати Metal або MLX. Там пам’ять спільна для системи й графіки, тому теж треба залишати запас. Напис AI PC або великий показник TOPS на новому ноутбуці не гарантує запуск будь-якої моделі: потрібна сумісність із конкретною програмою. [3] [22]

Що безкоштовне, за що платять і чи є безліміт

Базовий локальний чат можна запустити без підписки. Завантажив безкоштовну програму та доступну модель — і працюєш на власному ПК. За кожну відповідь не потрібно платити хмарному сервісу.

Витрати все одно є: електроенергія, місце на диску й саме обладнання. Якщо комп’ютер уже маєш, для першого тесту окрема покупка часто не потрібна. Якщо підключиш платний голос, пошук або хмарну модель, їхні послуги оплачуються окремо.

Таблицю можна гортати вбік →

«Безліміт» тут означає відсутність добової квоти хмарного сервісу для локальних запитів. Але є межі твого ПК: пам’ять, швидкість, нагрівання й обсяг тексту, який модель може одночасно обробити. Платна підписка на хмарні функції не додає відеопам’яті твоєму комп’ютеру.

А що означає «без цензури»?

Деякі автори змінених моделей пишуть uncensored або no refusals. Зазвичай це означає, що модель рідше відмовляється відповідати на певні теми. Це не гарантія розумніших відповідей, повної відсутності відмов чи кращої української. Для роботи корисніше перевірити точність, ніж обирати лише за такою назвою.

Для комерційного використання перевір ліцензію конкретної моделі й програми. У перелічених офіційних Qwen3.5, Qwen3.8-27B, Gemma 4 і gpt-oss зазначено Apache 2.0; у перероблених версій та інших сімейств умови можуть відрізнятися. [6] [9] [10] [12]

Підбери, з чого почати на своєму ПК

Обери характеристики нижче. Підбір дасть стартову пораду; точну сумісність карти й програми перевіряй за їхньою інструкцією. Він не сканує твій комп’ютер.

Чи можна локально створювати картинки, голос і відео?

Так, але для різних задач потрібні різні моделі. Текстова модель може написати сценарій, проте це ще не означає, що вона намалює кадр або озвучить репліку.

• Картинки й редагування зображень. Поширений варіант — ComfyUI з готовим шаблоном роботи. Наприклад, є компактніший FLUX.2 klein 4B та новіший локальний маршрут FLUX 3 Image Klein. Треба завантажити всі файли, які вказані в шаблоні, і перевірити вимоги до пам’яті. [33]–[36]
• Перетворення аудіо на текст. Buzz дає зручний інтерфейс, а whisper.cpp — більше технічного контролю. Для української обирай багатомовну модель, а не English-only. [37] [38]
• Озвучення тексту. Є локальні голоси Piper, зокрема український. Якість наголосів і звучання варто послухати на власному тексті. [39]
• Відео. Можна запускати сумісні відеомоделі через готові робочі схеми, але вимоги залежать від тривалості, роздільності й моделі. Комп’ютер, який добре відповідає текстом, не обов’язково швидко згенерує відео.

У ComfyUI є і локальні моделі, і вузли, що звертаються до платних сервісів. Якщо потрібна робота без мережі, обирай шаблон із локальними файлами. Ліцензії генераторів теж різняться: у FLUX.2 klein 4B та FLUX 3 Image Klein різні умови.

Для голосового персонажа є окремий гайд із характером, пам’яттю й українським голосом. Для творчої роботи — гайд зі створення AI-мультфільму або фільму.

Для профі: як підключити локальну модель до своєї роботи

Якщо простий чат уже працює, можна рухатися далі: підключити модель до редактора коду, власного застосунку або обробки документів. Нижче — технічна частина. Для звичайного спілкування ці налаштування не обов’язкові.

Ollama: запуск через команди

Ollama зручна, коли хочеш керувати моделями з термінала й підключати до них інші програми. Встанови її з офіційного сайту, відкрий термінал або PowerShell і запусти приклад нижче. За першого запуску потрібна модель завантажиться з інтернету. [23]

ollama --version
ollama run qwen3.5:4b

# Для слабкого ПК:
ollama run qwen3.5:2b

# Наступний крок:
ollama run qwen3.5:9b

# Для станції з достатньою пам’яттю:
ollama run qwen3.8:27b
ollama run gemma4:31b
ollama run gpt-oss:20b

# Окреме вікно термінала, поки модель працює:
ollama ps

# Список уже завантажених пакетів:
ollama list

# Вивантажити з пам’яті:
ollama stop qwen3.5:4b

# Лише якщо хочеш видалити пакет із диска, прибери #:
# ollama rm qwen3.5:4b

Що таке локальний API

API — спосіб, яким одна програма звертається до іншої. Наприклад, твій редактор коду надсилає запит локальному ШІ й показує відповідь у себе. Модель при цьому може залишатися на твоєму ПК.

Для Ollama сумісна з OpenAI API адреса — http://127.0.0.1:11434/v1. Слова OpenAI-compatible означають формат спілкування між програмами, а не обов’язкове надсилання запиту до OpenAI. У LM Studio сервер вмикається в Developer → Start server; адресу бери з його налаштувань. [26] [27]

import json
import urllib.request

payload = {
    "model": "qwen3.5:4b",
    "messages": [{
        "role": "user",
        "content": "Поясни українською різницю RAM і SSD у трьох реченнях."
    }],
    "stream": False,
    "options": {"num_ctx": 4096, "num_predict": 256}
}
request = urllib.request.Request(
    "http://127.0.0.1:11434/api/chat",
    data=json.dumps(payload).encode("utf-8"),
    headers={"Content-Type": "application/json"},
    method="POST"
)
with urllib.request.urlopen(request, timeout=180) as response:
    result = json.load(response)
print(result["message"]["content"])

Спочатку залишай сервер доступним лише на своєму комп’ютері. Якщо підключатимуться інші люди або пристрої, налаштуй доступ окремо. У LM Studio для цього є API-токени; за замовчуванням запити можуть не вимагати авторизації. [28]

Контекст: скільки тексту модель тримає перед собою

Контекст — це доступний моделі обсяг розмови й матеріалів у поточному запиті. У нього входять твої інструкції, документ, попередні репліки та відповідь. Він обмежений, навіть якщо можна надсилати повідомлення весь день.

Значення 128K або 256K у картці — максимальна можливість моделі. На твоєму ПК великий контекст потребуватиме додаткової пам’яті. Токени — невеликі частини тексту, якими програма вимірює цей обсяг. Для початку вистав 4096 токенів, потім спробуй 8192. Для агентної роботи з кодом Ollama рекомендує від 64K, але це має вміщатися на конкретній машині. [25]

Якщо документів багато, можна додати RAG — пошук потрібних уривків перед відповіддю. Тоді модель отримує відібрані частини замість усієї бібліотеки. Перевіряй і знайдені уривки, і сам висновок.

Редактор коду й агенти

В офіційній інтеграції Ollama з VS Code потрібно встановити розширення, запустити Ollama й обрати модель у чаті редактора. Вимоги до версії редактора та програми наведені в інструкції. [29]

Для автоматичної роботи з файлами потрібна модель, що добре користується інструментами, і достатній контекст. Перевір її спочатку на одній помилці в копії проєкту. Невелика модель може добре пояснювати функцію, але губитися під час довгої переробки всього застосунку.

# Linux/macOS shell; заміни шлях на свій:
./llama-server -m /path/to/model.gguf -c 4096 --host 127.0.0.1 --port 8080

# Windows PowerShell; заміни шлях на свій:
.\llama-server.exe -m "C:\Models\model.gguf" -c 4096 --host 127.0.0.1 --port 8080

# GPU-backend залежить від завантаженої збірки.
# Це приклади для різних ОС, не команди для послідовного виконання.

Щоб вимкнути хмарні функції Ollama, у документації є параметр OLLAMA_NO_CLOUD=1. Після зміни перезапусти програму. У Windows змінна в новому PowerShell не вплине на вже запущену фонову Ollama — потрібно змінити її середовище й перезапустити застосунок. [24]

Як зрозуміти, чи модель тобі підходить

Не оцінюй ШІ лише за гарним привітанням. Дай йому кілька своїх звичайних задач:

1. Скоротити текст. Чи збереглися важливі факти?
2. Відповісти за документом. Чи є відповідь у наданому матеріалі, чи модель її вигадала?
3. Пояснити або виправити код. Чи працює результат після перевірки?
4. Попрацювати українською. Чи нормальні мова, терміни й тон?
5. Відповісти без інтернету. Чи справді потрібні тобі функції автономні?

Порівняй дві моделі на однаковому завданні. Запиши, скільки чекав і скільки довелося виправляти. Для твоєї роботи швидка модель з прийнятною відповіддю може бути кориснішою за більшу, яка змушує довго чекати.

Таблицю можна гортати вбік →

Що ще часто запитують

Почни з малого: встанови програму, завантаж одну модель і дай їй задачу, яку сьогодні робив би вручну. А якщо потрібна допомога, напиши в коментарях характеристики ПК, назву моделі й те, що не виходить. Обговорити налаштування можна й у нашій українській спільноті.

Джерела й уточнення

Матеріал спирається на документацію програм і картки моделей. Поради щодо пам’яті — стартові орієнтири; швидкість і якість залежать від твоєї конфігурації. Порівняльних тестів усіх моделей на одному ПК ми не проводили. Нижче — посилання для перевірки сумісності, ліцензій і поточних умов.