Локальний штучний інтелект: як захистити дані та працювати без інтернету

Для власників і керівників, які хочуть автоматизувати рутину, не випускаючи корпоративну інформацію за межі компанії. Після статті ви розумітимете, як запустити цифрового асистента просто на робочому ноутбуці, як підібрати модель під свою техніку й чому цей варіант часто виявляється дешевшим за підписку.

Ви у відрядженні, зв'язок то є, то немає, а результати вчорашньої наради треба розібрати сьогодні. Хмарний сервіс у такий момент просто не відкривається.

З локальною моделлю картина інша. Ви завантажуєте в неї чернетки, просите зробити з них діловий лист або розкласти нотатки на конкретні задачі для команди. Ви кидаєте туди фото чеків і скриншоти, отримуєте таблицю. Жоден байт при цьому не залишає ваш пристрій.

У практиці AKORDO запит на безпеку звучить регулярно й приблизно однаково: як користуватися новими інструментами, не ризикуючи фінансовими звітами й базою клієнтів. Локальний ШІ знімає саме цю дилему, бо працює на потужностях вашого ноутбука й не залежить ні від інтернету, ні від чужої політики конфіденційності.

Чим локальна модель відрізняється від хмарної

Коли ви користуєтесь популярним сервісом через браузер, ваш запит іде на сервери великої компанії, де його обробляє LLM (велика мовна модель, здатна розуміти й генерувати тексти на основі великих масивів даних). Ви залежите від швидкості з'єднання, від наявності підписки й від того, що постачальник вирішив написати у своїй політиці обробки даних.

Локальна модель це файл, який ви завантажуєте на свій диск. Звідси три відмінності, які мають значення для бізнесу.

Приватність. Ви кидаєте в модель фінансові документи й дані клієнтів, бо обробка відбувається всередині пристрою.

Автономність. Інструмент працює в літаку, в потязі й там, де Wi-Fi ловить через раз.

Витрати. Ви не платите ні за кількість запитів, ні за місячну підписку, бо використовуєте власне залізо. Оплачене раніше, але власне.

Такі моделі відкрито викладають Google, Meta й Microsoft, будуючи навколо них екосистеми й дослідницьку базу. Для вас це означає, що розробники в усьому світі адаптують ці моделі під конкретні мови й вузькі професійні задачі, зокрема під медичні й корпоративні системи, де передавати дані назовні заборонено регламентом.

Як вибрати модель під свою техніку

Щоб не перевантажити ноутбук і не розчаруватись у якості, треба розуміти дві характеристики.

Перша це кількість параметрів, яку позначають літерою B і рахують у мільярдах. Параметрами називають нейронні зв'язки, якими модель користується, добираючи наступне слово. Простіше кажучи, це розмір її мозку.

Моделі на 1B до 4B параметрів легкі й запускаються на звичайному робочому ноутбуці. Вони швидкі, але у складних міркуваннях помітно поступаються. Моделі від 7B до 14B і вище потребують сильнішого заліза, наприклад MacBook із 16 ГБ оперативної пам'яті, зате міркують значно глибше.

Друга характеристика називається квантуванням. Так називають стиснення моделі, щоб вона займала менше місця й швидше працювала. Модель у форматі Q4 стиснута й тому легша для комп'ютера. Стиснення не буває безплатним за якістю: чим агресивніше стиснута модель, тим сильніше вона спрощує відповіді, тож із дуже малими форматами варто перевіряти результат уважніше.

Для старту в бізнес-задачах ми рекомендуємо 4B параметрів із квантуванням Q4. Це розумний баланс швидкості й якості для першого тижня. Ще зверніть увагу на позначку IT або Instruct у назві: вона означає, що модель навчена виконувати інструкції, а не просто продовжувати текст.

Що їй можна віддати

Локальна модель не замінює потужні хмарні системи. Вона добре закриває конкретні ділянки пайплайну, тобто послідовності етапів у вашому процесі.

Кореспонденція й нотатки. Чернетка перетворюється на діловий лист, довгий текст на коротке резюме, запис створу на список задач із відповідальними.

Документи й цифри. Модель витягує дані з чеків, скриншотів і таблиць. Для обчислень і роботи з числами добре показують себе спеціалізовані малі моделі, зокрема від Microsoft.

Тексти різними мовами. Окремі сімейства моделей, зокрема китайські, дають високу якість у структуруванні інформації.

Візуальний аналіз. Моделі від Google розпізнають зображення, що закриває оцифрування паперових звітів і фінансових документів без виходу в мережу.

Це рутина, яка щодня забирає години й не потребує глибокого мислення. Саме її варто віддавати першою.

Що потрібно для запуску

Програмувати не доведеться. Потрібні три речі: файл моделі, застосунок для запуску й ваш комп'ютер.

Моделі лежать на Hugging Face, найбільшій світовій бібліотеці нейромереж. За логікою це магазин застосунків, тільки для ШІ. Запускати їх зручно через безкоштовні застосунки Ollama або LM Studio, інтерфейс у них схожий на звичайний чат.

Порядок дій такий:

1. Подивіться характеристики свого пристрою: тип процесора й обсяг оперативної пам'яті.
2. Оберіть у каталозі застосунку модель, позначену як сумісна з вашим залізом, зазвичай це зелена галочка.
3. Завантажте її в один клік або через термінал, тобто вікно, у якому ви даєте комп'ютеру команди напряму.
4. Вимикайте інтернет і починайте роботу.

Якщо модель відповідає повільно або комп'ютер починає підвисати, вона завелика для вашої машини. Візьміть версію з меншою кількістю параметрів або сильнішим стисненням.

Чи це про вас

Впізнаєте себе у трьох пунктах і більше, значить варто пробувати:

• ви працюєте з фінансовими звітами, персональними даними клієнтів або інформацією, яку не можна передавати в хмару;
• у вашому графіку багато поїздок, перельотів і місць із нестабільним зв'язком;
• треба обробляти багато однотипних операцій із текстом чи зображеннями: чеки, форматування листів, розшифровки;
• ви хочете вбудувати ШІ у внутрішні корпоративні системи;
• підписки на хмарні сервіси для всієї команди виходять дорого.

З чого почати

Встановіть Ollama на робочий комп'ютер і завантажте модель на 4B параметрів із сімейства Gemma або Qwen. Далі тиждень давайте їй реальні задачі: відповідь на лист, розбір скриншота документа, зведення нотаток після наради. Ви побачите і швидкість на своєму залізі, і межу якості, причому без жодних витрат і без ризику для даних.

Одне окреме питання варто закрити до того, як інструмент піде в роботу команди. Слово «відкрита» в описі моделі не завжди означає дозвіл на комерційне використання: ліцензії у різних сімейств різні. Перевірте умови конкретної моделі, яку берете, перш ніж ставити її в бізнес-процес.

Ключові висновки

• Локальна модель обробляє все всередині комп'ютера, тому конфіденційні документи не залишають периметр компанії.
• Вибір моделі впирається в залізо: для звичайного робочого ноутбука орієнтир це 4 мільярди параметрів із квантуванням Q4.
• Ollama й LM Studio дозволяють запустити нейромережу без знань програмування, інтерфейс не складніший за чат.
• Локальний асистент добре закриває рутину з документами й роботу офлайн, а не замінює потужні хмарні системи.

Команда AKORDO працювала з фінтех-компаніями в трьох форматах: AI-аудит і дорожня карта, продуктовий консалтинг для фінтех-команд і чотири AI-системи в production. Як підготувати документацію до запуску AI-асистента корпоративних знань, пояснює матеріал про AI-асистента знань.