Нейросеть на обычном компьютере: что реально запустится

«У нас нет видеокарт за триста тысяч, значит нейросети не для нас». Это самое частое заблуждение в разговорах про локальный ИИ. На обычном офисном компьютере и даже на ноутбуке уже сегодня работают модели, которых хватило бы на полноценного ассистента пять лет назад. Вопрос не «запустится ли», а «какая модель влезет в ваше железо и что она будет уметь».

Почему модель вообще работает без видеокарты

Нейросеть это файл с числами и программа, которая по ним считает. Видеокарта ускоряет счёт, но не обязательна: процессор и оперативная память справляются, просто медленнее. Арифметика простая: модели нужно столько памяти, сколько она весит, плюс запас на контекст диалога. Современная компактная модель весит несколько гигабайт, а у типового офисного компьютера 16 гигабайт оперативки.

Второй ключ это квантование: сжатие модели с почти без потери качества ответов. Несжатая модель в 16 битах и она же в 4 битах отличаются по размеру вчетверо, а по рабочим качествам на типовых задачах почти незаметно. Как устроено это сжатие, простыми словами разобрано в карточке словаря про квантование нейросети.

Что реально работает на офисном ПК

Чат-ассистент для одного или пары человек: черновики писем, обработка таблиц, пересказ длинных документов, перевод. Компактные модели в несколько миллиардов параметров справляются с этим на процессоре уверенно, ответы приходят за секунды, а не мгновенно, но для работы терпимо.

Поиск по базе знаний: документы превращаются в эмбеддинги, и по вопросам сотрудников находится нужный регламент. Эмбеддинги считаются дёшево, это одна из самых выгодных задач для слабого железа. Как устроен такой поиск, разобрано в статье про векторные базы данных. Распознавание документов и генерация картинок на слабом железе возможны, но это уже предел: терпение понадобится.

Считаем память заранее

Главная характеристика для локальной модели не «миллиарды параметров» из заголовков, а объём памяти после сжатия плюс запас под контекст. Практические ориентиры: 8 гигабайт оперативки это компактные модели для одного пользователя, 16 гигабайт это уверенная работа с документами и небольшая база знаний, 32 гигабайта это старшие компактные модели и несколько пользователей.

С видеокартой картина лучше, но не любая карта годится: важен объём видеопамяти, а не цена. Память на карте уходит и под саму модель, и под контекст, и под обработку документов, поэтому восемь гигабайт это компактные модели для одного, шестнадцать это уверенная работа с документами, двадцать четыре и выше это старшие модели и несколько сотрудников одновременно. Бонусом карта ускоряет всё сразу: не только ответы чата, но и индексацию базы знаний и распознавание файлов, которые на процессоре считаются часами. Как выбирать карту и какие модели в неё влезают, разобрано в руководстве по выбору видеокарты для ИИ.

Когда компьютер перестаёт справляться

Сигнал первый: очередь. Если у модели один пользователь, скорость терпимая, если десять сотрудников стучатся одновременно, процессор ложится. Проверяется просто: если люди договариваются, кто сейчас занимает модель, очередь уже есть. Сигнал второй: контекст. Когда в диалог грузят документы на сотни страниц, памяти нужен запас, и слабое железо начинает swapping вместо ответов. С видеокартой таких проблем меньше, но и её память не резиновая, поэтому объём считается заранее: как это делать, разобрано в статье про что такое видеопамять.

Сигнал третий: качество. Если задача требует старшей модели, а железо тянет только компактную, пользователь это почувствует по качеству ответов. Проверяется честным тестом: двадцать реальных вопросов отдела, готовые ответы, сравнение с работой человека. Если компактная модель дважды из трёх присылает переписать, это не «плохая модель», это задача не её лиги. Здесь честный выбор это сервер: свой или арендованный, и решение считается на цифрах, а не на ощущениях. Как считать границу между ними и что выгоднее на вашем объёме, разобрано в сравнении аренды GPU и покупки сервера.

План минимум для компании

Начать можно с нуля закупок: на любом компьютере с 16 гигабайтами оперативки разворачивается компактная модель и проверяется на одной задаче, например поиск по регламентам отдела. Если задача решается и людям нравится, следующий шаг это выделенная машина под отдел, потом сервер под компанию. Такой путь без больших вложений показывает реальную пользу до того, как вы потратите серьёзные деньги. А когда дойдёте до выделенной машины, конфигурации под задачи собраны в руководстве по подбору сервера под ИИ.

Для домашних экспериментов план тот же: ноутбук, компактная модель, вечер на настройку. Глаза открываются быстро, и следующий разговор про ИИ в компании уже предметный. Заодно вы на себе почувствуете, как модель ведёт себя на слабом железе, и сможете честно сказать коллегам, чего ждать. Опыт первого запуска переводит разговор о нейросетях из зоны фантазий в зону конкретики: вы видите скорость, качество и границы. Это заодно лучший способ развеять мифы о нейросетях внутри команды. Что умеют доступные модели семействами и в чём разница между ними, разобрано в обзоре моделей для локального запуска.