ИИ без интернета: нейросеть, которая работает офлайн

Вопрос «а можно без интернета» звучит в трёх ситуациях. Безопасник говорит: данные не должны покидать офис. Финансовый директор говорит: оплата за токены в чужом облаке непредсказуема. Инженер на объекте говорит: сети нет вообще, а нейросеть нужна. Хорошая новость в том, что все три сценария закрываются одним решением: открытой моделью, которая живёт на вашем железе.

Почему это вообще возможно

Облачные сервисы вроде ChatGPT это два компонента: сама модель и сервис вокруг неё. Модель это большой файл с числами, и если её веса открыты, файл можно скачать. Сервис заменяется локальной программой: она подгружает модель в память и отвечает на ваши запросы прямо на этой машине. Интернет нужен один раз, чтобы скачать модель и обновления, дальше система живёт автономно.

Открытых моделей, которые тянут рабочие задачи, уже десятки: семейства Llama, DeepSeek, Qwen и другие. Они пишут тексты, отвечают по документам, переводят и работают с кодом без единого пакета наружу. Что это за модели и чем отличаются, разобрано в обзоре локальных нейросетей для бизнеса.

Отдельный плюс локального стека это предсказуемость: система не меняет правила посреди проекта, не вводит внезапные лимиты и не присылает счёт за энтузиазм. Что работало в среду, работает и через год, и для инженерных задач это свойство ценнее пары баллов качества.

Что умеет офлайн-нейросеть

На обычном ноутбуке или офисном компьютере без мощной видеокарты работают компактные модели: черновики писем, пересказы документов, ответы по небольшой базе знаний, перевод. Для чата с ассистентом этого хватает. Что реально запускается на обычном железе и без чего не обойтись, разобрано в материале про нейросеть на обычном компьютере.

На сервере с видеокартой возможностей больше: модель постарше и поумнее, сотни сотрудников одновременно, база знаний на десятки тысяч документов, генерация изображений и распознавание документов. Нагрузка распределяется по расписанию: ночью база знаний переиндексируется, днём модель отвечает сотрудникам. Это уже небольшая ИТ-система, и относиться к ней надо с обычными инженерными мерками: бэкапы, мониторинг, план восстановления. По сути это свой ChatGPT, только внутри компании: как его собрать и что это стоит, описано в инструкции по сборке своего ChatGPT на сервере.

Кому офлайн действительно нужен

Резидентам с чувствительными данными: медицина, финансы, юриспруденция, госсектор, оборона. Там вопрос закрыт не предпочтением, а требованиями, и локальный контур единственный законный вариант. Производствам и стройке: объект без связи, вахта, цех с экранированием, где сети нет физически, а документы обрабатывать надо.

Компаниям с нестабильной сетью и тем, кто устал от зависимости: тарифы облачных сервисов растут, доступ блокируется, сервисы уходят с рынка. Своя модель работает при любом раскладе, потому что она физически стоит у вас в серверной. Отдельная статья про требования закона и персональные данные разобрана в материале про ИИ внутри контура компании.

Честные ограничения

Офлайн-модель слабее топовой облачной: на сложных рассуждениях разница заметна, на типовых рабочих задачах почти нет. Компактная модель на слабом железе ещё скромнее, поэтому ожидания калибруются под задачу: база знаний и черновики это да, тонкий юридический анализ без человека не надо. Предел возможностей зависит и от железа: одна и та же модель на старом ноутбуке и на сервере ведёт себя по-разному.

Железо выбирается до покупки, а не после: модель занимает гигабайты памяти, и влезет ли она в ваш сервер, зависит от размера и сжатия. Как считается объём и что влезает в популярные карты, разобрано в статье про как считать память видеокарты. Обновления моделей вы ставите сами: офлайн это свобода и ответственность в одном пакете. Зато и обновление приходит тогда, когда вы его протестировали, а не когда вендор решил за вас.

Как выстроить офлайн-контур под себя

Схема одна и та же: определить задачи, подобрать модель под железо, развернуть, загрузить базу знаний, обучить команду. Отличается начинка: бухгалтерии хватит компактной модели на рабочей станции, юротделу нужен сервер и модель побольше, производству нужна автономная станция на объекте. Пилот обычно ставят на одной задаче: поиск по регламентам или черновики ответов, и за пару недель становится ясно, тянет ли железо и устраивает ли качество.

Дальше контур растёт: добавляются каналы, документы, роли. Так из одного офлайн-ассистента вырастает внутренняя система, которая не зависит ни от интернета, ни от чужих тарифов, и знания компании остаются в компании. С чего начинается такой рост и как выглядит первый шаг для компании любого размера, описано в материале про локальный ИИ, когда данные нельзя грузить в облако.