Локальные нейросети: какие модели запустить на своём железе
«Запустить нейросеть у себя» звучит как проект для энтузиастов с гаражом серверов. Реальность скромнее: модель среднего размера, которая тянет большинство офисных задач, живёт на одной серверной видеокарте. Зачем это делать, если данные нельзя отдавать в облако, разобрано в статье про локальный ИИ, здесь про выбор модели и железа.
Какие бывают открытые модели
Открытыми называют модели, чьи веса опубликованы: их можно скачать и запустить без чужого сервера. Семейства вы знаете по именам: Llama, Mistral, Qwen, GLM, DeepSeek. Внутри каждого семейства есть размеры: маленькие модели на несколько миллиардов параметров, средние, большие. Размер решает одновременно две вещи: качество ответов и сколько памяти потребуется, о чём есть отдельный разбор про VRAM.
Практический ориентир для бизнеса: для ответов по вашим документам, черновиков писем и разборки заявок достаточно средних моделей. Большие нужны для сложных рассуждений, и не каждая компания способна их прокормить.
Квантизация: зачем и какой ценой
Веса модели в исходном виде занимают много памяти. Квантизация это сжатие весов: числа хранятся с меньшей точностью, и модель худеет в разы с умеренной потерей качества. Для локального запуска это не опция, а норма жизни: именно квантованные версии позволяют средней модели уместиться в память обычной серверной видеокарты.
Цена: на тонких задачах квантованная модель может быть чуть грубее оригинала. Практика: для офисной рутины разница чаще незаметна, проверить её на своих задачах это половина дня пилота.
Как выбирают связку «модель плюс железо»
Порядок обратный интуиции: сначала задачи и число пользователей, потом модель, и только потом железо. Десять человек, вопросы по регламентам и черновики писем: одна рабочая видеокарта и средняя модель. Сотня сотрудников и тяжёлые документы: разговор про серверный GPU и, возможно, несколько моделей под разные задачи. Если прийти в магазин железа первым пунктом, обычно покупают либо слишком много, либо слишком мало.
Проверяйте на своих данных до покупки: одинаковые по параметрам модели сильно различаются «характером» на конкретных задачах, и час сравнения на ваших документах стоит дешевле любого железа.
Что теряешь против облака
Честные минусы. Лучшая локальная модель слабее лучшей облачной: на самых сложных задачах разница ощущается. Обслуживание ваше или подрядчика: обновления моделей, мониторинг, бэкапы. И старт стоит денег: железо покупается сразу, а подписка у облака капает помесячно.
Честные плюсы. Данные не покидают контур, стоимость при интенсивной работе не зависит от чужого прайса, доступность не зависит от чужого доступа.
Когда модель выбрана и запущена, встаёт вопрос, как заставить её отвечать по вашим регламентам и ценам, а не по памяти из обучения: это решается механикой RAG поверх локальной модели.