Локальный DeepSeek и Llama: какое железо нужно
Запустить свою модель на своём железе теперь может каждый: открытые Llama и дистилляты DeepSeek скачиваются за минуты, а дальше вопрос один. Не «как установить», а «влезет ли»: локальная модель живёт в памяти карты, и весь выбор железа сводится к гигабайтам под неё и её контекст.
Сколько памяти нужно
Логика одинаковая для любых семейств. Веса модели в сжатом виде занимают примерно по гигабайту-полтора на миллиард параметров, сверху контекст диалога и буферы вычислений. Плюс память на очередь одновременных запросов, если модель обслуживает не одного человека, а отдел: каждый параллельный разговор добавляет к базе заметный кусок. Отсюда практическая таблица: модели до 14 параметров в миллиардах спокойно живут в 16 ГБ, класс 30B требует 24 ГБ, а 70B это либо серверная карта, либо связка карт с быстрой шиной. Как именно складывается этот расчёт и что ещё съедает видеопамять, разобрано с примерами в расчёте VRAM под задачи. На практике это значит: сначала список моделей и их сжатых версий, потом уже выбор по каталогу карт.
Выбор карты под эти классы прямолинейный. Рабочая лошадка локальных моделей это RTX 4090 с 24 ГБ: класс 30B со сжатием, генерация изображений, ассистенты отдела. Потолок десктопа это RTX 5090 с 32 ГБ под модели класса 70B в сжатом виде. Бюджетный вход через вторичку это RTX 3090 парами: мост между картами собирает 48 ГБ под большие модели, сколько не даёт ни одна десктопная карта по отдельности. Для старта обычно хватает и одной карты: вторую докупают позже, когда упрутся в потолок по памяти.
Если ускорителя нет
Маленькие модели это отдельная хорошая новость: версии с тремя-восемью миллиардами параметров для текстов, таблиц и простых агентов запускаются на обычном компьютере, пусть и без рекордов скорости в тяжёлых задачах. Как это устроено и на что рассчитывать, разобрано в статье про запуск ИИ на обычном компьютере: для первого опыта с локальным ИИ ускоритель не обязателен. Такой опыт почти ничего не стоит, а выводы из него дорогого стоят.
Когда локальная модель нужна отделу или всей компании, вопрос переезжает с рабочего стола в серверную: постоянный поток запросов, несколько моделей под разные задачи, надёжность круглосуточной работы. Здесь же считается резерв: вторая карта, запас памяти, план восстановления при сбое. Какую машину собрать под такой сценарий, разобрано в сборке GPU-сервера, а итоговую конфигурацию выбирают по списку моделей и планируемой нагрузке: методика в подборе видеокарты под нейросети, от карты к платформе и питанию.