Как скачать нейросеть и запустить у себя: практический путь
Что вообще скачивают
Люди, которые ищут «скачать нейросеть», обычно хотят одно из трёх. Первое: чат-ассистента, который работает без подписки и не отправляет переписку наружу. Второе: генератор картинок или видео без лимитов внешних сервисов. Третье: модель под конкретную задачу, например распознавание документов или перевод. Под все три случая отрасль давно выкладывает открытые веса: Llama, Qwen, DeepSeek и десятки других семейств, о них подробно рассказано в обзоре локальных нейросетей для компании.
Открытость не значит примитивность: некоторые открытые модели держат уровень лидеров закрытых сервисов, разница в удобстве. Скачал один раз, и модель твоя: без тарифов, без ограничений на запросы, без отправки данных на чужие серверы.
Среда запуска: не руками, а инструментом
Год назад модель запускали скриптами и ночами разбирались с зависимостями. Сегодня есть готовые среды: одна команда скачивает модель, вторая запускает, третья открывает чат в браузере. Для языковых моделей фактический стандарт таких сред умеет выбирать размер под вашу карту автоматически и докачивать нужные части.
Практический путь первого вечера выглядит так: ставите среду запуска, просите скачать модель на 7-8 миллиардов параметров, получаете чат, который отвечает шустро даже на средней игровой карте. Дальше аппетит растёт: модели побольше требуют памяти побольше, и здесь начинается разговор про железо и его границы. Что помещается на обычный домашний компьютер и где заканчивается разумный максимум, разобрано в материале запуск нейросети на домашнем ПК и его пределах.
Где проходит граница домашнего железа
Игровая карта с 8-12 гигабайтами видеопамяти уверенно держит модели до 7-13 миллиардов параметров, и это уже рабочий уровень: ассистент, который пишет письма и отвечает на типовые вопросы коллег, переводит и суммаризирует документы. Дальше начинается территория больших карт и серверов: 24 и 32 гигабайта открывают модели на 30 с лишним миллиардов, серверные GPU дают сотни. Зачем компании может понадобиться такой размер: лучшее качество в узкой задаче, длинные документы, много сотрудников одновременно. Как выглядел переход от домашней карты к серверу под конкретную задачу, показано в статье как компании поднимают собственный ChatGPT на своём железе.
Вторая граница, не железная, а человеческая: кто будет это поддерживать. Домашний запуск держит энтузиаст, сервер компании требует человека, который обновит модель, посмотрит журналы и ответит на вопросы коллег. Когда энтузиаст уходит, система живёт недолго; выход в том, чтобы поддержка была частью решения, а не подвигом добровольца.
Локально или в облаке
Скачанная модель экономит на тарифах, но железо стоит денег, и арифметика зависит от нагрузки. Развилка простая: постоянная работа и чувствительные данные склоняют к своему серверу, редкие эксперименты и старт без вложений склоняют к аренде мощности на время. Цифры по обоим путям, от цен на карты до амортизации, собраны в сравнении аренда GPU или покупка своего сервера.
Есть и аргументы вне экономики, и в российских реалиях они часто весят больше цен. Требования регуляторов к персональным данным, внутренние политики безопасности, договорные обязательства перед клиентами и просто нежелание отправлять документы компании на чужие серверы часто решают спор в пользу локального запуска ещё до того, как посчитаны деньги. Аудиторы и службы безопасности крупных заказчиков всё чаще прямо спрашивают, где обрабатываются их данные, и ответ «на своём железе» закрывает вопрос до его начала. Что меняется в ежедневной работе компании, когда нейросеть живёт внутри контура и ни один запрос не покидает вашу сеть, разобрано в материале о работе ИИ без интернета.