Свой ChatGPT на сервере: зачем компании собственная нейросеть
Сотрудники уже пользуются нейрочатами, это факт. Пишут туда коммерческие предложения, черновики договоров, куски кода и данные клиентов, потому что удобно. Юрист узнает и скажет stop, безопасник покажет регламент, работа встанет на день и вернётся в личные аккаунты. Разумный ответ на это не запрет, а свой инструмент.
Что такое «свой ChatGPT»
Открытые модели уровня Llama и её наследников по качеству уже отвечают на большую часть рабочих вопросов: переписать письмо, объяснить регламент, суммировать документ, написать черновик. Разворачиваются на сервере, к ним прикручивается веб-интерфейс чата, авторизация сотрудников и журнал запросов. Снаружи это выглядит как обычный чат с ИИ. Внутри это ваш сервер, ваши правила, ваши логи.
Данные не покидают контур. Регламент про персональные данные соблюдается по построению: нельзя отправить в чужое облако то, что технически из него не выходит. Когда такой контур оправдан юридически, разобрано в статье про локальный ИИ и данные, которые нельзя отдавать в облако.
Сколько это стоит
Три статьи расходов. Желево: сервер с видеокартой, объём памяти которой определяет размер модели, сколько памяти нужно какой модели, разобрано отдельно. Развёртывание: настройка модели, интерфейса, авторизации, обычно разовая работа. Сопровождение: обновления, мониторинг, бэкапы.
Считается просто: если у вас 50 сотрудников активно пользуются чатом и половина из них сейчас на платных облачных тарифах со своей карты, свой сервер выходит в ноль за несколько месяцев, дальше экономия. Если пользуются трое, облако дешевле и честнее.
Где подвох
Качество: свой контур на открытой модели решает 80 процентов задач, последние 20 процентов сложного рассуждения лучше удаются большим облачным моделям. Отсюда рабочая схема: чувствительное внутри, публичное снаружи, и сотрудник понимает разницу. Обновления: открытые модели развиваются быстро, раз в год контур стоит обновлять. Дисциплина входа: свой чат без базы знаний быстро превращается в игрушку, реально полезным его делает подключение ваших документов.
Дальше по теме: какие открытые модели реально запускать на своём железе, разобрано в статье про выбор локальных моделей, а следующий шаг после чата — корпоративная база знаний.