Что такое llama простыми словами

Llama это семейство открытых языковых моделей компании Meta. Слово «открытые» здесь главное: веса моделей опубликованы, поэтому их можно скачать и запускать на своём сервере, без отправки данных во внешние сервисы и без платы за каждый запрос.

Именно Llama сделала локальные ИИ-решения массовыми: модель, которая раньше жила только в дата-центрах её создателя, теперь крутится на сервере в офисе и обслуживает сотрудников компании. На Llama и её производных строится большинство корпоративных ассистентов с приватностью. Какие из них сегодня берут под бизнес-задачи и в чём между ними разница, разобрано в обзоре какие модели берут под бизнес.

Почему под бизнес берут Llama

• Приватность: переписка и документы остаются на вашем сервере, наружу не уходит ничего.
• Предсказуемая стоимость: нет тарификации за запросы, платите только за своё железо.
• Размерная линейка: от младших моделей для массовых задач до тяжёлых для сложных рассуждений.
• Обкатанность: вокруг Llama выросла вся индустрия локального ИИ, от движков до инструментов файнтюнинга.

Модель в скачиваемом виде тяжёлая, полные версии старших размеров весят десятки гигабайт, и «как есть» они запускаются только на серьёзном серверном оборудовании с запасом видеопамяти. Поэтому перед самым стартом конфигурацию обычно пересчитывают и модель сжимают (см. квантование модели): так она влезает в меньший объём памяти и отвечает быстрее. Для офисных задач обычно хватает средних карт, для тяжёлых версий считают серверную линейку. Какое железо нужно под сервер с такими моделями и во что оно обходится, описано в материале про какое железо нужно под сервер.