Что такое мультимодальность простыми словами
Мультимодальная модель работает с разными типами данных: текст, картинки, звук. Отсюда ИИ-зрение и синтез речи.
Мультимодальность это способность модели работать с разными типами данных: не только с текстом, но и с картинками, звуком, документами. Мультимодальная модель принимает фотографию и описывает, что на ней, слушает запись совещания и делает протокол, читает скан счёта и переносит цифры в таблицу.
Для бизнеса мультимодальность открыла задачи, которые раньше требовали отдельных систем под каждый тип данных. Один ассистент смотрит чеки и акты, слушает звонки, читает переписку и отвечает на вопросы по всем трём источникам сразу. Как модель учится голосу и поднимает трубку вместо секретаря, описано в статье про ИИ-голос в бизнес-задачах.
Типовые мультимодальные задачи в бизнесе
- Документы: сканы счетов и актов превращаются в строки баз данных без ручного набора.
- Звонки: расшифровка разговоров и контроль качества по записи, а не по памяти оператора.
- Зрение: контроль качества на линии по камере, подсчёт товара на полке.
- Знания: единый ассистент, который ищет и по текстам, и по чертежам, и по презентациям.
Внутри таких систем всё равно работают языковые модели: картинки и звук сначала переводятся в текстовое описание, а дальше модель рассуждает привычным способом. Так устроено большинство корпоративных мультимодальных систем: узкие переводчики на входе, языковое ядро в центре. Как ИИ-зрение используется в конкретных задачах, от контроля качества до распознавания документов, разобрано в материале про компьютерное зрение в задачах.