Распознавание текста с картинки: как это работает и где ошибается

Как картинка превращается в текст

Классический конвейер работал в два шага: сначала находились области с текстом, потом каждая область сравнивалась с образцами букв. Нейросети изменили подход: зрительная модель смотрит на изображение целиком и предсказывает текст, учитывая контекст, и потому читает то, что старым системам было не по зубам: фото под углом, полупрозрачные печати поверх строк, выцветшие бланки, смесь шрифтов в одном документе.

Зрительные версии больших моделей пошли дальше: им можно показать счёт и спросить не «что здесь написано», а «какая сумма итого и какой номер договора». Ответ приходит сразу структурированным, без отдельного парсера. Что умеют такие связки в документообороте, разобрано в статье про распознавание документов в бизнесе.

Где модели ошибаются

Рукописный текст остаётся крепким орешком: разборчивая рука читается уверенно, но плотный врачебный почерк с сокращениями даёт ошибки, и человек в контуре обязателен. Таблицы без явных линий сетки: модель путает соседние колонки, особенно когда в ячейках суммы и даты. Многостраничные документы с разной ориентацией страниц: часть страниц приходит перевёрнутой, и без автоповорота текст теряется молча.

Отдельная зона риска, качество съёмки. Телефонные фото с тенями и бликами распознаются хуже ровных сканов, и часто половина ошибок проекта лечится не сменой модели, а правилом съёмки: ровно, без теней, всю страницу целиком. Дешёвый фикс правилом против дорогого фикса новой моделью, классика внедрений.

Процесс важнее модели

Рабочая схема распознавания в компании выглядит как конвейер с человеком на финальном шаге. Вход: почта, сканер, папка, мессенджер. Очередь: документы ждут своей минуты, пиковая нагрузка не роняет систему. Распознавание: модель вытаскивает поля, которые нужны бизнесу, а не весь текст подряд. Проверка: сотрудник видит документ и результат рядом, подтверждает или правит; спорные места модель подсвечивает сама по низкой уверенности. Выгрузка: данные уходят в учётную систему, а не в файл на рабочем столе.

Метрики такого конвейера считаются честно: доля полей, распознанных без правок, время на документ, стоимость документа от первого байта до записи в базе. Когда эти цифры сняты до и после, разговор о пользе проекта заканчивается за минуту. Общий порядок выстраивания таких процессов с метриками описан в материале про автоматизацию документооборота.

Своё или сервис

Внешние сервисы распознавания удобны для старта и штучных задач, но у них два системных минуса для компании. Первый, документы уходят наружу: для договоров, паспортов и внутренних бумаг это часто неприемлемо. Второй, экономика на объёме: тысяча документов в день по тарифам сервиса стоит как приличный сервер в месяц, только сервер остаётся вашим. Развилка та же, что и у языковых моделей: чувствительные данные и постоянный поток склоняют к своему железу, о вариантах закрытого размещения нейросетей разобрано в статье ИИ внутри контура.