OCR

Извлечение текста из изображений и сканов: детекция областей текста и его распознавание.

Ключевые тезисы

Классический стек: детектор строк + CRNN с CTC-функцией потерь.
Качество измеряют по CER и WER.
Document AI-модели (Donut, LayoutLM) читают структуру документа, а не только символы.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Классический стек OCR

Детекция строк, распознавание, постобработка.

Предобработка: выпрямление (deskew), бинаризация, удаление шума.
Детекция текста: DBNet, CRAFT — находят области со строками.
Распознавание: CRNN с CTC-потерями или трансформерный декодер.
Постобработка: словари, регулярные выражения, проверка контрольных сумм.

CER = \frac{S + D + I}{N}

Ошибка на уровне символов: замены, удаления и вставки, делённые на длину эталона

На практике

CTC решает проблему выравнивания: модель выдаёт последовательность произвольной длины, а функция потерь суммирует по всем возможным выравниваниям с эталоном.

Как работает CTC

Распознавание без разметки по символам.

Модель выдаёт распределение по символам для каждого «столбца» изображения. Проблема: мы не знаем, какой столбец какому символу соответствует. CTC вводит пустой символ и суммирует вероятности по всем выравниваниям, дающим нужную строку.

p (y ∣ x) = π \in B^{- 1} (y) \sum t \prod p (π_{t} ∣ x)

Обозначения

$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$p$ вероятность (или плотность распределения)
$\sum$ суммирование по всем перечисленным элементам
$\prod$ произведение по всем элементам
$π$ число π ≈ 3.14159

B

схлопывает повторы и убирает пустые символы

На практике

Отсюда правило: повторяющиеся буквы («класс») требуют пустого символа между ними, иначе они схлопнутся в одну.

Связанные темы

Мультимодальность

Ключевые тезисы

Подробный разбор

Классический стек OCR

Как работает CTC

Связанные темы

Multimodal Models75%

Multimodal Models75%

Vision Transformers75%

Embeddings75%

LLM75%