RAG PDF Parsing: 5 проверок перед импортом PDF

Итог: Большинство RAG-баз знаний ломаются не из‑за неудачного embedding-модели, а потому что PDF импортировали без предварительных проверок—сканы приняли за текстовый слой, таблицы превратили в шум, колонтитулы загрязнили каждый chunk, многоколоночную вёрстку прочитали в неверном порядке. В этом руководстве — пять проверок, которые обязательны перед выводом любого пайплайна RAG PDF Parsing в прод: команды выборки, матрица парсеров и чеклист «ворот» чанкинга.

Если вы подаёте в LangChain, LlamaIndex, Dify или свой стек руководства, статьи или договоры, порядок такой: сначала качество, потом чанкинг. Ключевые слова: RAG PDF Parsing, PDF Parsing Best Practices, AI PDF Parsing.

Последняя проверка: 7 августа 2026 г. Поведение парсеров по актуальной документации PyMuPDF, pdfplumber и загрузчиков LlamaIndex.

Почему PDF — самый рискованный формат в RAG

PDF создан для точности печати, а не семантического хранения. На одной странице могут наслаиваться текстовые слои, векторная графика, встроенные шрифты, невидимый OCR и скан-изображения—универсальный get_text() вернёт символы, но не гарантирует порядок чтения. RAG усиливает каждую ошибку: грязный текст → неверные границы чанков → дрейф эмбеддингов → нерелевантный поиск → уверенные галлюцинации.

Типичный провал: 800 продуктовых PDF в дефолтный loader. Через две недели агент поддержки цитирует строки копирайта в колонтитуле как спецификации. Причина: 60 % сканов, 30 % двух колонок, один парсер на всё. Исправление — перепарсинг, переэмбеддинг и переиндексация, что дороже пяти проверок до импорта.

PDF Parsing Best Practices, правило № 1: маршрутизация по типу документа, а не «один loader на всех».

Проверка 1: нативный текст vs сканированный PDF

Цель: за 30 секунд понять, нужна ли текстовая экстракция или OCR + анализ вёрстки.

Как:

• Запустить pdfinfo или PyMuPDF; если page.get_text() даёт < 50 символов на страницу при множестве image-объектов — считать скан/изображение.
• Выборка 3 страниц (начало, середина, конец): можно ли выделить текст по порядку?
• Проверить метаданные Producer/Creator — некоторые потоки «Печать в PDF» создают сломанный псевдотекстовый слой.

Пройдено: ≥ 90 % выборочных страниц с непрерывным, правильно упорядоченным текстом.

Не пройдено: направить в OCR (Tesseract, PaddleOCR или управляемый LlamaParse). Для пакетных задач запускайте OCR-воркеры на отдельном хосте оркестрации агентов, чтобы очереди эмбеддинга не вставали.

Проверка 2: выборочная оценка качества извлечения текста

Цель: никакого мусора кодировки и скрытых символов в эмбеддингах.

Как:

• Экспорт текста с 5 случайных страниц; искать символы замены, Unicode private-use, разорванные лигатуры (fi, fl).
• Сравнить исходный PDF и извлечённый текст по SKU, версиям, API-путям — ценные токены для поиска.
• Для CJK-PDF проверить отсутствие смешения упрощённого/традиционного и полной/половинной ширины.

Пройдено: критические сущности совпадают на 100 %; доля «каши» < 0,5 %.

Не пройдено: сменить парсер — pdfplumber для таблиц, PyMuPDF для массового текста, layout-инструменты для академических страниц. См. руководство LangChain по PDF loader; всегда валидируйте на выборках.

Проверка 3: вёрстка — колонки, таблицы, колонтитулы

Цель: порядок чтения совпадает с человеческим пониманием, а не с порядком отрисовки.

Как:

• Многоколоночность: левая колонка до конца, затем правая; при перемешивании — детекция layout или пересортировка bbox.
• Таблицы: выборка 2 файлов — ячейки не должны схлопываться в «кашу из запятых». Хранить как Markdown-таблицы или chunks content_type=table.
• Колонтитулы: если одна строка в > 40 % чанков — удалять при парсинге.

Пройдено: три человеческих spot-check читаются связно; таблицы двумерны; колонтитулы исключены.

Не пройдено: парсеры с партиционированием (Unstructured hi_res, Docling и т.д.) или дедупликация повторяющихся строк до чанкинга. Боль AI PDF Parsing чаще во вёрстке, а не в сырой точности OCR.

Проверка 4: безопасность и комплаенс

Цель: в индексе нет зашифрованного, PII-насыщенного или нелицензированного контента.

Как:

• Пропускать или расшифровывать PDF с паролем; логировать skipped_encrypted.
• PII-скан (email, телефон, шаблоны ID) для договоров и тикетов — маскировать или изолировать индексы.
• Юридическое согласование по авторским правам и обработке данных; внутренняя индексация тоже может нарушать условия.
• Никогда не логировать полный извлечённый текст в проде. Границы хранения — в памяти агента vs логах чата.

Проверка 5: готовность к чанкингу и метаданные

Цель: результат парсинга достаточно структурирован для осмысленного чанкинга.

Как:

• Сохранять page_number, source_file, section_title, когда доступны.
• Предпросмотр фиксированных окон vs разбиения по заголовкам на 20 примерных вопросах.
• Следить за распределением длины чанков — слишком много осколков < 100 токенов размывает семантику.
• При long-context reranking моделируйте стоимость context caching — чистый парсинг снижает обходные пути «засунуть весь документ».

Пройдено: полнота метаданных > 95 %; top-3 чанка покрывают разделы с ответами; нет системного загрязнения колонтитулами.

Краткая справка по парсерам (2026)

Поддерживайте золотой набор образцов (10–20 коварных PDF: две колонки, таблицы, сканы, вертикальный CJK) и при смене парсера прогоняйте тот же Q&A eval — практичнее споров о «лучшей» библиотеке.

Рекомендуемый пайплайн импорта

1. Постановка в очередь с дедупом по хешу файла и метаданными классификации.
2. Проверки 1–2: авто-тип + текстовая выборка; ветка OCR для сканов.
3. Проверка 3: layout-парсинг, удаление колонтитулов, структура таблиц.
4. Проверка 4: фильтр PII/шифрования; карантин отказов.
5. Проверка 5: структурно-осознанный чанкинг + метаданные; Q&A-ворота на малых партиях.
6. Эмбеддинг и индексация только после прохождения; версионируйте парсеры для перезапусков.

RAG-ингestion — живой data product, а не разовый ETL. Дрейф парсеров часто опережает апгрейды моделей.

Один вопрос для стейкхолдеров

Спросите: «Когда пользователи задают вопросы, цитаты должны указывать страницу, раздел или строку таблицы?» От этого зависит строгость проверок 3 и 5.

Чтобы подключить поиск к агентам, продолжите с пайплайнами от одного агента к нескольким.