Как сопоставить отчёты разных источников

Сначала определить, что означает строка

Условный пример: один партнёр передаёт продажи по артикулу и дню, другой — по категории и месяцу. Оба файла содержат столбцы «товар», «количество» и «сумма». После переименования столбцов они будут выглядеть одинаково, хотя сравнение по отдельным товарам останется невозможным.

До объединения описывают объект учёта: единица товара, строка документа или итог за период. В терминологии Kimball это grain — то, что представляет одна строка фактов. От этого зависят допустимые связи и расчёты. Для общего отчёта сначала выбирают детализацию, которая действительно присутствует во всех нужных источниках.

Разделить чтение файла и сопоставление справочника

Первый этап отвечает за структуру: заголовки, типы, формат дат, десятичный разделитель и обозначение пропусков. Например, пустое количество означает отсутствие сведений, если так определено договорённостью с источником; превращение его в ноль уже меняет смысл.

Frictionless Table Schema позволяет описывать поля, типы, ограничения, первичные и внешние ключи, а также маркеры пропусков. Такая схема делает правила чтения явными. Но корректно прочитанный код ещё нужно связать с сущностью: артикул партнёра может отличаться от внутреннего артикула. Если эти этапы разделены, смена формата файла не требует заново подтверждать все товарные соответствия.

Определить, что можно сравнивать

Категорийный итог можно сопоставлять с суммой товарных строк, если состав категории, единицы и период согласованы. Обратное преобразование не восстанавливает фактические продажи отдельных товаров: распределение общего итога будет отдельной расчётной оценкой.

Таблица прокручивается влево и вправо

Это проектные решения для условного примера, а не автоматические преобразования. Если коэффициент упаковки неизвестен или категории пересекаются, часть данных остаётся несопоставимой. Такое ограничение сохраняют в отчёте вместе с доступными показателями.

Сопоставлять сущности с проверкой ошибок

Точное соответствие по устойчивому идентификатору — наиболее прямой путь. Если его нет, кандидатов ищут по сочетанию признаков: названию, размеру, бренду, единице поставки. Похожее название само по себе не доказывает, что речь об одном товаре.

В Record Linkage Toolkit процесс разделён на очистку, отбор пар, сравнение, классификацию и оценку. Такая последовательность помогает локализовать ошибку: нужный кандидат мог быть потерян ещё до сравнения. На размеченных парах отдельно считают ложные объединения и пропущенные совпадения; документация по оценке описывает precision и recall. Их приоритет зависит от последствий ошибки. Неоднозначные пары требуют разбора, а не случайного выбора первой записи.

Сохранять историю соответствий

Для принятого соответствия полезно хранить исходную систему и код, внутреннюю сущность, основание решения и срок действия. Ручное исправление становится явным правилом для следующих загрузок. При этом оно не должно бессрочно применяться, если партнёр переиспользовал код или изменил состав категории.

Исторические данные требуют отдельного выбора: показывать категории на дату продажи или пересчитать прошлое по текущему справочнику. Оба представления могут быть полезны, но отвечают на разные вопросы. Измерения типа 2 в методике Kimball сохраняют изменения отдельными строками со сроком действия. Конкретная реализация таблицы соответствий зависит от принятой модели истории.

Проверять результат объединения

После соединения таблиц проверяют число строк, уникальность ключей, несопоставленные позиции и контрольные суммы. В SQL-соединении строка попадает в результат для каждого подходящего совпадения. Поэтому несколько действующих соответствий для одного артикула могут размножить продажу и завысить итог.

Проверки выполняют по источникам и периодам, а не только общей суммой: потери одной группы способны скрыться за дублями другой. Несопоставленные записи сохраняют отдельно с причиной и ссылкой на исходную строку. Готовность набора определяется понятными правилами: какие данные включены, какие исключены и на каком уровне допустимо их сравнивать. Полный файл без этой информации ещё не является сопоставимым отчётом.

Что подготовить для первого объединения

1. По одному характерному файлу каждого формата. Добавьте период и пояснение, что означает строка.
2. Известные соответствия. Артикулы, категории и единицы измерения, которые уже удалось согласовать.
3. Общий вопрос к данным. Например, сравнить продажи категории за месяц. По нему выбирается допустимая детализация.
4. Правила проверки. Что должно сойтись по каждому источнику и какие записи нужно сохранить отдельно для разбора.

Начать можно с одного периода и нескольких партнёров. Такой разбор покажет, какие различия устраняются правилами, а где нужно уточнение источника.