ТЗ: Система импорта каталога

LDR-7821;Форсунка DC13 XPI;Scania;R5;9604621423;A9604621423,F00RJ01285,0445120229,96046-21423;Bosch;новый;18500;Двигатель;Топливная система;Форсунка;Подходит для: Scania R5, Scania G5, Scania P5, Scania F5

import re

def normalize_oem(oem: str) -> str:
    """
    Нормализует OEM-номер детали:
    - Заменяет кириллические буквы на латинские (визуально идентичные)
    - Удаляет разделители (пробелы, дефисы, точки, запятые)
    - Приводит к верхнему регистру
    - Снимает A-prefix у Mercedes (A + ровно 10 цифр)
    - Снимает PE-suffix у DAF
    - Снимает 742-prefix у Renault/Volvo

    Returns: нормализованный OEM или пустую строку если входные данные некорректны
    """
    if not oem or not isinstance(oem, str):
        return ''

    oem = oem.strip()

    # Шаг 1: Замена кириллических букв на латинские (визуально идентичные)
    cyrillic_to_latin = {
        'А': 'A',  # кириллическая А → латинская A
        'В': 'B',  # кириллическая В → латинская B
        'Е': 'E',  # кириллическая Е → латинская E
        'О': 'O',  # кириллическая О → латинская O
        'Р': 'R',  # кириллическая Р → латинская R
        'С': 'C',  # кириллическая С → латинская C
        'Х': 'X',  # кириллическая Х → латинская X
        'а': 'a',  # строчные тоже
        'в': 'b',
        'е': 'e',
        'о': 'o',
        'р': 'r',
        'с': 'c',
        'х': 'x',
    }
    for cyr, lat in cyrillic_to_latin.items():
        oem = oem.replace(cyr, lat)

    # Шаг 2: Удаление разделителей (пробел, дефис, точка, запятая, слэш)
    oem = re.sub(r'[\s\-\.\,\/]', '', oem)

    # Шаг 3: Приведение к верхнему регистру
    oem = oem.upper()

    # Шаг 4: Снятие A-prefix у Mercedes
    # Паттерн: буква A + ровно 10 цифр (и больше ничего)
    if re.match(r'^A\d{10}$', oem):
        oem = oem[1:]

    # Шаг 5: Снятие PE-suffix у DAF
    # Паттерн: строка заканчивается на PE, длина > 4 символа
    if oem.endswith('PE') and len(oem) > 4:
        oem = oem[:-2]

    # Шаг 6: Снятие 742-prefix у Renault/Volvo
    # Паттерн: начинается с 742, итоговый номер (без 742) длиннее 6 символов
    if re.match(r'^742', oem) and len(oem) > 10:
        candidate = oem[3:]
        if len(candidate) >= 7:
            oem = candidate

    return oem


def normalize_oem_list(oem_string: str) -> list[str]:
    """
    Нормализует строку с несколькими OEM (поле кросс_номера).
    Разделители: запятая, пробел, точка с запятой.
    Returns: список нормализованных OEM, пустые строки исключены.
    """
    if not oem_string:
        return []

    # Разделяем по запятой, пробелу или точке с запятой
    raw_list = re.split(r'[,\s;]+', oem_string.strip())

    result = []
    for raw in raw_list:
        normalized = normalize_oem(raw)
        if normalized:
            result.append(normalized)

    return result

// dru_lider_importer/src/Service/NamingValidator.php
const STOP_WORDS = [
    'Кронштейн',
    'Болт',
    'Гайка',
    'Шпилька',
    'Кнопка',
    'Накладка',
    'Прокладка',
    'Датчик',
    'Клапан',
    'Шланг',
    'Фильтр',
    'Трубка',
    'Хомут',
    'Пружина',
    'Втулка',
    'Подшипник',
    'Кольцо',
    'Заглушка',
    'Крышка',
    'Патрубок',
    'Уплотнение',
    'Манжета',
    'Сальник',
];

def auto_fix_name(name: str, node_field: str, system_field: str) -> tuple[str, bool]:
    """
    Пытается автоматически улучшить неполное наименование.

    Returns:
        (new_name, needs_review)
        needs_review=True если автофикс не дал достаточного результата
    """
    # Если наименование уже нормальное — возвращаем как есть
    if not is_stop_word_only(name):
        return name, False

    # Попытка 1: добавить поле "узел" если оно информативно
    if node_field and len(node_field) > 3 and node_field.lower() not in [name.lower()]:
        candidate = f"{name} {node_field.lower()}"
        if len(candidate) <= 80:
            return candidate, False  # автофикс успешен

    # Попытка 2: добавить поле "система" если узел пустой
    if system_field and len(system_field) > 3:
        candidate = f"{name} {system_field.lower()}"
        if len(candidate) <= 80:
            return candidate, True  # частичный автофикс, всё равно на проверку

    # Автофикс не удался — оставляем как есть, ставим на проверку
    return name, True

def calculate_delta(new_rows: list[dict], existing_catalog: dict) -> list[dict]:
    """
    existing_catalog: словарь {oem_normalized: {price, compatibilities: set}}
    Возвращает: список строк со статусом
    """
    delta = []
    new_oems = set()

    for row in new_rows:
        oem_norm = normalize_oem(row['oem'])
        new_oems.add(oem_norm)

        if oem_norm not in existing_catalog:
            delta.append({**row, 'status': 'NEW'})
            continue

        existing = existing_catalog[oem_norm]
        changes = []

        # Проверка цены
        if abs(float(row['цена']) - existing['price']) > 0.01:
            changes.append('PRICE')

        # Проверка совместимости
        compat_key = f"{row['марка']}:{row['модель']}"
        if compat_key not in existing['compatibilities']:
            changes.append('COMPAT')

        if not changes:
            delta.append({**row, 'status': 'UNCHANGED'})
        elif changes == ['PRICE']:
            delta.append({**row, 'status': 'UPDATED_PRICE'})
        elif 'COMPAT' in changes:
            delta.append({**row, 'status': 'UPDATED_COMPAT', 'price_changed': 'PRICE' in changes})

    # Найти исчезнувшие OEM
    disappeared_oems = set(existing_catalog.keys()) - new_oems
    for oem in disappeared_oems:
        delta.append({'oem': oem, 'status': 'DISAPPEARED'})

    return delta

Входные данные: "F00RJ01285,0445120229, 1 418 522 006"
После split:    ["F00RJ01285", "0445120229", "1418522006"]
Нормализация:   ["F00RJ01285", "0445120229", "1418522006"]
Результат:      3 кросс-записи связанных с основным OEM

-- Аналоги при просмотре списка через /scania/g5/.../
SELECT cross_oem.*
FROM lider_oem cross_oem
JOIN lider_compatibility compat ON compat.part_id = cross_oem.part_id
WHERE cross_oem.cross_ref_of = :main_oem_id    -- кросс основного OEM
  AND compat.model_id = :current_model_id       -- только G5

Подходит для: Scania R5, Scania G5, Scania P5

Совместимые модели: Volvo FH4, Volvo FM4, Renault T

COMPAT_PATTERNS = [
    # "Подходит для: Scania R5, Scania G5"  ← основной формат
    r'[Пп]одходит\s+для\s*:\s*([^\n]+)',
    # "Совместимые модели: Volvo FH4, Volvo FM4"
    r'[Сс]овместимые\s+модели\s*:\s*([^\n]+)',
]

def parse_compatibility(comment: str) -> list[dict]:
    """
    Парсит поле комментарий → список совместимостей.
    Формат: "Подходит для: Марка Модель, Марка Модель"
    Модели как в Bazon (те же названия что в полях марка и модель).

    Returns: [{'brand': 'Scania', 'model': 'R5'}, ...]
    """
    result = []
    for pattern in COMPAT_PATTERNS:
        match = re.search(pattern, comment)
        if not match:
            continue

        models_str = match.group(1).strip()
        # Разбиваем по запятой
        model_tokens = [m.strip() for m in models_str.split(',') if m.strip()]

        for token in model_tokens:
            # Ожидаем формат "Марка Модель" (два слова)
            parts = token.split(None, 1)
            if len(parts) == 2:
                result.append({'brand': parts[0], 'model': parts[1]})
            elif len(parts) == 1:
                # Только марка без модели — логируем как предупреждение
                result.append({'brand': parts[0], 'model': None, 'warning': 'no_model'})

        break  # нашли один паттерн — достаточно

    return result

Комментарий: "Подходит для: Scania R5, Scania G5, Scania P5, Mercedes Actros MP4"

→ [
    {'brand': 'Scania', 'model': 'R5'},
    {'brand': 'Scania', 'model': 'G5'},
    {'brand': 'Scania', 'model': 'P5'},
    {'brand': 'Mercedes', 'model': 'Actros MP4'},
  ]
→ Создаётся 4 записи lider_compatibility

/zapchasti/scania/r5/toplivnaya-sistema/forsunka-a9604621423/
→ 301 →
/zapchasti/scania/r5/toplivnaya-sistema/forsunka-9604621423/

/zapchasti/scania/r5/toplivnaya-sistema/forsunka-96046-21423/
→ 301 →
/zapchasti/scania/r5/toplivnaya-sistema/forsunka-9604621423/

# Импорт всего каталога из файла
drush lider:import:catalog \
  [--mode=upsert|insert|dry-run] \
  [--brand=scania] \
  [--limit=100] \
  [--file=path/to/catalog.csv] \
  [--batch=100]

# Импорт совместимости
drush lider:import:compatibility \
  [--source=catalog|donors|comments|all] \
  [--brand=scania]

# Перестройка редиректов
drush lider:import:redirects \
  [--rebuild] \
  [--brand=scania]

# Пересчёт canonical URL
drush lider:import:canonical \
  [--recalculate] \
  [--brand=scania] \
  [--dry-run]

# Только валидация без импорта
drush lider:import:validate \
  --file=path/to/catalog.csv \
  [--verbose]

# Показать статус последнего импорта
drush lider:import:status

# Показать очередь на проверку наименований
drush lider:import:review-queue \
  [--brand=scania] \
  [--limit=50]

# Полная симуляция нового прайса
drush lider:import:validate --file=/tmp/bazon_new.csv --verbose

# Тестовый импорт первых 100 записей Scania
drush lider:import:catalog --brand=scania --limit=100 --mode=dry-run --file=/tmp/bazon.csv

# Реальный импорт Scania
drush lider:import:catalog --brand=scania --file=/tmp/bazon.csv --mode=upsert

# Полный импорт всех брендов
drush lider:import:catalog --file=/tmp/bazon.csv --mode=upsert

# Расширение совместимости через доноров
drush lider:import:compatibility --source=donors

# Пересчитать canonical только для DAF
drush lider:import:canonical --recalculate --brand=daf

╔═══════════════════════════════════════════════════════════════════╗
║           ОТЧЁТ ИМПОРТА: lideravto catalog                       ║
║           2026-02-27 14:35:22 UTC                                ║
╠═══════════════════════════════════════════════════════════════════╣
║ Файл:          bazon_prays_2026-02.csv                          ║
║ Режим:         upsert                                            ║
║ Бренд:         all                                               ║
╠═══════════════════════════════════════════════════════════════════╣
║ СТРОКИ CSV:                                                       ║
║   Всего строк в файле:         13 621                            ║
║   Успешно обработано:          13 598                            ║
║   Пропущено (ошибки):              23                            ║
╠═══════════════════════════════════════════════════════════════════╣
║ РЕЗУЛЬТАТЫ:                                                       ║
║   Новых деталей создано:          124                            ║
║   Обновлено цен:                  891                            ║
║   Добавлено связей совместимости:  45                            ║
║   Без изменений (skip):        12 538                            ║
║   Исчезнувших деталей:             12  → out_of_stock            ║
╠═══════════════════════════════════════════════════════════════════╣
║ КАЧЕСТВО ДАННЫХ:                                                  ║
║   Исправлено OEM (A-prefix):       31                            ║
║   Исправлено OEM (PE-suffix):       8                            ║
║   Исправлено OEM (742-prefix):     15                            ║
║   Исправлено OEM (кириллица):       4                            ║
║   Требуют проверки наименований:   38  → /admin/lider/review     ║
╠═══════════════════════════════════════════════════════════════════╣
║ CANONICAL:                                                        ║
║   Пересчитан canonical:            89 деталей                    ║
║   Новых редиректов создано:        89                            ║
║   Sitemap перестроен               ✓                             ║
╠═══════════════════════════════════════════════════════════════════╣
║ ВРЕМЯ:                                                            ║
║   Нормализация OEM:            0:00:45                           ║
║   Загрузка в БД:               0:08:30                           ║
║   Пересчёт canonical:          0:02:15                           ║
║   Итого:                       0:11:30                           ║
╠═══════════════════════════════════════════════════════════════════╣
║ ОШИБКИ (23):                                                      ║
║   [строка 1247] пустое наименование: пропущена                   ║
║   [строка 3891] некорректная цена '18 500,00 руб': исправлено    ║
║   ... (21 ещё) → /admin/reports/lider-import-log/latest          ║
╚═══════════════════════════════════════════════════════════════════╝

-- Критически важны для производительности дельты:
CREATE INDEX IF NOT EXISTS idx_lider_oem_normalized ON lider_oem (oem_normalized);
CREATE INDEX IF NOT EXISTS idx_lider_compat_part ON lider_compatibility (part_id, brand_id, model_id);