Пошаговый план запуска lideravto-new

Шаг 0: Подготовка данных (~30 мин)
    ↓
Шаг 1: Деплой модулей (~20 мин)
    ↓
Шаг 2: Подготовка конфигов (~20 мин)
    ↓
Шаг 3: Тестовый импорт 1 бренд (~30 мин)
    ↓
Шаг 4: Шаблон и меню (~45 мин)
    ↓
Шаг 5: Полный импорт (~60 мин)
    ↓
Шаг 6: SEO и технические настройки (~30 мин)
    ↓
Шаг 7: Настройка автоимпорта (~30 мин)
─────────────────────────────────────────
Итого: ~4,5 часа

cd /opt/claude-workspace/projects/org/@biz-lideravto/

# Запустить авто-фикс по словарю
python3 it/scripts/fix_names.py \
  --input it/data/CATALOG.csv \
  --dictionary it/lider-drupal/data/parts_dictionary.csv \
  --output it/data/CATALOG_fixed.csv

# Проверить результат
python3 it/scripts/fix_names.py --stats it/data/CATALOG_fixed.csv

python3 it/scripts/normalize_oem.py \
  --input it/data/CATALOG_fixed.csv \
  --output it/data/CATALOG_ready.csv

# Проверить: должно быть 0 дублей по oem_normalized
python3 it/scripts/normalize_oem.py --check-dupes it/data/CATALOG_ready.csv

python3 it/scripts/build_compatibility.py \
  --input it/data/CATALOG_ready.csv \
  --output it/data/COMPATIBILITY.csv

# Ожидаемо: ~18 304 строк (по строке на каждую пару OEM × модель)

# Финальная валидация перед импортом
python3 it/scripts/validate_catalog.py it/data/CATALOG_ready.csv

# Должно быть:
# ✅ 0 пустых OEM
# ✅ 0 пустых наименований
# ✅ 0 пустых марок/моделей
# ⚠️  ~400 флагов needs_review — это ок, пойдут в очередь

# С нашего сервера к beget
rsync -avz \
  /opt/claude-workspace/projects/org/@biz-lideravto/it/lider-drupal/tst/modules/custom/ \
  {beget_user}@{beget_host}:~/lideravto/app/modules/custom/

# Синхронизация конфигурации
rsync -avz \
  /opt/claude-workspace/projects/org/@biz-lideravto/it/lider-drupal/tst/config/ \
  {beget_user}@{beget_host}:~/lideravto/app/config/

# Credentials в .credentials.md
# Хост и логин: it/lider-drupal/.credentials.md

# На beget сервере (через SSH или Beget SSH Panel)
cd ~/lideravto/app/

# Применить обновления БД и конфигурации
drush updatedb
drush config:import
drush cache:rebuild

# Включить кастомные модули
drush en dru_lider_setup
drush lider:setup:install   # создаёт vocabulary, content types, поля
drush en dru_lider_models dru_lider_parts dru_lider_catalog
drush en dru_lider_products dru_lider_compatibility dru_lider_importer
drush en dru_lider_seo dru_lider_frontend
drush cache:rebuild

# Все модули включены
drush pml | grep lider

# Тесты должны пройти
# (если phpunit доступен на shared hosting)
cd ~/lideravto/app/
./vendor/bin/phpunit modules/custom/ --testdox 2>&1 | tail -20

# Файл уже описан в MODULES_GUIDE.md
# Создать: it/data/references/canonical_priority.yaml
# Содержимое: приоритеты для Scania, Volvo, Mercedes, MAN, DAF, Renault, Iveco, Liebherr

# Создать: it/data/references/donors.yaml
# Содержимое: engines (DC13, D13, OM471...), gearboxes (GRS895, I-Shift...), axles (RS1344...)
# Шаблон в MODULES_GUIDE.md раздел "dru_lider_compatibility"

rsync -avz \
  /opt/claude-workspace/projects/org/@biz-lideravto/it/data/references/ \
  {beget_user}@{beget_host}:~/lideravto/app/config/lider/

# Сообщить модулям где искать конфиги (drush state или settings.php)
drush state:set lider.config_path '../config/lider'

rsync -avz \
  /opt/claude-workspace/projects/org/@biz-lideravto/it/data/CATALOG_ready.csv \
  {beget_user}@{beget_host}:~/lideravto/data/

# На сервере
drush lider:import:validate \
  --file=~/lideravto/data/CATALOG_ready.csv \
  --verbose

# Должно выдать: 0 критических ошибок

drush lider:import:catalog \
  --file=~/lideravto/data/CATALOG_ready.csv \
  --brand=scania \
  --limit=200 \
  --mode=dry-run

# Показывает что будет сделано, ничего не записывает
# Ожидаем: ~200 NEW, 0 ошибок

drush lider:import:catalog \
  --file=~/lideravto/data/CATALOG_ready.csv \
  --brand=scania \
  --limit=200 \
  --mode=insert

drush lider:import:compatibility --source=catalog --brand=scania
drush lider:import:canonical --recalculate --brand=scania
drush cache:rebuild

{# templates/block--lider-brand-menu.html.twig #}
<nav class="brand-menu">
  {% for brand in brands %}
    <a href="/zapchasti/{{ brand.slug }}/"
       class="{{ active_brand == brand.id ? 'active' : '' }}">
      {{ brand.name }}
    </a>
  {% endfor %}
</nav>

{# templates/block--lider-sidebar-nav.html.twig #}
{% if current_model %}
  <nav class="sidebar-nav">
    <h4><a href="/zapchasti/{{ current_brand.slug }}/">{{ current_brand.name }}</a></h4>
    {% for system in current_model.systems %}
      <a href="/zapchasti/{{ current_brand.slug }}/{{ current_model.slug }}/{{ system.slug }}/"
         class="{{ active_system == system.id ? 'active' : '' }}">
        {{ system.name }}
        <span class="count">{{ system.parts_count }}</span>
      </a>
    {% endfor %}
  </nav>
{% elseif current_brand %}
  <nav class="sidebar-nav">
    {% for model in current_brand.models %}
      <a href="/zapchasti/{{ current_brand.slug }}/{{ model.slug }}/">
        {{ model.name }}
      </a>
    {% endfor %}
  </nav>
{% endif %}

Главная → Scania → R5 → Двигатель → Форсунка топливная DC13 XPI

# На сервере: ~/lideravto/app/

# 5.1 Загрузить taxonomy (если не загружен в Шаге 1)
drush lider:import:catalog \
  --file=~/lideravto/data/CATALOG_ready.csv \
  --mode=upsert \
  --taxonomy-only

# 5.2 Все товары
drush lider:import:catalog \
  --file=~/lideravto/data/CATALOG_ready.csv \
  --mode=upsert
# Ожидаем: ~9 212 NEW, время ~30 мин

# 5.3 Совместимость из прайса
drush lider:import:compatibility --source=catalog
# Ожидаем: ~18 304 записей

# 5.4 Расширение через доноров
drush lider:import:compatibility --source=donors
# Ожидаем: ~3 000–5 000 новых записей

# 5.5 Совместимость из текстовых комментариев
drush lider:import:compatibility --source=comments
# Ожидаем: ~200–500 записей

# 5.6 Редиректы (формат-варианты OEM: A-prefix, PE-suffix, дефисы)
drush lider:import:redirects --rebuild

# 5.7 Пересчёт canonical по алгоритму
drush lider:import:canonical --recalculate

# 5.8 Кросс-ссылки между деталями
drush lider:import:crosslinks

# 5.9 Сброс кеша и пересборка sitemap
drush cache:rebuild
drush xmlsitemap:rebuild

# Проверить количество страниц
drush sql:query "SELECT COUNT(*) FROM node WHERE type='lider_part' AND status=1;"
# Ожидаем: 9 212

# Проверить совместимость
drush sql:query "SELECT COUNT(*) FROM lider_compatibility;"
# Ожидаем: 17 000–20 000

# Проверить очередь на проверку
drush lider:import:review-queue --limit=10
# Показывает детали требующие уточнения наименований

# Размер sitemap
curl -s http://new.lideravto.ru/sitemap.xml | grep '<url>' | wc -l
# Ожидаем: 9 000–10 000 (только canonical)

# На сервере: ~/lideravto/app/robots.txt

cat > ~/lideravto/app/robots.txt << 'EOF'
User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /cart/
Disallow: /checkout/
Allow: /zapchasti/

Sitemap: http://new.lideravto.ru/sitemap.xml
EOF

# Проверить что canonical тег правильный на нескольких страницах
curl -s http://new.lideravto.ru/zapchasti/scania/r5/dvigatel/forsunka-9604621423/ \
  | grep -o 'rel="canonical"[^>]*>'

# Должно быть: rel="canonical" href="http://new.lideravto.ru/zapchasti/scania/r5/dvigatel/forsunka-9604621423/"

# Деталь с 1 моделью → конкретная модель в URL → 200 OK
curl -I http://new.lideravto.ru/zapchasti/scania/r5/dvigatel/forsunka-9604621423/
# Ожидаем: HTTP/1.1 200 OK

# Деталь с 2+ моделями → any в URL → 200 OK
curl -I http://new.lideravto.ru/zapchasti/scania/any/dvigatel/forsunka-9604621423/
# Ожидаем: HTTP/1.1 200 OK

# Canonical тег = self на любой странице детали
curl -s http://new.lideravto.ru/zapchasti/scania/any/dvigatel/forsunka-dc13-xpi-9604621423/ \
  | grep -o 'rel="canonical"[^>]*>'
# Ожидаем: rel="canonical" href=".../scania/any/.../forsunka-dc13-xpi-9604621423/"

# Format-error (A-prefix) → 301 на правильный URL
curl -I http://new.lideravto.ru/zapchasti/scania/r5/dvigatel/forsunka-a9604621423/
# Ожидаем: HTTP/1.1 301 → /zapchasti/scania/r5/.../forsunka-9604621423/

# Листинг модели → 200 (всегда)
curl -I http://new.lideravto.ru/zapchasti/scania/g5/dvigatel/
# Ожидаем: HTTP/1.1 200 OK

# В nginx конфиге lideravto.ru добавить (через support beget или в панели)
location /catalog/ {
  return 301 http://new.lideravto.ru/zapchasti/;
}
location / {
  return 301 http://new.lideravto.ru$request_uri;
}

{# В <head> #}
<!-- Yandex.Metrika counter -->
<script type="text/javascript">
  (function(m,e,t,r,i,k,a){...})
  (window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "XXXXXXXX");
</script>
<!-- /Yandex.Metrika counter -->

# Включить Internal Page Cache в Drupal
drush en page_cache dynamic_page_cache

# Проверить заголовки кеширования
curl -I http://new.lideravto.ru/zapchasti/scania/r5/ \
  | grep -i cache

# Ожидаем: X-Drupal-Cache: HIT (после первого запроса)

# НЕ редактировать crontab напрямую!
# Добавить задачу через system/scheduler/

vim /opt/claude-workspace/system/scheduler/schedule.yaml

tasks:
  lideravto_import:
    name: "lideravto — импорт нового прайса"
    schedule: "0 6 * * 1"  # каждый понедельник в 6:00
    command: >
      python3 /opt/claude-workspace/projects/org/@biz-lideravto/it/scripts/check_new_price.py
      && rsync {data} {server}
      && ssh {server} "drush lider:import:catalog --mode=upsert --file=~/data/latest.csv"
    notify_telegram: true
    enabled: true

# Создать структуру inbox
mkdir -p /mnt/beget-s3/projects/lideravto/inbox/
mkdir -p /mnt/beget-s3/projects/lideravto/processed/

# Права
chmod 755 /mnt/beget-s3/projects/lideravto/inbox/

# Положить тестовый файл в inbox
cp it/data/CATALOG_ready.csv /mnt/beget-s3/projects/lideravto/inbox/test_2026-02-27.csv

# Запустить вручную
python3 system/scheduler/run.py --run lideravto_import

# Проверить Telegram — должно прийти уведомление с отчётом