Euroauto.ru — Анализ данных парсинга

Дата парсинга: 2026-03-22
Статус: Phase 1 завершён — база собрана, Phase 2 не запущена

ИСХОДНЫЕ ДАННЫЕ

Файл: /mnt/beget-s3/projects/org/lideravto/euroauto_all.csv
Строк: 345 133
Размер: 90.4 MB
Колонки исходника: web-scraper-order, web-scraper-start-url, name_full, manufacturer, price, part_url, part_url-href, part_params, in_stock

ПОКРЫТИЕ ПО БРЕНДАМ

ПОЛЯ И НАПОЛНЕННОСТЬ

Структура name_full

"Ремень ГРМ к-кт Gates K015662XS"
 ──────────────  ─────  ──────────
   тип детали   произв.   артикул

Тип детали = всё до первого упоминания производителя в name_full.

ПРИЗНАКИ ТОВАРА

Состояние (новая / б/у)

Определяется по URL:
- ?used_id= в part_url-href → б/у
- Без ?used_id= → новая

⚠️ Важно: б/у в базе — только те предложения, что были в наличии в момент парсинга (март 2026).
Euroauto хранит историю всех б/у предложений (проданные, архивные) — их значительно больше.
Для полной картины цен и наличия б/у нужна отдельная докачка (см. Следующие шаги).

Происхождение (оригинал / аналог)

Определяется по manufacturer:

OEM-бренды: Scania, Volvo, Mercedes Benz, MAN, DAF, Iveco, Renault

Топ-10 производителей аналогов:

Тип комплекта (из name_full)

Примечание: р/к (ремкомплект) в name_full всего 11 строк — пренебрежимо мало. В part_params встречается 1 482 раза, но это примечание "есть р/к", а не тип самого товара.

ПОЛЕ ТИП_ТОВАРА

Комбинированное поле: {состояние}_{происхождение}[_{тип_комплекта}]

Логика формирования:

состояние  = 'бу'       если ?used_id= в URL, иначе 'новая'
происхождение = 'оригинал' если manufacturer в OEM-списке, иначе 'аналог'
тип_комплекта = 'комплект' / 'набор_прокладок' / 'в_сборе' / (пусто = деталь)

тип_товара = f"{состояние}_{происхождение}" + (f"_{тип_комплекта}" если не деталь)

Итоговое распределение:

ТАКСОНОМИЯ

Построена из HTML-навигации euroauto.ru (страница Scania 5-serie, 446 узлов дерева).

TAXONOMY_V2.csv — категории scraper-а

Файл: data/references/TAXONOMY_V2.csv
Формат: система;узел;деталь;slug_система;slug_узел;slug_деталь

Деталь на этом уровне = slug категории (например, maslo-dvigatelya, filtr-maslyanyj).

TAXONOMY_V3.csv — реальные типы деталей

Файл: data/references/TAXONOMY_V3.csv
Формат: система;узел;деталь;slug_система;slug_узел;кол_во

Деталь = реальное название типа, извлечённое из name_full (до производителя).

Топ-10 типов деталей по количеству предложений:

МАППИНГ МОДЕЛЕЙ

Строки с /modification-/ в URL (точная привязка)

Бренды без /modification-/ (модели смешаны)

Для этих брендов модель в строке не определяется — только бренд.

ОГРАНИЧЕНИЯ ДАННЫХ

СЛЕДУЮЩИЕ ШАГИ

Докачка б/у — все предложения

Проблема: сейчас собраны только б/у "в наличии" на момент парсинга (18 585 из ~100k+).

Решение: отдельный конфиг Web Scraper по страницам б/у:
- Стартовые URL: /catalog/{slug}/brand-{бренд}/model-{модель}/?condition=used
- Или: обход раздела /part/used/ по тем же моделям
- Собрать все ?used_id= независимо от статуса

Приоритет: высокий — б/у является ключевым продуктом разборки.

Phase 2 — сбор детальных данных

По каждому уникальному URL детали (17 122 URL) собрать:

Объём: ~17k URL × 3 сек ≈ 14 часов (один браузер)

Сводный файл с тип_товара

Добавить в мастер-файл колонки:
- тип_товара — по логике выше
- тип_детали — извлечённый тип из name_full
- наша_модель — маппинг slug → Марка:Модель

Маппинг таксономии

Связать CATALOG_IMPORT.csv (поля система, узел) с новой euroauto-таксономией через slug-маппинг.

Документ: EUROAUTO_ANALYSIS.md
Связанные файлы:
- SCRAPING.md — операция парсинга
- data/references/TAXONOMY_V2.csv — таксономия slug
- data/references/TAXONOMY_V3.csv — таксономия с типами деталей