Данные и парсинг · Июнь 2026

Allegro Parser — мониторинг цен и оферт маркетплейса

Промышленная система ежедневного мониторинга товаров, оферт и продавцов на маркетплейсе allegro.pl. Бэкенд без UI: сбор данных, антибот-обход, распределённая обработка и REST API для конкурентной аналитики цен.

Что реализовано:

Обход антибота DataDome через ephemeral Camoufox (antidetect Firefox) + ISP-прокси с ротацией
Извлечение данных из встроенных JSON-блоков страницы (не HTML-скрейпинг), одна загрузка = все оферты
PostgreSQL: 8 таблиц, 23 миграции, помесячное партиционирование истории (auto-create), bulk insert/upsert
Пайплайн: Discovery → History → Offer-sync → Enrichment → Competitor tracking
Распределённая обработка: Celery + RabbitMQ, пулы воркеров с приоритетами очередей, Celery Beat, Flower
REST API на FastAPI (запуск задач, срезы данных, webhook-уведомления, Swagger UI)
Redis для состояния прокси и ban-tracking, structlog, Docker (dev + prod)

Результаты 24-часового стресс-теста: 8 560 запросов, 85% успех, 0 перманентных банов IP, собрано 160 053 оферты (6 ISP-IP параллельно).

Роль: архитектура и backend-разработка полного цикла — сбор данных, антибот, дата-инжиниринг, API.

Кадры проекта

Архитектура пайплайна
Обход антибота DataDome
Модель данных (PostgreSQL)
Результаты 24-часового стресс-теста