Дані та парсинг · Червень 2026

Allegro Parser — моніторинг цін і оферт маркетплейсу

Промислова система щоденного моніторингу товарів, оферт і продавців на маркетплейсі allegro.pl. Бекенд без UI: збір даних, обхід антибота, розподілена обробка та REST API для конкурентної аналітики цін.

Що реалізовано:

Обхід антибота DataDome через ephemeral Camoufox (antidetect Firefox) + ISP-проксі з ротацією
Витягування даних із вбудованих JSON-блоків сторінки (не HTML-скрейпінг), одне завантаження = всі оферти
PostgreSQL: 8 таблиць, 23 міграції, помісячне партиціонування історії (auto-create), bulk insert/upsert
Пайплайн: Discovery → History → Offer-sync → Enrichment → Competitor tracking
Розподілена обробка: Celery + RabbitMQ, пули воркерів із пріоритетами черг, Celery Beat, Flower
REST API на FastAPI (запуск задач, зрізи даних, webhook-сповіщення, Swagger UI)
Redis для стану проксі та ban-tracking, structlog, Docker (dev + prod)

Результати 24-годинного стрес-тесту: 8 560 запитів, 85% успіх, 0 перманентних банів IP, зібрано 160 053 оферти (6 ISP-IP паралельно).

Роль: архітектура та backend-розробка повного циклу — збір даних, антибот, дата-інжиніринг, API.

Кадри проєкту

Кадр 1
Кадр 2
Кадр 3
Кадр 4