Daten & Scraping · Juni 2026

Allegro Parser — Marktplatz-Preis-Monitoring (Python)

Produktionssystem für das tägliche Monitoring von Produkten, Angeboten und Verkäufern auf dem Marktplatz allegro.pl. Ein Headless-Backend: Datenerfassung, Anti-Bot-Umgehung, verteilte Verarbeitung und eine REST-API für die Wettbewerbspreis-Analyse.

Umgesetzt wurde:

Umgehung des Anti-Bots DataDome via ephemeral Camoufox (Antidetect-Firefox) + rotierende ISP-Proxys
Daten aus eingebetteten JSON-Blöcken der Seite (kein HTML-Scraping); ein Seitenaufruf = alle Angebote
PostgreSQL: 8 Tabellen, 23 Migrationen, monatliche Partitionierung der Historie (auto-create), Bulk Insert/Upsert
Pipeline: Discovery → History → Offer-sync → Enrichment → Competitor Tracking
Verteilte Verarbeitung: Celery + RabbitMQ, Worker-Pools mit Queue-Prioritäten, Celery Beat, Flower
REST-API auf FastAPI (Task-Trigger, Daten-Snapshots, Webhook-Benachrichtigungen, Swagger UI)
Redis für Proxy-State und Ban-Tracking, structlog, Docker (dev + prod)

Ergebnisse des 24-Stunden-Stresstests: 8.560 Anfragen, 85% Erfolg, 0 permanente IP-Bans, 160.053 Angebote erfasst (6 ISP-IPs parallel).

Rolle: Architektur und Full-Cycle-Backend-Entwicklung — Datenerfassung, Anti-Bot, Data Engineering, API.

Bildschirme des Projekts

Bildschirm 1
Bildschirm 2
Bildschirm 3
Bildschirm 4