À propos du projet
Recherche et Développement sur l'extraction de données de masse. Étude des mécanismes de protection anti-bot et tentative de contournement sur des annuaires professionnels.
Leads Wanadoo
Technologies utilisées
Backend & Orchestration
Scraping & Automation
Data & Proxy
Fonctionnalités principales
- Scraping automatisé multi-cibles avec Google Dorks (ciblage par métier et ville)
- Rotation d'IP automatique via VPN (Gluetun + ProtonVPN) avec anti-ban
- Stockage et déduplication intelligente dans Baserow (10 champs par lead)
- Architecture sécurisée et isolée (réseau Docker privé + authentification multi-niveaux)
- Monitoring et maintenance (healthchecks automatiques + logs centralisés)
Compétences développées
Ce projet m'a permis de maîtriser la conception d'une architecture microservices complète avec Docker et l'orchestration de services multiples. J'ai développé mes compétences en automatisation avec n8n, scraping web avancé et techniques anti-ban (rotation IP via VPN, User-Agent). La mise en place d'une authentification multi-niveaux et l'implémentation d'un pipeline ETL complet (extraction, validation, déduplication) m'ont apporté une expertise en data engineering et en sécurité.