Modules
Scraper
Collecte web en lots pour alimenter vos datasets.

À quoi sert le module Scraper

Le Scraper permet de collecter des données depuis des pages web pour alimenter des datasets (URLs, pages, informations ciblées), selon vos règles.

Bonnes pratiques

  • Respectez les conditions d’utilisation des sites.
  • Lancez par petits lots, puis augmentez le volume.
  • Conservez les URLs sources pour audit.

Workflow recommandé

  1. Préparez une liste d’URLs ou une requête de collecte.
  2. Définissez ce que vous cherchez (champs, patterns, sections).
  3. Lancez un test sur 5 à 10 URLs.
  4. Ajustez, puis exécutez en lots.
  5. Validez et exportez vers un dataset.

Dépannage

  • Données manquantes : la structure HTML varie, ajustez les règles.
  • Blocages : réduisez la cadence et respectez les limites.