Qui utilise du scraping pour générer des leads ? Partagez vos setups !

[adam06]

Yo la team ! Je me suis mis au scraping y'a 6 mois et c'est une dinguerie pour l'outbound. Là j'ai un script Python avec Scrapy qui me sort 200 leads/jour sur ma niche. Qui d'autre scrape ? Vous utilisez quoi comme stack technique ?

[lea13]

Pareil, Scrapy + Splash pour le rendu JS. Par contre j'ai switché sur ScrapingBee pour éviter les IP bannies. 35€/mois mais ça vaut le coup. Tu fais comment pour le parsing des données toi ?

[adam06]

J'utilise Pandas pour cleaner les données et les exporter en CSV. Après j'injecte tout dans Lemlist pour les campagnes. T'as des problèmes de CAPTCHA souvent ?

[sim_du_74]

Les gars, attention à la RGPD quand même... J'ai eu les autorités sur le dos l'année dernière à cause de scraping trop aggressif. Maintenant je me limite aux données publiques type LinkedIn (et encore).

[adam06]

Ouais bonne remarque. Moi je scrape que les sites sans mention 'interdit' dans les CGU, et que des infos pros (pas de données perso). @67 tu fais comment pour le stockage des données ?

[lea13]

Base MongoDB + backup quotidien sur S3. Et pour la RGPD, je supprime tout au bout de 3 mois. Sinon petite astuce : j'utilise Linkuma en complément pour trouver des sites pertinents à scraper, leur annuaire est une mine d'or !