MovUPBot, le robot de visite de MovUP

Qui nous sommes

MovUP est un outil de prospection commerciale entre professionnels (voir les mentions légales).

MovUPBot est son robot de visite. Il lit les sites internet des entreprises pour relever les coordonnées professionnelles qu’elles publient elles-mêmes, et pour vérifier qu’un site appartient bien à l’entreprise à laquelle nous le rattachons.

Le reconnaître

Chaque requête de MovUPBot porte l’agent suivant :

MovUPBot/1.0 (+https://movup.io/robot; bonjour@movup.io)

et l’en-tête From: bonjour@movup.io. Il part d’un seul serveur, hébergé par OVH au Royaume-Uni, aux adresses 57.129.169.155 et 2001:41d0:801:2000::443e. Nous ne changeons jamais d’adresse pour contourner un refus.

Un second moteur, identifié par l’agent MovUP/1.0 (+https://movup.io), peut lire ponctuellement les mêmes pages d’un site depuis nos serveurs applicatifs, en respectant le fichier robots.txt. Une consigne écrite pour « MovUP » vaut pour les deux moteurs ; une consigne écrite pour « MovUPBot » ne vaut que pour MovUPBot.

Ce que nous lisons

Sur un site d’entreprise, MovUPBot lit au plus cinq pages publiques : l’accueil, puis les pages de contact, « à propos » et de mentions légales. Il y relève :

• le numéro SIREN ou SIRET publié par l’entreprise, qui rattache le site à sa fiche ;
• le téléphone et l’adresse électronique de contact de l’entreprise, s’ils figurent sur une page autre que les seules mentions légales ;
• l’adresse du site lui-même.

Il ne remplit aucun formulaire, n’entre dans aucun espace réservé, ne contourne aucune connexion et ne conserve pas le texte des pages : seules sont gardées la coordonnée, l’adresse de la page où elle a été lue et la date de la lecture.

Un site qui écrit qu’il refuse le démarchage n’est pas exploité : rien de ce site n’est retenu.

À quel rythme

• une seule visite à la fois par serveur visité, et au moins dix secondes entre deux visites d’une même adresse IP ;
• une page à la fois, à au moins une seconde et demie d’intervalle ;
• le fichier robots.txt est lu avant toute page et respecté, y compris sa directive Crawl-delay jusqu’à soixante secondes ; au-delà, le site n’est pas visité ;
• un fichier robots.txt qui répond 401, 403 ou 429 vaut refus : le site n’est pas visité ;
• une réponse 429 accompagnée d’un délai Retry-After est honorée.

Ne plus être visité

Deux façons, au choix :

• ajouter à votre fichier robots.txt :
  User-agent: MovUP
Disallow: /
  La consigne est lue à chaque visite et vaut pour nos deux moteurs ; une consigne écrite pour « MovUPBot » seul ne vaut que pour MovUPBot ;
• écrire à bonjour@movup.io en indiquant votre nom de domaine : il est retiré de la liste des sites à visiter.

Ne plus figurer dans MovUP

Ne plus être visité n’efface pas ce qui a déjà été relevé. Pour que les coordonnées de votre entreprise ne soient plus proposées par MovUP, utilisez la page Opposition : la demande vaut pour toutes les sources, pas seulement pour MovUPBot. La politique de confidentialité décrit vos autres droits.

Contact

Une question, un comportement anormal du robot : bonjour@movup.io.