robots.txt

« Back to Glossary Index

Le fichier robots.txt est un petit fichier texte placé à la racine de votre site web (votresite.com/robots.txt).
Il sert à donner des instructions aux moteurs de recherche (Googlebot, Bingbot, etc.) sur ce qu’ils ont le droit d’explorer (crawl) et ce qu’ils doivent éviter.

Retour