User-agent: *
# sous-répertoires sans intérêt ou avec des fichiers en double, téléchargeables...
Disallow: /doc/
# sous-répertoires piège
Disallow: /interdit/
#
Disallow: /download.php