User-Agent: Googlebot
Disallow: mhtshop/
Disallow: lightbox/
Disallow: plesk_stat/
Disallow: css/


Disallow: internet-marketing-al.html  

Excite - ArchitextSpider
Altavista - Scooter
Lycos - Lycos_Spider_(T-Rex)
Google - Googlebot
Alltheweb - FAST-WebCrawler/

Asegúrate de comprobar el archivo