# Archivo "Robots.txt" 
# sitio web: http://www.unab.cl

# Todos los robots indexan este dominio.
# Se excluyen las siguientes carpetas

User-agent: *
Disallow: /sitio-html/intranet/
Disallow: /lib/
Disallow: /webrepositorio/


Sitemap: http://www.unab.cl/sitemap.xml
Sitemap: http://www.unab.cl/urllist.txt

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: libwww
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10