#opciones comunes para todos los bots

User-Agent: *
Disallow: /accionAjax/
Disallow: /accionMto/
Disallow: /B4tCH/
Disallow: /ckeditor/
Disallow: /css/
Disallow: /js/
Disallow: /securimage/
Disallow: /Zend/

User-agent: Googlebot 
#control para los ficheros terminados en estas extensiones 

Disallow: /*.js*
Disallow: /*.css*
Disallow: /*.txt$
Disallow: /*.config$
Allow: /*.xml$
Sitemap: http://www.duplexpisos.com/google_sitemap.xml


#permitir al bot de imagenes de Google buscar en todo el portal
User-agent: Googlebot-Image
Allow: /*.gif$
Allow: /*.png$
Allow: /*.jpeg$
Allow: /*.jpg$
Allow: /*.ico$
Allow: /img/
Allow: /img/es
Allow: /ficheros/

# Permitir a los bots del adsense en todo el site
User-agent: Mediapartners-Google
Allow: /*


# permitir al Adsbot-Google en todo el site
User-agent: Adsbot-Google
Allow: /*

# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
# Bots de Yahoo 
# slurp: principal de Yahoo
User-agent: slurp
# control para los ficheros terminados en estas extensiones para Yahoo
Disallow: /*.js*
Disallow: /*.css*
Disallow: /*.txt$
Disallow: /*.config$
Allow: /*.xml$
Sitemap: http://www.duplexpisos.com/yahoo_sitemap.txt
# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
# Bots varios
# ia_archiver: bot de Alexa
# No permitir el archivado en Alexa del site
User-agent: ia_archiver
Disallow: /