# See https://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file
# Google Adsbot: carta blanca para todo
User-agent: AdsBot-Google
Allow: /
User-agent: AdsBot-Google-Mobile
Allow: /
# Hubspot: carta blanca para todo
User-agent: HubSpot Crawler
Allow: /
# ClaudeBot ya NO lleva grupo propio (decisión de dirección 11-sep, Trello:
# eWMiv6rw, "opción 3 - todo menos la trampa"): entra en el resto del sitio
# igual que Claude-User/Claude-SearchBot, cayendo en el bloque genérico de
# abajo con sus mismos Disallow (incluidos los de open_dialog/parent_de que
# antes generaban el rastreo combinatorio). Solo se bloquea a nivel de
# Cloudflare cuando pide esas URLs concretas (custom rule por zona - el
# número de regla varía según el dominio - ver infra#279).
# Applebot-Extended solo existe como token de robots.txt (no hace peticiones):
# es el opt-out del entrenamiento de IA de Apple. NO tocar "Applebot" a secas,
# que es el crawler de Siri y Spotlight y sí nos interesa.
User-agent: Applebot-Extended
Disallow: /
# GPTBot (OpenAI) y Google-Extended (opt-out de Gemini/Vertex, sin crawler
# propio) generan tráfico marginal frente a ClaudeBot: decisión de dirección
# 8-sep de abrirlos ya, sin esperar a las 72h de ClaudeBot. Trello: eWMiv6rw
# Los bots de IA que SÍ nos citan y enlazan (Claude-User, Claude-SearchBot,
# ChatGPT-User, OAI-SearchBot, PerplexityBot) NO llevan grupo propio a
# propósito: caen en el bloque genérico de abajo y respetan las mismas
# restricciones que el resto de crawlers. Darles un grupo propio permisivo los
# sacaría de él y, con ello, de todos los Disallow (/login, /ajax/,
# /usuarios/participaciones/...), que no es lo que queremos.
#
# NO escribir en estos comentarios la cadena literal del user-agent comodín:
# el spec de ENH-RNK-4527 localiza ese bloque con una regex que coge la primera
# aparición, y tomaría el comentario por el bloque real.
# Resto: sólo URLs buenas
User-agent: *
Disallow: /*/filtrar/
Disallow: /foros/bolsa/temas/5201193-opiniones-enrique-moris-curso-tradeando-net
Disallow: /foros/bolsa/temas/5278576-afectados-formacion-enrique-moris
Disallow: /foros/bolsa/temas/6238425-ley-silencio-enrique-moris-gran-vaca-sagrada-que-no-puede-hablar-ni-siquiera-mirar-mal
Disallow: /foros/bolsa/temas/6852621-alguien-mas-tenido-problemas-tradeando-qsegura-necesito-apoyo-trading
Disallow: /foros/consumo/temas/6277888-afectados-amazon-master
Disallow: /foros/consumo/temas/6146204-afectados-por-master-agencia-formacion-digital-s-l
Disallow: /foros/masteres-postgrados-certificados/temas/6852629-busco-ayuda-formacion-trading-dejo-deudas-aprender-sola
Disallow: /blog/rankia/5889517-defendiendo-libertad-expresion-rankia-demandada-por-enrique-moris-tradeando-net
Disallow: /foros/seguros/temas/368854-alta-no-solicitada-seguro-decesos
Disallow: /foros/bancos-cajas/temas/27475-tres-detenidos-por-estafar-banco-simeon-1-685-000-euros
Disallow: /foros/bancos-cajas/respuestas/27475-fraude-1-685-000-euros-director-oficina-principal-simeon
Disallow: /usuarios/participaciones/cagaito?page=8&permalink=9-Eurobank
Disallow: /foros/bolsa/temas/1499845-busco-gente-que-conozca-sr-antonio-cardona-trader-opciones-financieras-natural-palmas
Disallow: /foros/bolsa/temas/1462537-informacion-asesor-fernando-damian
Disallow: /foros/bolsa/temas/1415183-ferrer-invest-advertida-por-cnmv-que-no-esta-autorizada-prestar-asesoramiento-materia-inversion
Disallow: /foros/bolsa/temas/638571-opiniones-tortugas-hispanicas
Disallow: /foros/bolsa/temas/2844272-alguien-que-conozca
Disallow: /login
Disallow: /registro
Disallow: /registrame
# TEMPORAL (TDT-RNK-7322): Google indexó decenas de miles de /registro?… que
# generaba el CTA invitador cuando era un enlace, y sin poder rastrearlas no lee
# su noindex. Estos Allow se lo dejan leer: Google aplica la regla que coincide
# con más caracteres, así que ganan a Disallow: /registro y /*url= (trigger_url)
# y a Disallow: /*destino_login=. /login y /registro sin parámetros siguen
# bloqueados. Se quitan cuando SEO confirme en Search Console la desindexación.
Allow: /registro?
Allow: /login?destino_login=
Disallow: /ajax/
# API interna de los web components (stock-proxy): responde 503 by-design en cada
# cache miss; los crawlers lo cuentan como fallo de rastreo (alarma "Conectividad
# del servidor" en GSC). Sin valor SEO — el contenido indexable va por SSR.
Disallow: /api/v1/stock-proxy/
Disallow: /*/o9n*.js$
Disallow: /*.json$
Disallow: /blog/*/post-privado/
Disallow: /usuarios/participaciones/*/recomendaciones
Disallow: /usuarios/fans/
Disallow: /usuarios/participaciones/
Disallow: /usuarios/mini_perfil/
Disallow: /redirections/
# Acciones que exigen login: a un anónimo le devuelven 302 a /login. Los bots
# aplican robots.txt a la URL que piden, no al destino de la redirección, así que
# Disallow: /login no cubre nada de esto. Los enlaces son button_to (formularios),
# no admiten rel="nofollow". El 13-sep eran ~200.000 redirecciones diarias en
# www.rankia.com (bingbot ~77.000, ClaudeBot ~3.900). ENH-INFRA-4731.
# El ?responder_tema= del mismo formulario va en parametros_no_permitidos.
Disallow: /foros/*/responder
Disallow: /*/comentarios/new
Disallow: /foros/*/completo
Disallow: /foros/*/temas/new
Disallow: /*amp%3Apage_ultimos=
Disallow: /*channel=
Disallow: /*__hsfp=
Disallow: /*__hstc=
Disallow: /*crossorigin=
Disallow: /*destino_login=
Disallow: /*notificacion=
Disallow: /*open_dialog=
Disallow: /*orden=
Disallow: /*p1=
Disallow: /*page_ultimos=
Disallow: /*pageId=
Disallow: /*parent_de=
Disallow: /*print-article=
Disallow: /*q=
Disallow: /*ref=
Disallow: /*responder_comentario=
Disallow: /*responder_tema=
Disallow: /*ret=
Disallow: /*search%5Btag%5D=
Disallow: /*suscribir_id=
Disallow: /*tab=
Disallow: /*tab[]=
Disallow: /*tag=
Disallow: /*ticker=
Disallow: /*url=
Disallow: /*utf8=
Disallow: /*utm_source=
Disallow: /*ver=
# Bloquea /colaboradores pero permite /colaboradores/fulanito (ver https://ahrefs.com/blog/robots-txt/)
Disallow: /colaboradores$
User-agent: BLEXBot
Disallow: /
Sitemap: https://www.rankia.com.ar/sitemap.xml
Sitemap: https://www.rankia.com.ar/sitemap-limpieza-registro.xml