# See https://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file # Google Adsbot: carta blanca para todo User-agent: AdsBot-Google Allow: / User-agent: AdsBot-Google-Mobile Allow: / # Hubspot: carta blanca para todo User-agent: HubSpot Crawler Allow: / # ClaudeBot ya NO lleva grupo propio (decisión de dirección 11-sep, Trello: # eWMiv6rw, "opción 3 - todo menos la trampa"): entra en el resto del sitio # igual que Claude-User/Claude-SearchBot, cayendo en el bloque genérico de # abajo con sus mismos Disallow (incluidos los de open_dialog/parent_de que # antes generaban el rastreo combinatorio). Solo se bloquea a nivel de # Cloudflare cuando pide esas URLs concretas (custom rule por zona - el # número de regla varía según el dominio - ver infra#279). # Applebot-Extended solo existe como token de robots.txt (no hace peticiones): # es el opt-out del entrenamiento de IA de Apple. NO tocar "Applebot" a secas, # que es el crawler de Siri y Spotlight y sí nos interesa. User-agent: Applebot-Extended Disallow: / # GPTBot (OpenAI) y Google-Extended (opt-out de Gemini/Vertex, sin crawler # propio) generan tráfico marginal frente a ClaudeBot: decisión de dirección # 8-sep de abrirlos ya, sin esperar a las 72h de ClaudeBot. Trello: eWMiv6rw # Los bots de IA que SÍ nos citan y enlazan (Claude-User, Claude-SearchBot, # ChatGPT-User, OAI-SearchBot, PerplexityBot) NO llevan grupo propio a # propósito: caen en el bloque genérico de abajo y respetan las mismas # restricciones que el resto de crawlers. Darles un grupo propio permisivo los # sacaría de él y, con ello, de todos los Disallow (/login, /ajax/, # /usuarios/participaciones/...), que no es lo que queremos. # # NO escribir en estos comentarios la cadena literal del user-agent comodín: # el spec de ENH-RNK-4527 localiza ese bloque con una regex que coge la primera # aparición, y tomaría el comentario por el bloque real. # Resto: sólo URLs buenas User-agent: * Disallow: /*/filtrar/ Disallow: /foros/bolsa/temas/5201193-opiniones-enrique-moris-curso-tradeando-net Disallow: /foros/bolsa/temas/5278576-afectados-formacion-enrique-moris Disallow: /foros/bolsa/temas/6238425-ley-silencio-enrique-moris-gran-vaca-sagrada-que-no-puede-hablar-ni-siquiera-mirar-mal Disallow: /foros/bolsa/temas/6852621-alguien-mas-tenido-problemas-tradeando-qsegura-necesito-apoyo-trading Disallow: /foros/consumo/temas/6277888-afectados-amazon-master Disallow: /foros/consumo/temas/6146204-afectados-por-master-agencia-formacion-digital-s-l Disallow: /foros/masteres-postgrados-certificados/temas/6852629-busco-ayuda-formacion-trading-dejo-deudas-aprender-sola Disallow: /blog/rankia/5889517-defendiendo-libertad-expresion-rankia-demandada-por-enrique-moris-tradeando-net Disallow: /foros/seguros/temas/368854-alta-no-solicitada-seguro-decesos Disallow: /foros/bancos-cajas/temas/27475-tres-detenidos-por-estafar-banco-simeon-1-685-000-euros Disallow: /foros/bancos-cajas/respuestas/27475-fraude-1-685-000-euros-director-oficina-principal-simeon Disallow: /usuarios/participaciones/cagaito?page=8&permalink=9-Eurobank Disallow: /foros/bolsa/temas/1499845-busco-gente-que-conozca-sr-antonio-cardona-trader-opciones-financieras-natural-palmas Disallow: /foros/bolsa/temas/1462537-informacion-asesor-fernando-damian Disallow: /foros/bolsa/temas/1415183-ferrer-invest-advertida-por-cnmv-que-no-esta-autorizada-prestar-asesoramiento-materia-inversion Disallow: /foros/bolsa/temas/638571-opiniones-tortugas-hispanicas Disallow: /foros/bolsa/temas/2844272-alguien-que-conozca Disallow: /login Disallow: /registro Disallow: /registrame # TEMPORAL (TDT-RNK-7322): Google indexó decenas de miles de /registro?… que # generaba el CTA invitador cuando era un enlace, y sin poder rastrearlas no lee # su noindex. Estos Allow se lo dejan leer: Google aplica la regla que coincide # con más caracteres, así que ganan a Disallow: /registro y /*url= (trigger_url) # y a Disallow: /*destino_login=. /login y /registro sin parámetros siguen # bloqueados. Se quitan cuando SEO confirme en Search Console la desindexación. Allow: /registro? Allow: /login?destino_login= Disallow: /ajax/ # API interna de los web components (stock-proxy): responde 503 by-design en cada # cache miss; los crawlers lo cuentan como fallo de rastreo (alarma "Conectividad # del servidor" en GSC). Sin valor SEO — el contenido indexable va por SSR. Disallow: /api/v1/stock-proxy/ Disallow: /*/o9n*.js$ Disallow: /*.json$ Disallow: /blog/*/post-privado/ Disallow: /usuarios/participaciones/*/recomendaciones Disallow: /usuarios/fans/ Disallow: /usuarios/participaciones/ Disallow: /usuarios/mini_perfil/ Disallow: /redirections/ # Acciones que exigen login: a un anónimo le devuelven 302 a /login. Los bots # aplican robots.txt a la URL que piden, no al destino de la redirección, así que # Disallow: /login no cubre nada de esto. Los enlaces son button_to (formularios), # no admiten rel="nofollow". El 13-sep eran ~200.000 redirecciones diarias en # www.rankia.com (bingbot ~77.000, ClaudeBot ~3.900). ENH-INFRA-4731. # El ?responder_tema= del mismo formulario va en parametros_no_permitidos. Disallow: /foros/*/responder Disallow: /*/comentarios/new Disallow: /foros/*/completo Disallow: /foros/*/temas/new Disallow: /*amp%3Apage_ultimos= Disallow: /*channel= Disallow: /*__hsfp= Disallow: /*__hstc= Disallow: /*crossorigin= Disallow: /*destino_login= Disallow: /*notificacion= Disallow: /*open_dialog= Disallow: /*orden= Disallow: /*p1= Disallow: /*page_ultimos= Disallow: /*pageId= Disallow: /*parent_de= Disallow: /*print-article= Disallow: /*q= Disallow: /*ref= Disallow: /*responder_comentario= Disallow: /*responder_tema= Disallow: /*ret= Disallow: /*search%5Btag%5D= Disallow: /*suscribir_id= Disallow: /*tab= Disallow: /*tab[]= Disallow: /*tag= Disallow: /*ticker= Disallow: /*url= Disallow: /*utf8= Disallow: /*utm_source= Disallow: /*ver= # Bloquea /colaboradores pero permite /colaboradores/fulanito (ver https://ahrefs.com/blog/robots-txt/) Disallow: /colaboradores$ User-agent: BLEXBot Disallow: / Sitemap: https://www.rankia.com.ar/sitemap.xml Sitemap: https://www.rankia.com.ar/sitemap-limpieza-registro.xml