# ==========================================
# 1. REGLAS PARA MOTORES DE BÚSQUEDA GENERALES
# ==========================================
User-agent: *
Crawl-delay: 2
 
# Directorios internos y sensibles
Disallow: /wp-admin/
Disallow: /wp-json/
Disallow: /trackback/
Disallow: /xmlrpc.php
 
# Archivos sensibles
Disallow: /.env
Disallow: /.git/
Disallow: /wp-config.php
Disallow: /wp-cron.php
Disallow: /error_log
Disallow: /debug.log
 
# Feeds (evita contenido duplicado)
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /*/feed/
Disallow: /*/feed/$
Disallow: /*/comments/feed/
 
# Búsquedas internas
Disallow: /?s=
Disallow: /*?s=
Disallow: /search/
 
# ==========================================
# WOOCOMMERCE — PARÁMETROS DE FILTROS Y FACETS
# ==========================================
# Fuente: github.com/woocommerce/woocommerce — class-wc-query.php,
# class-wc-widget-layered-nav.php, class-wc-widget-price-filter.php,
# class-wc-widget-rating-filter.php (verificado en código fuente)
#
# PARÁMETROS DEL CORE DE WOOCOMMERCE
# filter_[atributo] → filtro de atributo layered nav (p.ej. filter_color, filter_size)
# query_type_[atributo] → tipo de consulta AND/OR del filtro de atributo
# min_price / max_price → rango de precios (widget Price Filter)
# rating_filter → filtro por valoración (widget Rating Filter)
# orderby → ordenación del catálogo
# paged / page → paginación interna WooCommerce
# add-to-cart → acción añadir al carrito (genera URLs duplicadas)
# add_to_wishlist → acción añadir a lista de deseos
#
# NOTA: No bloquees /shop/, /product-category/ ni /product/ —
# son las páginas de valor SEO que sí quieres indexadas.
 
# Filtros de atributos (layered nav — WooCommerce core)
Disallow: /*?filter_
Disallow: /*&filter_
 
# Tipo de consulta del filtro (AND/OR)
Disallow: /*?query_type_
Disallow: /*&query_type_
 
# Filtro de precio
Disallow: /*?min_price=
Disallow: /*&min_price=
Disallow: /*?max_price=
Disallow: /*&max_price=
 
# Filtro de valoración
Disallow: /*?rating_filter=
Disallow: /*&rating_filter=
 
# Ordenación del catálogo
Disallow: /*?orderby=
Disallow: /*&orderby=
 
# Paginación (genera duplicados)
Disallow: /*?paged=
Disallow: /*&paged=
Disallow: /*?page=
Disallow: /*&page=
 
# Acciones de carrito y wishlist (URLs no indexables)
Disallow: /*?add-to-cart=
Disallow: /*?add_to_wishlist=
 
# WooCommerce — páginas privadas del cliente
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /wp-login.php
 
# Recursos esenciales para rastreo y diseño
Allow: /wp-admin/admin-ajax.php
 
# ==========================================
# 2. BOTS DE IA — BLOQUEO SELECTIVO
# ==========================================
# Solo se listan aquí bots VERIFICADOS que respetan robots.txt.
# Los que lo ignoran van únicamente en .htaccess.
#
# ESTRATEGIA:
#   - Bloqueamos bots de ENTRENAMIENTO (usan tu contenido para entrenar modelos)
#   - Permitimos bots de BÚSQUEDA/CITACIÓN (los que hacen que te nombren en respuestas IA)
#
# Para permitir que un bot te cite, simplemente no lo listes aquí.
# El bloque User-agent: * de la sección 1 ya les aplica las restricciones de directorios.
 
# --- ANTHROPIC ---
# Fuente: support.anthropic.com, actualizado 20 feb 2026
# ClaudeBot       → entrenamiento de modelos            → BLOQUEADO
# Claude-User     → fetch a petición del usuario        → PERMITIDO (no listado)
# Claude-SearchBot → indexación para resultados Claude  → PERMITIDO (no listado)
# Nota: Claude-Web y anthropic-ai son UAs deprecados pero aún pueden aparecer en logs
User-agent: ClaudeBot
Disallow: /
 
User-agent: Claude-Web
Disallow: /
 
User-agent: anthropic-ai
Disallow: /
 
# --- OPENAI ---
# Fuente: platform.openai.com/docs/bots
# GPTBot        → entrenamiento de modelos              → BLOQUEADO
# OAI-SearchBot → indexación para ChatGPT Search        → PERMITIDO (no listado)
# ChatGPT-User  → fetch a petición del usuario          → PERMITIDO (no listado)
User-agent: GPTBot
Disallow: /
 
# --- GOOGLE ---
# Fuente: developers.google.com/search/docs/crawling-indexing/google-common-crawlers
# Google-Extended      → entrenamiento Gemini/Vertex    → BLOQUEADO
# GoogleOther          → uso interno de Google          → BLOQUEADO (sin valor para ti)
# Google-CloudVertexBot → entrenamiento Vertex AI       → BLOQUEADO
# Googlebot            → indexación búsqueda clásica    → PERMITIDO (no listado)
User-agent: Google-Extended
Disallow: /
 
User-agent: GoogleOther
Disallow: /
 
User-agent: Google-CloudVertexBot
Disallow: /
 
# --- APPLE ---
# Applebot-Extended → entrenamiento Apple Intelligence  → BLOQUEADO
# Applebot          → indexación Spotlight/Siri         → PERMITIDO (no listado)
User-agent: Applebot-Extended
Disallow: /
 
# --- META ---
# Fuente: developers.facebook.com/docs/sharing/webmasters/web-crawlers (verificado)
# meta-webindexer    → búsqueda Meta AI, cita contenido → BLOQUEADO (decides tú)
# meta-externalagent → entrenamiento modelos Meta       → BLOQUEADO
# meta-externalads   → publicidad y productos negocio   → BLOQUEADO
# meta-externalfetcher → fetch usuario, IGNORA robots.txt → va en .htaccess
# facebookexternalhit → previews links, PUEDE ignorar robots.txt → va en .htaccess
# FacebookBot        → entrenamiento Meta AI, respeta robots.txt → BLOQUEADO
User-agent: meta-webindexer
Disallow: /
 
User-agent: meta-externalagent
Disallow: /
 
User-agent: meta-externalads
Disallow: /
 
User-agent: FacebookBot
Disallow: /
 
# --- PERPLEXITY ---
# Fuente: docs.perplexity.ai/docs/resources/perplexity-crawlers
# PerplexityBot   → indexación search Perplexity        → BLOQUEADO (decides tú)
# Perplexity-User → fetch usuario, IGNORA robots.txt    → va en .htaccess
User-agent: PerplexityBot
Disallow: /
 
# --- COHERE ---
User-agent: cohere-ai
Disallow: /
 
User-agent: cohere-training-data-crawler
Disallow: /
 
# --- AMAZON ---
User-agent: Amazonbot
Disallow: /
 
# --- DUCKDUCKGO ---
User-agent: DuckAssistBot
Disallow: /
 
# --- YOU.COM ---
User-agent: YouBot
Disallow: /
 
# --- MISTRAL ---
User-agent: MistralBot
Disallow: /
 
# --- xAI (GROK) ---
User-agent: xAI-Bot
Disallow: /
 
# --- DEEPSEEK ---
User-agent: DeepSeekBot
Disallow: /
 
# --- HUGGING FACE ---
User-agent: HuggingFaceBot
Disallow: /
 
# --- ALLEN INSTITUTE FOR AI ---
User-agent: Ai2Bot
Disallow: /
 
# --- HUAWEI PETAL SEARCH ---
# Fuente: aspiegel.com/petalbot — respeta robots.txt (verificado)
User-agent: PetalBot
Disallow: /
 
# --- COMMON CRAWL ---
# Fuente: commoncrawl.org/faq — respeta robots.txt (verificado)
User-agent: CCBot
Disallow: /
 
# --- BYTESPIDER (BYTEDANCE) ---
# NOTA: Va también en .htaccess. Tiene bug documentado con bloques agrupados
# pero respeta bloque individual. Segunda capa en .htaccess por comportamiento agresivo.
User-agent: Bytespider
Disallow: /
 
# --- OTROS SCRAPERS CON POLÍTICA CONOCIDA ---
User-agent: DataForSeoBot
Disallow: /
 
User-agent: SemrushBot
Disallow: /
 
User-agent: SemrushBot-BA
Disallow: /
 
User-agent: SemrushBot-SI
Disallow: /
 
User-agent: SemrushBot-SWA
Disallow: /
 
User-agent: TurnitinBot
Disallow: /
 
User-agent: Omgili
Disallow: /
 
User-agent: omgilibot
Disallow: /
 
User-agent: magpie-crawler
Disallow: /
 
User-agent: img2dataset
Disallow: /
 
User-agent: FriendlyCrawler
Disallow: /
 
User-agent: Timpibot
Disallow: /
 
User-agent: PiplBot
Disallow: /
 
User-agent: YandexAdditional
Disallow: /
 
User-agent: Sidetrade
Disallow: /
 
User-agent: peer39_crawler
Disallow: /
 
User-agent: VelenPublicWebCrawler
Disallow: /
 
User-agent: ICC-Crawler
Disallow: /
 
User-agent: Awario
Disallow: /
 
User-agent: Cotoyogi
Disallow: /
 
User-agent: EchoboxBot
Disallow: /
 
User-agent: ExaBot
Disallow: /
 
User-agent: Factset_spyderbot
Disallow: /
 
User-agent: ImagesiftBot
Disallow: /
 
User-agent: LAIONDownloader
Disallow: /