{"id":20831,"date":"2025-10-03T09:37:05","date_gmt":"2025-10-03T07:37:05","guid":{"rendered":"https:\/\/dossetenta.com\/robots-txt-when-to-use-disallow\/"},"modified":"2025-10-03T09:37:05","modified_gmt":"2025-10-03T07:37:05","slug":"robots-txt-when-to-use-disallow","status":"publish","type":"post","link":"https:\/\/dossetenta.com\/en\/robots-txt-when-to-use-disallow\/","title":{"rendered":"Robots.txt without damaging your SEO: when to use Disallow (and when not to)"},"content":{"rendered":"Tiempo de lectura:<\/span> 3<\/span> minutos<\/span><\/span>

\nEl archivo robots.txt<\/b> es uno de los elementos m\u00e1s cr\u00edticos y, parad\u00f3jicamente, m\u00e1s malentendidos del SEO t\u00e9cnico. No es una herramienta de seguridad, ni un mecanismo para desindexar contenido. Es m\u00e1s bien, la hoja de ruta que le entregas a los crawlers<\/i> de Google para optimizar su tiempo. Uno de los errores m\u00e1s comunes (y graves) es utilizar la directiva Disallow<\/b> para intentar ocultar contenido privado o de baja calidad, creyendo que as\u00ed desaparecer\u00e1 de los resultados de b\u00fasqueda. Esta pr\u00e1ctica es un sabotaje directo.\n<\/p>\n

\nPor eso con este post quiero que aprendas a usar la regla Disallow<\/b> como tu mejor aliada para gestionar el Crawl Budget<\/b> (presupuesto de rastreo) y cu\u00e1ndo debes optar por una soluci\u00f3n distinta, como la etiqueta noindex<\/b>, para evitar una indexaci\u00f3n indeseada.\n<\/p>\n

\u00bfQu\u00e9 es el robots.txt y por qu\u00e9 importa (m\u00e1s de lo que crees)?<\/h2>\n

\nPiensa en el fichero robots.txt<\/b> como el portero de discoteca de tu web. Cuando llega el Googlebot, el portero le da una lista de zonas prohibidas. Su objetivo no es esconder nada, sino gestionar el aforo. El principal concepto que entra en juego es el Crawl Budget<\/b> (o Presupuesto de Rastreo). Google no tiene tiempo ilimitado para rastrear cada rinc\u00f3n de tu web, especialmente si tienes miles de URLs.\n<\/p>\n

\nSi obligas a Google a gastar su valioso crawl budget<\/i> rastreando p\u00e1ginas in\u00fatiles (filtros, b\u00fasquedas internas, URLs con par\u00e1metros), estar\u00e1 dejando de lado las que realmente te interesa que indexe y posicionen.\n<\/p><\/blockquote>\n

La regla de oro del Disallow: cu\u00e1ndo S\u00cd usarlo<\/h2>\n

\nEl Disallow<\/b> tiene un uso casi quir\u00fargico: hay que utilizarlo para ahorrarle tiempo a Google<\/b> y dirigirlo hacia el contenido de valor.\n<\/p>\n

Debes usar la directiva Disallow<\/code> cuando:<\/b><\/p>\n

    \n
  1. Quieras optimizar tu crawl budget<\/i><\/b>: Tienes URLs que sabes que Google rastrea, pero que no aportan valor SEO y son generadas autom\u00e1ticamente por tu CMS (por ejemplo, URLs de paginaci\u00f3n antiguas, feeds<\/i> RSS, URLs de staging<\/i> o pruebas, directorios de administraci\u00f3n).<\/li>\n
  2. Manejes contenido duplicado interno sin valor SEO<\/b>: Los sistemas a menudo generan versiones duplicadas de una p\u00e1gina que, aunque no indexen por s\u00ed solas, s\u00ed gastan recursos al ser rastreadas. Bloqueando estos patrones de URL, le dices a Google: “No pierdas el tiempo aqu\u00ed, no hay nada nuevo”.<\/li>\n
  3. Tengas archivos y scripts<\/i> de sistema<\/b>: Bloquea directorios como \/wp-admin\/, scripts<\/i> de testing<\/i> o archivos de configuraci\u00f3n que no aportan nada al usuario ni a Google.<\/li>\n<\/ol>\n

    En resumen: la regla Disallow<\/b> sirve para gestionar el tr\u00e1fico de rastreo<\/b>, no para ocultar secretos.<\/p>\n

    El gran error del Disallow: cu\u00e1ndo NO usarlo (y por qu\u00e9)<\/h2>\n

    \nAqu\u00ed est\u00e1 el quid de la cuesti\u00f3n, el error que lleva a muchos SEOs novatos al borde del colapso: usar Disallow<\/b> para intentar que una p\u00e1gina no se indexe<\/b>.\n<\/p>\n

    \u00a1Alerta!<\/b> Si una p\u00e1gina est\u00e1 en tu robots.txt con un Disallow…<\/p>\n

      \n
    1. Google no la va a rastrear<\/b> (ahorras crawl budget<\/i>).<\/li>\n
    2. Google S\u00cd la puede indexar<\/b> si encuentra un enlace a esa p\u00e1gina desde otro sitio.<\/li>\n<\/ol>\n

      S\u00ed, has le\u00eddo bien. Si Google encuentra un link<\/i> externo (o incluso interno) a una p\u00e1gina bloqueada por la directiva Disallow<\/b>, puede decidir indexarla. Lo peor es que el t\u00edtulo y la descripci\u00f3n ser\u00e1n vagos (a menudo como “Se muestra una descripci\u00f3n para este resultado debido al archivo robots.txt del sitio”). \u00a1Es el efecto contrario al deseado!<\/p>\n

      La soluci\u00f3n real para ocultar contenido<\/h3>\n

      \nSi tu objetivo es que una p\u00e1gina NO APAREZCA EN GOOGLE<\/b> (es decir, que no se indexe), tienes que usar la etiqueta noindex:<\/b>\n<\/p>\n

        \n
      • P\u00e1gina privada, contenido confidencial o landing page<\/i> de pago:<\/b> Usa la etiqueta <meta name=\"robots\" content=\"noindex, follow\"><\/code> dentro del <head> de la p\u00e1gina.<\/li>\n
      • \u00bfLa clave?<\/b> Para que Google lea el noindex, tiene que poder rastrear la p\u00e1gina<\/b>. Por lo tanto, \u00a1nunca debes usar Disallow<\/b> y noindex<\/b> a la vez!<\/li>\n<\/ul>\n

        El uso correcto:<\/b><\/p>\n\n\n\n\n\n\n
        Objetivo<\/th>\nAcci\u00f3n Correcta<\/th>\nD\u00f3nde Aplicarlo<\/th>\n<\/tr>\n<\/thead>\n
        Ahorrar Crawl Budget<\/i><\/b><\/td>\nDisallow<\/b><\/td>\nFichero robots.txt<\/code><\/td>\n<\/tr>\n
        Bloquear indexaci\u00f3n<\/b><\/td>\nNoindex<\/b><\/td>\nC\u00f3digo HTML de la URL<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        La sintaxis, explicada para dummies<\/i><\/h2>\n

        Manejar la sintaxis del Disallow<\/b> es f\u00e1cil si sigues unas reglas. Recuerda que es sensible a may\u00fasculas y min\u00fasculas.<\/p>\n

        1. Bloquear todo el directorio de administraci\u00f3n (el cl\u00e1sico):<\/b><\/p>\n

        \r\nUser-agent: *\r\nDisallow: \/wp-admin\/\r\n<\/pre>\n
        2. Bloquear todas las URLs que contengan un par\u00e1metro de b\u00fasqueda (t\u00edpico en e-commerce<\/i>):<\/b><\/p>\n
        \r\nUser-agent: *\r\nDisallow: \/*?*\r\n<\/pre>\n
        (Usamos el asterisco * como comod\u00edn para cualquier car\u00e1cter)<\/i><\/p>\n
        3. Bloquear solo para un bot espec\u00edfico (ej. Bing):<\/b><\/p>\n
        \r\nUser-agent: Bingbot\r\nDisallow: \/zona-secreta\/\r\n<\/pre>\n
        4. Permitir el acceso a todo (el estado Zen):<\/b><\/p>\n
        \r\nUser-agent: *\r\nDisallow:\r\n<\/pre>\n
        (Dejar la directiva Disallow vac\u00eda)<\/i><\/p>\n
        Pon orden en el tr\u00e1fico de tu web<\/h2>\n
        \nEl robots.txt<\/b> es un archivo potent\u00edsimo. \u00dasalo para lo que fue dise\u00f1ado: gestionar el rastreo. Recuerda: si usas la regla Disallow<\/b> a la ligera, es como si pusieras una valla invisible en tu casa: la gente seguir\u00e1 sabiendo que est\u00e1 ah\u00ed, pero no sabr\u00e1n lo que hay dentro. Si quieres que la gente no sepa que existe<\/b>, usa noindex<\/b>.\n<\/p>\n
        Revisa tu robots.txt hoy mismo, optimiza tu crawl budget<\/b> y aseg\u00farate de que est\u00e1s enviando a Google a las p\u00e1ginas que te har\u00e1n ganar dinero.<\/p>\n
        \u00bfTe ha resultado \u00fatil?<\/b> Si has pillado la diferencia entre Disallow<\/b> y noindex<\/b> y has aprendido a cuidar tu crawl budget<\/i>, \u00a1comp\u00e1rtelo en tus redes!<\/p>\n","protected":false},"excerpt":{"rendered":"
        Tiempo de lectura:<\/span>  3<\/span> minutos<\/span><\/span>El archivo robots.txt es uno de los elementos m\u00e1s cr\u00edticos y, parad\u00f3jicamente, m\u00e1s malentendidos del SEO t\u00e9cnico. No es una herramienta de seguridad, ni un mecanismo para desindexar contenido. Es…<\/p>\n","protected":false},"author":20,"featured_media":20142,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[217],"tags":[],"class_list":["post-20831","post","type-post","status-publish","format-standard","has-post-thumbnail","category-seo-en"],"_links":{"self":[{"href":"https:\/\/dossetenta.com\/en\/wp-json\/wp\/v2\/posts\/20831","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/dossetenta.com\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/dossetenta.com\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/dossetenta.com\/en\/wp-json\/wp\/v2\/users\/20"}],"replies":[{"embeddable":true,"href":"https:\/\/dossetenta.com\/en\/wp-json\/wp\/v2\/comments?post=20831"}],"version-history":[{"count":0,"href":"https:\/\/dossetenta.com\/en\/wp-json\/wp\/v2\/posts\/20831\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/dossetenta.com\/en\/wp-json\/wp\/v2\/media\/20142"}],"wp:attachment":[{"href":"https:\/\/dossetenta.com\/en\/wp-json\/wp\/v2\/media?parent=20831"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/dossetenta.com\/en\/wp-json\/wp\/v2\/categories?post=20831"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/dossetenta.com\/en\/wp-json\/wp\/v2\/tags?post=20831"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}