• Articles
• admin

Esta es una publicación de blog en dos páginas (grandes): sitios en vivo y de prueba:

Parte 1: Cómo Verificar si Google ha Indexado Su Sitio en Vivo

Parte 2: Cómo Verificar Si Google ha Indexado Su Sitio de Prueba/Prueba

¿saber si Google ha indexado mi sitio en vivo?

Hay dos formas sencillas de averiguarlo:

Use el operador site: query

Busque su dominio en Google de la siguiente manera: site:organicdigital.co
Si su sitio está indexado, verá una lista de páginas:

Si no se devuelven resultados, es posible que tenga problemas:

Nota: en sitios más grandes, si bien verá una aproximación de cuántas páginas están indexadas, solo podrá ver alrededor de 300 de ellas en las SERPs.

Consulte la Sección de Cobertura de Google Search Console

Cada sitio web debe tener una cuenta GSC, es, en mi opinión, la mejor herramienta que un propietario de sitio o SEO puede usar y ofrece una gran cantidad de información sobre la visibilidad orgánica y el rendimiento de su sitio. Si no tiene uno, diríjase a la página oficial de GSC, si lo tiene, vaya a la sección de Cobertura donde puede ver un desglose de:

• Errores encontrados al rastrear páginas
• Páginas bloqueadas
• Páginas indexadas válidas
• Páginas excluidas

Si su sitio tiene problemas, se informarán en «error» o «excluido», y puede averiguar las razones por las que no se incluyen en la búsqueda, como por ejemplo:

• Página alternativa con etiqueta canónica adecuada
• Rastreada-actualmente no indexada
• Duplicada sin etiqueta canónica seleccionada por el usuario
• Excluida por etiqueta ‘noindex’
• Anomalía de rastreo
• No encontrada (404)

Si las páginas de su sitio no aparecen en la sección «válida», es posible que tenga problemas.

Use la función de inspección de URL en GSC

Si algunas páginas están indexadas y otras no, también puede usar la herramienta de inspección de URL para ver si Google puede rastrear e indexar una página específica – o si hay otros problemas que impiden que aparezca en la búsqueda, esto se encuentra en el menú superior y le permitirá verificar una URL a la vez:

Si su página está indexada, le dará los detalles de la siguiente manera:

Si no, obtendrá este estado que muestra cuándo Google ha intentado rastrear la página y una idea de por qué no está indexada:

¿Por qué Google no Rastrea ni Indexa Mis Páginas?

Generalmente hay dos razones por las que una página no se puede rastrear ni indexar. Estos son particularmente comunes cuando se ha lanzado o migrado un nuevo sitio y se han transferido las configuraciones del entorno de desarrollo.

Los robots.Directiva de rechazo txt

Aquí es donde los robots bloquean el rastreo del sitio, un directorio o una página.archivo txt.

Cada sitio debe tener un robot.archivo txt, se utiliza para dar directivas a los motores de búsqueda en cuanto a qué secciones de su sitio deben y no deben rastrearse.

Si tiene uno, lo encontrará en su directorio raíz bajo el nombre robots.txt

https://organicdigital.co/robots.txt

Las directivas, lo que impediría un sitio, directorio o página que se rastrea sería como sigue:

Disallow: /Disallow: /directory/Disallow: /specific_page.html

También puedes usar Screaming Frog para intentar rastrear tu sitio. Si no puede hacerlo, verá los siguientes datos de rastreo:

Hay muchas razones válidas para bloquear los motores de búsqueda que usan esta directiva, pero si ve algo en la línea de lo anterior, debe modificarlos para permitir el rastreo de su sitio.

Cómo Modificar un Robot.Archivo txt Manualmente

Si tiene acceso a FTP o tiene un desarrollador a mano, puede modificar manualmente los robots.archivo txt para eliminar cualquier directiva que esté bloqueando el rastreo de tu sitio.

Generalmente, el siguiente comando hará esto:

User-agent: *Allow: /

Cómo Enmendar un Robot.Archivo txt en WordPress

Si tiene instalado el complemento Yoast, puede editar su archivo directamente a través de la Sección Herramientas -> Editor de archivos – siga este enlace para obtener instrucciones sobre cómo hacerlo.

Cómo Modificar un Robot.Archivo txt en Magento

Vaya a Contenido – > Diseño – > Configuración, haga clic en la Vista de su tienda relevante y edite «Robots de motores de búsqueda»

La Meta Etiqueta de robots se establece en Noindex y / o Nofollow

Además de los robots.archivo txt, también puede verificar la meta etiqueta de robots dentro del código fuente de su sitio y asegurarse de que no impide que los motores de búsqueda se rastreen.

Si comprueba su código fuente, si no ve una etiqueta meta de robots, o si está configurada en «index » o» index,follow», entonces este no es el problema. Sin embargo, si ves que dice «noindex», esto significa que tu página se puede rastrear pero no se indexará:

De nuevo, puedes usar Screaming Frog para comprobar el estado de las etiquetas de los robots en tu sitio. Si tu etiqueta está configurada en noindex, nofollow no irá más allá de la página de inicio:

Si se acaba de configurar en noindex, todo el sitio puede rastrearse pero no indexarse:

Cómo modificar manualmente el archivo de Meta Etiquetas de Robots

De nuevo, acceda a la página/plantilla de su sitio directamente y reemplace/agregue la siguiente etiqueta:

<meta name="robots" content="index, follow">

Cómo modificar la Metaetiqueta de Robots en WordPress

Hay dos maneras de hacer esto: si el problema es en todo el sitio, lea la configuración de ir a> y asegúrese de que la opción «Desalentar a los motores de búsqueda de indexar este sitio» no esté marcada:

Puede que esté equivocado, pero creo que la única forma en que una página o publicación específica se puede configurar como index o noindex si está utilizando Yoast, así que vaya a página / publicación y verifique la siguiente configuración al pie de la página:

Cómo modificar la meta Etiqueta de robots en Magento

Como antes, vaya a Contenido – > Diseño – > Configuración, haga clic en la Vista de su tienda relevante y modifique la opción desplegable » Robots predeterminados:

Mi Sitio / Páginas Pueden ser Rastreados e Indexados por Google – ¿ Qué sigue?

Una vez que esté satisfecho con sus robots.el archivo txt y la meta etiqueta de robots son correctos, puede volver a usar la herramienta Inspeccionar URL para verificar su página y solicitar que Google rastree e indexe su página:

¡También tengo una cuenta de Webmaster de Bing!

¿Lo sabes? Pensé que era el único. De acuerdo, puedes hacer casi todas las mismas cosas escritas en este artículo en Bing Webmaster Tools que en GSC, así que inspecciona la URL y la indexación de solicitudes:

He Hecho Todo Esto y Mi Sitio / Páginas Aún No Están Indexadas.

En cuyo caso, necesita profundizar en la configuración y la funcionalidad de su sitio web para identificar qué otros problemas podría haber. Puedo ayudarte si rellenas el siguiente formulario de contacto.

Parte 2:

Cómo: Compruebe Si Su Sitio de prueba está Indexado Por Google

Solo tres cosas son ciertas en la vida: muerte, impuestos y que su sitio de prueba esté indexado por Google.

Muy rara vez se encuentra con el lanzamiento de un nuevo sitio sin darse cuenta de que el servidor provisional se ha dejado abierto a los bots para que rastreen e indexen.

No es necesariamente el fin del mundo si un motor de búsqueda indexara un sitio de prueba, ya que es bastante fácil de resolver, pero si está ejecutando un entorno de prueba a largo plazo para desarrollar nuevas funcionalidades junto con un sitio en vivo, debe asegurarse de que esté protegido correctamente lo antes posible para evitar problemas de contenido duplicado y para asegurarse de que los seres humanos de la vida real no visiten e interactúen (es decir, traten de comprar algo).

Anteriormente soy desarrollador, y probablemente cometí estos errores yo mismo más de una vez, pero en ese entonces no tenía un SEO que fuera un dolor en el culo todo el tiempo señalando estas cosas (en ese entonces, diseñadores de folletos de la vieja escuela que no entendían la limitación de las tablas y CSS en línea donde el dolor en el culo).

Las siguientes técnicas son métodos probados que he utilizado para identificar estos problemas en la naturaleza, aunque para proteger la identidad de mis clientes y sus desarrolladores, he tomado la decisión desinteresada de configurar un par de sitios de prueba utilizando el contenido de mi propio sitio web para ilustrar lo que necesita hacer, a saber:

test.organicdigital.co
alitis.co.uk
Aunque para cuando leas esto, habré seguido mi propio consejo y quitado esto, necesito toda la visibilidad que pueda obtener, lo último que necesito son sitios de prueba indexados que me frenen.

1) Propiedad de dominio de Google Search Console (GSC)

Una de las mejores cosas de la nueva GSC es que puede configurar propiedades de dominio que le brindan información clave en todos los subdominios asociados con su sitio web, tanto en HTTP como HTTPS. Para configurar esto, simplemente seleccione la opción de dominio al agregar una propiedad (también debe llevar a cabo la tarea potencialmente no tan sencilla de agregar un registro TXT al DNS de su dominio):

Hay una gran cantidad de razones por las que una propiedad de dominio es útil, en este caso es porque si tiene su sitio de prueba configurado en un subdominio y está generando impresiones y clics en la búsqueda, puede detectarlo desde la sección «Rendimiento» filtrando u ordenando sus páginas:

Además, también debe consultar la sección » cobertura–: en algunos casos, Google indexará su contenido:

Mientras que en otros casos, detectarán que tiene contenido duplicado en su lugar, y amablemente se abstendrá de indexar, en cuyo caso lo encontrará en la sección «Duplicar, Google eligió diferentes canónicos que el usuario»:

Incluso si este es el caso, debe esforzarse por asegurarse de que no se arrastra hacia adelante.

2) Compruebe las SERPs de Google Usando Link Clump

Si no tiene acceso a las propiedades de dominio de GSC, o cualquier acceso a GSC (si no, ¿por qué no?) luego puede verificar las SERPs para ver si alguna URL de prueba se ha abierto camino en el índice.

Esta es también una técnica útil al lanzar para nuevos negocios, qué mejor manera de ganarse a un cliente potencial que hacer que su equipo de desarrollo interno o externo parezca que está jugando con la muerte de la visibilidad de búsqueda al permitir que esto suceda en primer lugar, y que usted esté aquí para salvar el día.

Los pasos son los siguientes:

i) instale la extensión LinkClump de Google Chrome, que le permite copiar y pegar varias URL de una página a un lugar más útil como Excel.

ii) Modifique la configuración del Grupo de enlaces de la siguiente manera:

La más importante a tener en cuenta es la Acción «copiado en el portapapeles»: lo último que desea que suceda aquí es abrir hasta cien URL una vez.

iii) Vaya a su TLD de Google favorito (o local), haga clic en «configuración», que debería ver en la parte inferior derecha de la página, y seleccione «configuración de búsqueda», donde puede establecer sus «resultados por página» en 100.

iv) Regrese a la página de inicio de Google y use el operador de consultas» site: «y agregue su dominio. Si usa www o similar, elimine esto – de modo que el comando sea el siguiente:
site:organicdigital.co

Se le presentará una muestra de hasta 300 URL indexadas actualmente por Google en todos los subdominios. Mientras que puedes revisar manualmente cada resultado para detectar sitios deshonestos:

Encuentro mucho más rápido y fácil hacer clic derecho y arrastrar hasta la parte inferior de la página. Sabrá si el grupo de enlaces funciona, ya que verá lo siguiente cuando se seleccionen y copien enlaces de notas:

Repita esto en las SERPs 2 y 3 si están disponibles, y una vez que las allURLs se peguen en Excel, use ordenar por A-Z para identificar fácilmente su contenido indexado en todos los subdominios relevantes.

3) Búsqueda De Texto Único Para Su Sitio

Los métodos anteriores funcionan si su sitio de prueba está alojado en un dominio en el mismo dominio que su sitio web en vivo. Sin embargo,si su sitio de prueba está ubicado en otro lugar, p. ej. test.webdevcompany.com entonces no funcionarán. En cuyo caso, este o el siguiente método podría ser.

Encuentra algún contenido que creas que es único para tu sitio web, en mi caso, he optado por la línea de correa de: «Mejora la Visibilidad Orgánica y el Tráfico de tu sitio web», luego busca esto entre comillas. Si un sitio de prueba que contiene este contenido ha sido indexado, esta búsqueda debería revelarlo:

Como puede ver, aparecen las páginas de inicio en el sitio principal, el subdominio de prueba y el dominio de prueba separado. También puedes detectar inadvertidamente a un competidor que ha robado tu contenido. Algunos lo tomarían como un cumplido, otros emitirían DMCA, depende de ti, pero lo último que quieres es que alguien te supere con tu propia copia.

4) Rastree el Sitio Usando Screaming Frog

Supongo que le gusta el SEO y, por lo tanto, use Screaming Frog. Si cualquiera de esas respuestas es no, entonces bien hecho por llegar tan lejos en este artículo (déjame adivinar, eres un desarrollador que se le cayó un huevo y busca cubrirte el culo antes de que alguien más se entere?).

Si no lo tiene, descárguelo aquí.

Dentro de la Configuración Básica, marca «Rastrear todos los Subdominios». También puede marcar » Seguir ‘nofollow ‘ interno», ya que algunos entornos de prueba pueden tener esto en su lugar.

Una vez que se complete el rastreo, revise la lista para ver si hay enlaces internos a sitios de prueba. Me encontré con esto recientemente, donde un nuevo sitio de Drupal había entrado en funcionamiento, pero con todos los enlaces internos dentro de las publicaciones del blog que apuntan a un subdominio beta:

A continuación, puede hacer clic en cada URL de prueba y hacer clic en Enlaces de entrada en la parte inferior para encontrar el enlace interno ofensivo desde el sitio de live to test. En este caso, modificé el enlace de contacto en el mapa del sitio para que apuntara a la URL de prueba:

Una vez vistos, enmiende y vuelva a rastrear hasta que no haya más enlaces internos que lleven a los visitantes a otro lugar. Si está utilizando WordPress, use un complemento de búsqueda / reemplazo para encontrar todos los testigos y reemplazarlos con el vivo.

5) Compruebe los nombres de host de Google Analytics

Si su sitio de prueba tiene instalado el mismo código de rastreo de cuenta de Google Analytics que su sitio en vivo, podrá detectarlo con una sección como «Comportamiento» – > «Contenido del sitio» – > «Todas las páginas» y seleccione «Nombre de host» como dimensión secundaria:

Además de esto, también puede filtrar los datos aún más excluyendo del informe todas las visitas al dominio principal, lo que dejará a todas las demás instancias en la lista. Además de los sitios de prueba, también puede descubrir el spam GA que se activa en un sitio de 3 partes:

Hay pros y contras de tener el mismo IDrunning de seguimiento GA en sus entornos en vivo y de prueba, pero personalmente, veo que no es necesario tener cuentas separadas y, en su lugar, crearía varias vistas dentro de su cuenta. Para el sitio en vivo,configure un filtro para que solo incluya el tráfico al nombre de host en vivo y vice versafor al sitio de prueba.

Cómo Eliminar y Evitar que su Sitio de prueba Se Indexe

Para que haya descubierto su sitio de prueba en el índice utilizando una de las técnicas anteriores, o para asegurarse de que no suceda en el primer lugar. Lo siguiente te ayudará con esto:

1) Elimina URL a través de GSC

Si tu sitio está indexado, ya sea que esté generando tráfico o no, es mejor eliminarlo. Para ello, puede utilizar la sección » Eliminar URLs «del GSC» antiguo».

Tenga en cuenta que esto no funcionará a nivel de propiedad de dominio, ya que no se atendía en las GSC antiguas. Para hacer esto, debe configurar una propiedad para el dominio de prueba individual.

Una vez configurado, «Ir a la versión anterior «y vaya a»Índice de Google «->»Eliminar URL». Desde aquí, seleccione «TemporarilyHide» e ingrese una barra diagonal única como la URL que desea bloquear, que enviará todo su sitio para eliminarlo:

Esto eliminará su sitio de las SERPs durante 90 días, para asegurarse de que no regrese, debe tomar medidas adicionales. Una de las siguientes acciones será suficiente (y debe llevarse a cabo independientemente de si puede eliminarla a través de GSC)

2) Establecer la etiqueta de robots en noindex en el sitio de prueba

Pida a sus desarrolladores que se aseguren de que,al ejecutarse en el dominio de prueba, cada página del sitio genere una etiqueta de noindex de robots:

<meta name="robots" content="noindex" />

Si su sitio es WordPress, puede configurarlo a través de» Configuración «- > «Lectura» y seleccionando «Desalentar a los motores de búsqueda de indexar este sitio»:

Sea cual sea el código o la configuración que use para evitar que el sitio de prueba se indexe, debe asegurarse de que no se migre al sitio en vivo cuando el contenido o la funcionalidad nuevos se activen. La configuración del sitio de prueba en vivo es una de las vías de fuego más comunes y seguras para estropear la visibilidad de su sitio en vivo.

3) Proteja con contraseña su Sitio de prueba

Desde su panel de control web o a través del servidor, proteja con contraseña el directorio en el que reside su sitio de prueba. Hay numerosas maneras de hacer esto: la mejor apuesta es pedirle a su empresa de alojamiento o desarrolladores que lo configuren, o hay muchos recursos buenos que le mostrarán cómo hacerlo, como:

https://one-docs.com/tools/basic-auth

Una vez bloqueado, debería ver un cuadro de alerta al intentar acceder a su sitio de prueba:

https://alitis.co.uk/

Esto evitará que los motores de búsqueda rastreen e indexen el sitio.

4) Eliminar el sitio y devolver el estado de la página 410

Si ya no necesita su sitio de prueba, puede simplemente eliminarlo. Cuando los motores de búsqueda intenten visitar páginas en tiempo real más largo, verán que las páginas se eliminan. De forma predeterminada, una página rota devolverá status404 («No encontrada»): si bien esto hará que el sitio sea desindexado a tiempo, tardará un tiempo, ya que habrá visitas de seguimiento para ver si la página rota ha regresado.

En su lugar, establezca el estado en 410 («Desaparecido permanentemente»), que devolverá el siguiente mensaje:

Para hacer esto en todo un dominio, elimine el sitio y deje el .archivo htaccess en su lugar con el siguiente comando:

Redirect 410 /

Esto asegurará que el sitio sea desindexado en la primera vez que lo solicite (o al menos más rápido que un 404)

5) Bloquear a través de robots.txt

Puede bloquear el rastreo del sitio implementando los siguientes comandos en los robots del sitio de prueba.archivo txt:

User-agent: *Disallow: /

Esto evitará que los bots rastreen el sitio. Nota: si su sitio de prueba está indexado actualmente y ha seguido la ruta de agregar etiquetas noindex al sitio, no agregue los robots.comando txt hasta que todas las páginas hayan sido desindexadas. Si agrega esto antes de que todas las páginas se hayan desindexado, esto evitará que se rastreen y se detecte la etiqueta de robots, por lo que las páginas permanecerán indexadas.

Y eso es todo, espero que lo anterior sea suficiente para que encuentre, desindexe y evite que su prueba se rastree nunca más.

Pero recuerde

No puedo enfatizar esto lo suficiente – si decide implementar meta etiquetas bots o robots.txt, que impide que todos los bots rastreen e indexen su sitio de prueba, asegúrese de que cuando ponga su sitio de prueba en vivo no lleve estas configuraciones al sitio en vivo, ya que correrá el riesgo de perder su visibilidad orgánica por completo.

Y todos hemos estado allí, ¿verdad?