Google ha reorganizado por completo su documentación sobre crawlers y fetchers activados por el usuario. Antes, todo estaba en una sola página y ahora se ha distribuido en varias páginas. La mayoría de los cambios fueron simplemente mover contenido, pero Google añadió secciones para mostrar qué producto afecta cada crawler y añadió un snippet de robots.txt para cada crawler, demostrando cómo usar los tokens de agente de usuario.
Google escribió: “La documentación se hizo muy extensa, lo que limitaba nuestra capacidad para ampliar el contenido sobre nuestros crawlers y fetchers activados por el usuario”, por lo que decidieron reorganizarla.
Si exploras cada crawler, como por ejemplo Googlebot, verás dos nuevas secciones:
- Productos afectados.
- Ejemplo de grupo en robots.txt.
Aquí hay una captura de pantalla de ejemplo, pero lo que está resaltado en rojo se añadió para cada crawler:
Google actualiza docs de crawlers y fetchers SEO
Cada crawler afecta a diferentes productos de esta manera:
- Googlebot: Las preferencias de rastreo dirigidas al agente de usuario Googlebot afectan a Google Search (incluyendo Discover y todas las funciones de Google Search), así como a otros productos como Google Imágenes, Google Vídeo, Google News y Discover.
- Googlebot Image: Las preferencias de rastreo dirigidas al agente de usuario Googlebot-Image afectan a Google Imágenes, Discover, Google Video, y todas las funciones de Google Search donde se presentan imágenes, logotipos y favicons.
- Googlebot Video: Las preferencias de rastreo dirigidas al agente de usuario Googlebot-Video afectan a las funciones de búsqueda de Google relacionadas con vídeos y otros productos dependientes de vídeos.
- Googlebot News: Las preferencias de rastreo dirigidas al agente de usuario Googlebot-News afectan a todas las superficies de Google News (por ejemplo, la pestaña News en Google Search y la app de Google News).
- Google StoreBot: Las preferencias de rastreo dirigidas al agente de usuario Storebot-Google afectan a todas las superficies de Google Shopping (por ejemplo, la pestaña Shopping en Google Search y Google Shopping).
- Google-InspectionTool: Las preferencias de rastreo dirigidas al agente de usuario Storebot-Google afectan a las herramientas de prueba de búsqueda como el Rich Result Test y la inspección de URL en Search Console. No afecta a Google Search u otros productos.
- GoogleOther: Las preferencias de rastreo dirigidas al agente de usuario GoogleOther no afectan a ningún producto específico. GoogleOther es el crawler genérico que puede ser utilizado por varios equipos de productos para obtener contenido accesible públicamente de sitios. Por ejemplo, puede ser usado para rastreos únicos para investigación y desarrollo interno. No tiene efecto en Google Search u otros productos.
- GoogleOther-Image: Similar a GoogleOther, GoogleOther-Image es la versión optimizada para obtener URLs de imágenes accesibles públicamente.
- GoogleOther-Video: Similar a GoogleOther, GoogleOther-Video es la versión optimizada para obtener URLs de vídeos accesibles públicamente.
- Google-CloudVertexBot: Afecta los rastreos solicitados por los propietarios de sitios para construir agentes de Vertex AI. No tiene efecto en Google Search u otros productos.
- Google-Extended: Es un token de producto independiente que los editores web pueden usar para gestionar si sus sitios ayudan a mejorar las aplicaciones de Gemini y las APIs generativas de Vertex AI, incluidas futuras generaciones de modelos que impulsan esos productos. No afecta la inclusión o clasificación de un sitio en Google Search.
- APIs-Google: Afecta la entrega de mensajes de notificación push por Google APIs.
- AdsBot Mobile Web: Afecta la capacidad de Google Ads para verificar la calidad de los anuncios en la página web.
- AdsBot: Afecta la capacidad de Google Ads para verificar la calidad de los anuncios en la página web.
- AdSense: Afecta a Google AdSense. El crawler de AdSense visita sitios participantes para proporcionarles anuncios relevantes.
- Google-Safety: Maneja rastreos específicos de abuso, como la detección de malware para enlaces publicados públicamente en propiedades de Google. No se ve afectado por las preferencias de rastreo.
- Feedfetcher: Se utiliza para rastrear feeds RSS o Atom para Google News y PubSubHubbub.
- Google Publisher Center: Recopila y procesa feeds que los editores suministran explícitamente para ser usados en las páginas de inicio de Google News.
- Google Read Aloud: Al recibir una solicitud del usuario, Google Read Aloud obtiene y lee páginas web usando texto a voz (TTS).
- Google Site Verifier: Obtiene tokens de verificación de Search Console.
Google escribió:
“Reorganizamos la documentación para los crawlers de Google y los fetchers activados por el usuario. También añadimos notas explícitas sobre qué producto afecta cada crawler y añadimos un snippet de robots.txt para cada crawler para demostrar cómo usar los tokens de agente de usuario. No hubo cambios significativos en el contenido.”
Google también añadió información sobre las codificaciones de contenido (compresiones) compatibles con los crawlers y fetchers activados por el usuario de Google. Este es solo un cambio en la documentación, sin cambios en el comportamiento. Además, Google actualizó la URL en la cadena de agente de usuario HTTP de GoogleProducer en la documentación para los fetchers activados por el usuario de Google para que coincida con el valor utilizado por el fetcher real.
Conclusión: La actualización en la documentación de crawlers de Google es un paso importante para una mejor comprensión del comportamiento y los efectos de cada crawler en los productos de Google. Esta reorganización permite a los webmasters y especialistas en SEO ajustar sus estrategias de rastreo y optimización de manera más precisa y efectiva.
