Google requiere un archivo robots.txt para indexar una web
4 de marzo de 2010 | 
Autor: Investigando la optimización SEO en páginas web realizadas con DRUPAL he vuelto a encontrar la siguiente afirmación de John Mueller (analista de Google) del 1 de diciembre de 2008:
Si Googlebot no puede acceder al archivo robots.txt (porque por ejemplo el servidor devuelva un código de error 5xx) entonces no va a indexar la página web.
Lo cual significa que si no hay archivo robots.txt, Google no va a indexar la página web.
El comentario está en Google Webmaster Help: “When does link exchange between sites owned by the same company cause a google penalty“. El usuario es JohnMu y la entrada es de 1 dic 2008, 13:21. La entrada está bajando bastante hacia abajo en la conversación.
Si está información te ha parecido interesante, mira también:
- El Pago por Click y el archivo Robots.txt
- Entendiendo el archivo robots.txt
- Factores de éxito para el posicionamiento: Tabla periódica SEO
Publicado en BUSCADORES, GOOGLE, POSICIONAMIENTO
Etiquetas: BUSCADORES, GOOGLE, MARKETING EN INTERNET 2 comentarios para “Google requiere un archivo robots.txt para indexar una web”
Se me ha olvidado añadir lo siguiente al final del post:
Yo tengo mis dudas que esto sea cierto, ya que habitualmente me encuentro con páginas realizadas por otras empresas / personas y muchas de ellas están indexadas en Google, sin tener robots.txt.
Voy a hacer unos cuantos experimentos con este tema. Os mantengo informados.