Google requiere un archivo robots.txt para indexar una web
4 de Marzo de 2010 | 
Autor: Investigando la optimización SEO en páginas web realizadas con DRUPAL he vuelto a encontrar la siguiente afirmación de John Mueller (analista de Google) del 1 de diciembre de 2008:
Si Googlebot no puede acceder al archivo robots.txt (porque por ejemplo el servidor devuelva un código de error 5xx) entonces no va a indexar la página web.
Lo cual significa que si no hay archivo robots.txt, Google no va a indexar la página web.
El comentario está en Google Webmaster Help: “When does link exchange between sites owned by the same company cause a google penalty“. El usuario es JohnMu y la entrada es de 1 dic 2008, 13:21. La entrada está bajando bastante hacia abajo en la conversación.
Entradas relacionadas:
- Tags regionales en resultados de búsqueda de Google
- Resumen breve de los puntos más importantes de SMX EAST
- 8 consejos para escribir mejor código web
- Google ha comenzado a indexar AJAX
- Google ha incluido dos nuevas funcionalidades en sus Webmaster Tools
Publicado en BUSCADORES, GOOGLE, POSICIONAMIENTO
Etiquetas: BUSCADORES, GOOGLE, MARKETING EN INTERNET
Se me ha olvidado añadir lo siguiente al final del post:
Yo tengo mis dudas que esto sea cierto, ya que habitualmente me encuentro con páginas realizadas por otras empresas / personas y muchas de ellas están indexadas en Google, sin tener robots.txt.
Voy a hacer unos cuantos experimentos con este tema. Os mantengo informados.
[...] Google requiere un archivo robots.txt para indexar una web … Tags: internet, marketing, seo, valencia, web Share this post! Twitter Digg Facebook Delicious StumbleUpon Google Bookmarks LinkedIn Technorati Favorites This entry was posted on 4 Marzo 2010 at 13:43 pm, and is filed under Sin categorÃa. Follow any responses to this post through RSS 2.0. You can leave a response or trackback from your own site. [...]