Como hacer el robots.txt ?
El robots.txt es un archivo de texto (txt) que se debe ubicar en la raíz del sitio, con directrices para cada uno de los buscadores que permiten indicarle que partes del sitio puede o no indexar.
Este archivo es lo primero que visitan los robots de los motores de búsqueda de un sitio.
Un archivo “robots.txt” tiene las siguientes instrucciones:
- User-Agent: Motor de búsqueda al que se le especifican las reglas.
- Disallow: Páginas que no se desean indexar.
- Allow: Páginas que se desean indexar.
Se pueden incluir todas las entradas que se desee así como varias líneas “Disallow” y “User-Agent”.
Ejemplo 1: Si no quieres dar ninguna indicación el archivo “robots.txt” deberia ser:
User-Agent: *
Ejemplo 2: Si quieres que tu sitio no sea indexado por ningún buscador:
User-Agent: *
Disallow: /
Ejemplo 3: No quieres idexar las carpetas “js” y “css”.
User-Agent: *
Disallow: /js/
Disallow: /css/
Ejemplo 4: No quieres que indexe ninguna página de la carpeta “paginas” exepto “indexala.html”.
User-Agent: *
Disallow: /paginas/
Allow: /paginas/indexala.html
Ejemplo 5: Quieres que “indexala.html” solo la indexe Google.
User-Agent: Google
Disallow: /paginas/
Allow: /paginas/indexala.html
User-Agent: *
Disallow: /paginas/
Te invitamos a comunicarte. Consultanos sin compromiso y sacarte cualquier tipo de duda.
Tags: posicionamiento en buscadores, robots.txt