La red está llena de información. Si desea saber algo, probablemente pueda encontrar la información en línea. Pero, ¿Cómo encuentra la respuesta que desea cuando la Web contiene miles de millones de páginas? ¿Cómo sabes dónde buscar?
Afortunadamente, tenemos motores de búsqueda que buscan cosas por nosotros. Pero, ¿Cómo saben los motores de búsqueda dónde buscar? ¿Cómo pueden los motores de búsqueda recomendar determinadas páginas por encima de los billones? La respuesta está en los rastreadores.
Los rastreadores web son programas informáticos que escanean la web y «leen» todo lo que encuentran. Los rastreadores también se conocen como arañas, robots e indexadores automáticos. Estos bots escanean páginas web para ver qué palabras contienen y dónde se usan. El rastreador transforma sus hallazgos en un dedo índice gigante. El índice es básicamente una gran lista de palabras y las páginas web que las incluyen. Entonces, cuando le pides a un motor de búsqueda páginas sobre hipopótamos, el motor de búsqueda verifica su índice y te da una lista de páginas que mencionan hipopótamos. Los rastreadores escanean la web con regularidad para tener siempre un índice web actualizado.
Las implicaciones en SEO de los rastreadores web
Ahora que sabe cómo funciona un rastreador web, puede ver que su comportamiento tiene implicaciones sobre cómo optimizar su sitio web.
Con respecto al SEO, por ejemplo, puede ver que si vende paracaídas, es importante que escriba sobre paracaídas en su sitio web. Si no escribe sobre paracaídas, los motores de búsqueda nunca ofrecerán su sitio web a las personas que buscan paracaídas.
También es importante tener en cuenta que los rastreadores no solo prestan atención a las palabras que encuentran, sino que también rastrean dónde están las palabras. Por lo tanto, el rastreador sabe que una palabra en los encabezados, metadatos y primeras oraciones probablemente sea más importante en el contexto de la página, y que las palabras clave en ubicaciones principales sugieren que la página es realmente ‘sobre’ esas palabras clave.
Entonces, como estrategia de marketing digital es fundamental que los motores de búsqueda sepan que los paracaídas son de gran importancia en su sitio web, menciónelos en sus encabezados, metadatos y frases de apertura.
El hecho de que los rastreadores web rastreen regularmente la web para asegurarse de que su índice esté actualizado también sugiere que tener contenido nuevo en su sitio web también es algo bueno.
Los rastreadores no pueden encontrar todo el contenido
Los rastreadores son programas muy simples. Comienzan con una lista de enlaces para rastrear y luego siguen los enlaces que encuentran. Suena simple, ¿verdad? Bueno, sí, hasta que llegan a páginas complejas con contenido dinámico. Piense en los resultados de búsqueda del sitio, el contenido Flash, los formularios, las animaciones y otros recursos dinámicos. Hay muchas razones por las que un rastreador no vería su sitio web de la misma manera que lo hacen sus visitantes humanos.
De hecho, muchas empresas toman medidas para asegurarse de que los rastreadores «vean» todo el contenido disponible. Esto es especialmente un problema para los sitios web con mucho contenido dinámico que solo puede ser visible después de una búsqueda.
Aquí puede ver cómo se puede usar Google Search Console para comprender cuántas de sus páginas están indexadas, qué páginas se prohibieron y por qué, así como los errores o advertencias que se detectaron al rastrear su sitio web.
El papel de robots.txt
Para dar instrucciones a los rastreadores web existe un archivo llamado robots.txt. Puede pedirle a los robots web que ignoren su sitio web u omitan ciertas secciones. También puede ayudar al rastreador a llegar a todas las partes de su sitio web, especialmente si tiene un sitio web complejo o dinámico.
Índice del motor de búsqueda
Una vez que el rastreador encuentra información al rastrear la web, el programa crea el índice. El índice es básicamente una gran lista de todas las palabras que ha encontrado el rastreador, junto con sus ubicaciones.
Por qué la indexación es solo el comienzo …
Para dar respuestas relevantes a sus consultas de búsqueda, los motores de búsqueda deben interpretar los enlaces en su índice. Los motores de búsqueda utilizan algoritmos, que son básicamente ecuaciones complejas, para «puntuar» el valor o la calidad de los enlaces en su índice.
Por lo tanto, cuando busque «paracaídas», el motor de búsqueda considerará cientos de factores al decidir qué sitios web mostrarle.
Los factores considerados por los motores de búsqueda incluyen:
- Cuando se publicó la página
- Si la página incluye texto, imágenes y video
- La calidad del contenido
- Qué tan bien coincide el contenido con las solicitudes de los usuarios
- Qué tan rápido se carga el sitio web
- Cuántos enlaces de otros sitios web apuntan a contenido
- Cuántas personas compartieron el contenido en línea …
…y mucho más. Google considera más de 200 factores al ofrecer resultados de búsqueda.
Desindexado por Google
Google no quiere recomendar sitios web desagradables, por lo que si participa en una serie de prácticas de spam, puede ser penalizado desindexando su sitio web. ¿Qué significa? Esto significa que su sitio web ya no aparecerá en el índice de Google y, por lo tanto, su sitio web ya no aparecerá en los resultados de búsqueda de Google. Como puede imaginar, este es un escenario catastrófico para cualquier empresa que tenga presencia en línea.
