Definitivamente para hacer buen SEO es necesario conocer cómo funcionan los buscadores.
Existen muchos proyectos industriales y educativos que investigan las mejores formas de recuperar información, asi vemos como algunas universidades tienen sus propios especialistas trabajando en ámbitos relacionados con la recuperación de información, textos, videos, imágenes, sonidos, etc. Lo mismo ocurre en la empresa privada y hasta en organiaciónes Open Source.
Todos trabajan de formas diferentes, las instituciones educativas generalmente carecen de las inmensas bases de datos para hacer pruebas macro de sus algoritmos, por eso generalmente sus productos tienen aplicaciones específicas y la generalización de ellas depende de que una macro-empresa (google, yahoo, microsoft, etc) acoja alguno de dichos algoritmos y lo testee en ambientes de miles de páginas web.
Hoy días los algoritmos han avanzado bastante pero se siguen topando con los mismos problemas de siempre, el cómo rankear la relevancia de los documentos. Cada empresa usa combinaciones propias definiendo lo que para ellos son más o menos relevantes al recuperar un documento, por ejemplo, una empresa dá más relevancia a la cantidad de palabras, otra a la relación entre ellas (semántica) otra a los enlaces relacionados con el contenido de la página, etc.
Una excelente charla sobre el tema que explica bien los algoritmos y software disponibles se encuentra en los siguientes videos:
