duda del robot de google

Andaba navegando por internet y me tope con un blog que trataba o tocaba el tema de como armar un buscador en java, me llamo la atencion algo, aun no lei el pdf que tenia adjuntado pero si por curiosidad entre en un link que tenia como ejemplo el robot de google (pegese una vuelta si no sabe lo que es aqui) como el archivo es un txt hice un print para que sea mas facil encontrar el dato curioso, mas abajo la imagen

Sin título

para que sera que el robot de google almacena ese dato? Continue reading