Størstedelen af trafikken til et web sted kommer normalt via søgemaskiner og her især fra Google. Det ved de fleste web-mastere. Derimod er det ikke alle web-mastere, som ved, at robotterne ikke nødvendigvis indekserer alle sider på web-stedet. Tillige er nogle søgemaskiner meget langsomme til at indeksere mere end blot det mest oplagte. Web-mastere kan nu få en bedre viden om hvorledes robotterne indekserer sider via en undersøgelse publiceret i D-Lib Magazine, vol. 14, nr. 3/4. Denne viden kan medføre en bedre design af web-stederne, og den bedre indeksering giver automatisk flere besøgende. Forfatterne konstruerede forskellige typer af web-steder og fulgte herefter robotternes vandringer i løbet af et års tid. Det viste sig bl.a., at "brede" web-steder blev indekseret bedre end "dybe". Helt generelt skal web-mastere skabe robot venlige web-steder herunder med indeks sider eller/og en sitemap.