Was ist ein Googlebot?
Der Googlebot ist der Crawler von Google und wird oft auch Spider genannt. Der Roboter crawlt Ihre Seite und ahmt dabei einen User am PC nach und geht von Hyperlink zu Hyperlink wie eben eine Spinne. Alle gesammelten Daten werden in einer riesigen Datenbank von Google indexiert und gespeichert und resultieren anschließend in den SERPs für eine effektive Google-Suchanfrage. Google hat zudem verschiedene Arten von Bots, die sich auf verschiedene Bereiche aufteilen. So gibt es Bots für Videos, für News oder für Mobile-Seiten. Wie oft und wiederkehrend der Googlebot Ihre Website besucht, hängt von Ihrem PageRank, Ihren Backlinks oder auch Ladezeiten ab. Täglich werden Milliarden von Seiten gecrawlt.
Bitte nicht indexieren!
Soll ihre Seite nicht auf Google indexiert werden, ist die effektivste Variante das Hinzufügen eines Robots-Meta-Tag im Header. Sie können auch ein “nofollow” setzen, damit der Crawler den Links auf der Seite nicht folgt. Soll nur einem bestimmten Link nicht gefolgt werden, können sie das Attribut “rel=nofollow” für einen einzelnen Link setzen.
Bitte schnell indexieren!
Um im Index möglichst schnell aufzutauchen, stellen Sie Ihren Eintrag in der Google Search Console sicher bzw. überprüfen Sie die Verlinkung hin zur Seite. Bei größeren Launches von Seiten empfiehlt sich außerdem die Erstellung einer Sitemap. Achten Sie ebenfalls auf Hindernisse wie Ladezeit, Skriptfehler oder fehlerhafte Links, die den Crawler behindern. Der Googlebot und sein algorithmisches Programm liest und indexiert somit Ihre Website für Google.
