Googlebot
Web Crawler von Google, der Webseiten besucht, deren Inhalte erfasst und für die Indexierung in der Google Suche aufbereitet.
Auch bekannt als: Google Crawler, Google Spider
Googlebot ist der Web Crawler von Google, der Webseiten systematisch besucht, ihre Inhalte herunterlädt und an die Index Systeme weitergibt. Es gibt mehrere Varianten, etwa Googlebot Smartphone für die Mobile First Indexierung sowie spezialisierte Crawler für Bilder, Videos und Nachrichten. Erkennen lässt sich der Bot am User Agent String.
Wie der Crawl Vorgang läuft
Googlebot startet bei bekannten URLs aus Sitemaps und Verlinkungen, lädt die Seite herunter und folgt internen Links. Bei modernen Webseiten kommt eine Rendering Stufe dazu, in der JavaScript ausgeführt wird, damit auch dynamisch erzeugte Inhalte erfasst werden. Aus den Daten entsteht ein Index Eintrag, der später für Suchanfragen abgefragt wird.
Steuerung und Stolperfallen
Über die Datei robots.txt steuern Webseiten, welche Bereiche der Bot crawlen darf. Mit dem Meta Tag robots oder dem X Robots Tag Header lassen sich einzelne Seiten von der Indexierung ausschließen. Wichtig ist eine saubere Sitemap und schnelle Server Antworten. Lange Ladezeiten reduzieren das Crawl Budget, sodass weniger neue Seiten erfasst werden. Fehlerhafte Status Codes signalisieren Probleme und führen zu De Indexierung.
Kontext im Marketing Alltag
Im Marketing Alltag betrifft Googlebot vor allem SEO Teams. Wer Landingpages für JD Leads Strecken oder andere Kampagnen baut, sollte sicherstellen, dass diese je nach Zielsetzung indexierbar oder bewusst ausgeschlossen sind. Test Landingpages werden in der Regel per noindex Tag aus dem Index gehalten, dauerhafte Inhalte gehören sauber strukturiert in die Sitemap.