Googlebot: Der Web-Crawler von Google
Was genau ist und macht der Googlebot
Unter dem Begriff „Googlebot“ oder auch „Spider“ genannt, verbirgt sich der Web-Crawler von Google. Sämtliche Inhalte, Dokumente und Seiten werden im Internet untersucht und indexiert. Diese Inhalte werden dann in den Google-Suchergebnissen (SERPs) für die Nutzer dargestellt. Durch das sogenannte „crawlen“ werden Änderungen innerhalb der Webseiten regelmäßig aktualisiert und im Index gespeichert.
Indexierung Ihrer Webseite im World Wide Web
Seitenbetreibern und Webmastern stehen viele unterschiedliche Möglichkeiten zur Verfügung, die Informationen und Inhalte der jeweiligen Webseite zur Indexierung freizugeben.
Auf Grund der zahlreichen Anfragen von Webseiten im World Wide Web dauert eine Indexierung der kompletten Webseite immer seine Zeit. Mit einer direkten Nachricht an Google und dem Pfad Ihrer Sitemap, wird die Indexierung Ihrer Inhalte deutlich beschleunigt – das ist nur eine von vielen Funktionen innerhalb der Google Search Console.
Durch Anpassungen in der robots.txt-Datei gewähren Sie speziell dem Googlebot sowie den Web-Crawlern anderer Suchportale (Bing, Yahoo, etc.) den Zugriff auf bestimme Seiten oder Ressourcen (CSS, JavaScript, etc.). Der Zugriff auf Ihre komplette Webseite kann ebenfalls durch die robots.txt blockiert werden. Dies geschieht indem Sie das Attribut „Disallow“ bei den gewünschten Befehlen hinzufügen.
Funktionsweise des Web-Crawlers
Alle Informationen Ihrer Webseite werden durch ein automatisches Verfahren gesammelt, indem Informationen an die Webserver geschickt werden.
Die Antwort des jeweiligen Webservers inklusive der gesuchten Informationen werden überliefert und anschließend indexiert sowie gespeichert. Mit dieser Methode durchforstet der Web-Crawler das komplette Internet. Neue oder aktualisierte Inhalte werden dann in Google indexiert.
Durch den Zugriff auf die gewaltigen Recherche-Ressourcen, die auf mehrere Google-Datenzentren verteilt sind, untersucht der Googlebot Milliarden von Webseiten gleichzeitig und speichert die aktuellsten Inhalte ab.
Fazit
Um eine Präsenz in den Google Suchergebnissen vorzuweisen, muss eine Sitemap der Webseite, des Online-Shops oder des Blogs erstellt und hinterlegt werden. Sobald dieser Schritt erledigt ist, muss diese Sitemap mit Hilfe der Google Search Console indexiert werden.
Sobald Sie Änderungen an Ihren Inhalten, wie Texten oder Meta-Daten vornehmen, werden diese Änderungen dank der Arbeitskraft des Web-Crawlers innerhalb von kurzer Zeit erkannt und im Google-Index aktualisiert. Somit finden Leser auch Ihre aktuellsten Inhalte.
