In dieser Übersicht siehst Du, wie sich Dein Crawl-Budget (oder auch Crawl-Volumen genannt) auf Monatsbasis geändert hat. Wir betrachten bewusst immer einen Monat, um eine Vergleichbarkeit zu ermöglichen und um so Trends auf einen Blick zu erkennen. Extreme Steigerungen oder Abfälle sind meist Indikatoren für Crawling-Probleme oder Google-Updates. Durch die Logdatenspeicherung von bis zu 5 Jahren können so wunderbar Trends, Langzeitentwicklungen & Optimierungserfolge festgestellt werden.

Wir definieren „Crawl-Budget“ bewusst etwas anders, als Google diesen Begriff offiziell definiert: Bei uns steht der Begriff Crawl-Budget für die Gesamtanzahl der Googlebot-Requests binnen einem Monat.

Weiteres findest Du in den Statistiken aktuelle Crawl-Trends, im Vergleich zum Vortag, Vorwoche und Vormonat. Hier werden alle Hard-Facts zusammengefasst und verglichen:

• Gesamtanzahl Googlebot Requests
• Anzahl gecrawlte Unique-URLs
• Anzahl gecrawlte Business-relevante URLs
• Anzahl gecrawlte Errors (Status Codes 4xx und 5xx)
• Durchschnittliche Download-Ladezeit einer URL
• Durchschnittliche Größe einer URL in Kilobyte

Abschließend siehst Du hier noch, ob Deine „Robots.txt“ und Deine „XML-Sitemap(s)“ gecrawlt wurden.

Was sind Business-relevante Seiten?

Unter Business-relevanten Seiten definieren wir alle Seiten einer Webseite, die aus unternehmerischer Sicht wichtig sind und einen wirtschaftlichen Zweck erfüllen sollen (z.B. Newsartikel, Kategorieseiten, Markenseiten, Produktdetailseiten uvm). Um diesen wirtschaftlichen Zweck zu erfüllen, müssen diese Seiten in den Google-Suchergebnissen organischen Suchmaschinen-Traffic generieren und zuguterletzt Suchintensionen der Suchenden bestmöglich befriedigen. Aus diesen genannten Gründen sollten grundsätzlich nur Business-relevante Seiten von Bots gecrawlt werden, denn alle anderen Crawls auf nicht Business-relevante Seiten wären reine Verschwendung der ohnehin limitierten und daher kostbaren Googlebot Requests.

So definierst Du Deine Business-relevanten Seiten im crawlOPTIMIZER

Info: Die Definition der Business-relevanten Seiten ist eine einmalige Sache und sollte zum Start erledigt werden.

Wenn Deine Webseite über eine oder mehrere XML-Sitemap(s) verfügt, kannst Du sie in den SETTINGS im crawlOPTIMIZER hinterlegen und alle URL-Einträge aus den Sitemaps sind dann im System automatisch als „Business-relevant“ markiert.

Weiteres kannst Du in den SETTINGs im crawlOPTIMIZER in einem Freitextfeld manuell „URLs“ und/oder „Parameter“ als Business-relevant hinzufügen (z.B. URLs zu Ressourcen, die der Googlebot für das Rendering benötigt oder alte URLs die über Backlinks verfügen. Ein weiteres Beispiel sind Produktdetailseiten mit speziellen Tracking-Parametern, die für Google-Shopping ausgelegt sind – auch diese URLs sind Business-relevant, da sie vom normalen Googlebot gecrawlt werden). In den SETTINGS kannst Du auch mittels REGEX-Anweisungen weitere URLs als Business-relevant flaggen.

Einmalig definiert, geht´s los mit den Analysen

1. Unter Business Relevant Pages (BRP) (siehe Punkt 1) siehst Du immer den gestrigen Crawl. Dort wird anteilig angezeigt, wie viel Prozent Deiner Business-relevanten Seiten tatsächlich vom Googlebot sauber gecrawlt wurden. Mit einem Klick auf das Tortendiagramm erhältst du vollautomatisch die Rohdaten im Logfile Explorer dargestellt.
2. Beim Trend (siehe Punkt 2) siehst Du die Entwicklung auf Tagesebene der letzten 30 Tage (default). Du siehst auf einen Blick, ob Deine Optimierungsmaßnahmen bereits Früchte tragen, oder ob neue Crawling-Issues hinzugekommen sind. Wenn Du auf einen Balken im Graphen klickst, bekommst Du automatisch alle Rohdaten vorgefiltert im Logfile Explorer dargestellt. So kannst Du mit einem Klick sehen, welche z.B. NON-BRP-URLs gestern gecrawlt wurden.
3. Unter Current Crawl (siehe Punkt 3) sieht man auf einen Blick, wie viel Prozent der Business-relevanten Seiten seit dem 1. eines jeden Monats gecrawlt wurden. Wir betrachten immer einen gesamten Monat, um eine Vergleichbarkeit zu gewährleisten. Du kannst Dir alle URLs anzeigen lassen, indem Du auf einen der Buttons „Show Pages“ klickst.
4. Sobald ein Monat vorbei ist, sieht man die Werte des Vormonats unter Crawl Last Month (siehe Punkt 4). Auch hier wieder aufgelistet im Logfile Explorer mit Hilfe der Buttons „Show Pages“.
5. Bei Trend Analysis (siehe Punkt 5) werden die zuvor gesammelten Informationen auf Monatsebene übersichtlich dargestellt, um eine visuelle Langzeitentwicklung darzustellen.
6. Bei Full Crawls (siehe Punkt 6) kannst Du selbst definieren, bei wie viel Prozent ein „voller Crawl“ erreicht ist. 100% sind bei sehr großen Webseiten oder Online-Shops aufgrund diverser Seitenfluktuationen nur schwer zu erreichen. Daher sollte ein Wert bestimmt werden, der möglichst realistisch einen „Full Crawl“ wiederspiegelt (z.B. 90%). Sobald Dein Wert in den SETTINGS hinterlegt wurde, beginnt der crawlOPTIMIZER die Tage zu zählen, bis Dein Wert (z.B. 90%) erreicht ist. Sobald der Wert erreicht ist, werden die dafür gebrauchten Tage gespeichert und im Graphen dargestellt. So erhältst Du einen sehr guten Einblick, wie lange Google für einen vollen Crawl braucht. Dein Ziel sollte sein, mithilfe diverser Optimierungsmaßnahmen die Anzahl der Tage zu senken

Wenn Deine Webseite über XML-Sitemap(s) verfügt, hast Du diese bestimmt schon in den SETTINGS hinterlegt (siehe oberhalb Punkt 3).

Gegebenenfalls hast Du auch noch weitere Busines-relevante Seiten manuell hinterlegt.

Wenn ja, perfekt! Denn all diese URLs werden von uns einmal in der Woche gecrawlt – yep, Du hast richtig gehört. Sie werden von uns regelmäßig kontrolliert.

Wir haben dafür extra unseren eigenen Crawler gebaut, der einmal pro Woche nachts Deine XML-Sitemap(s) crawlt. Unser Crawler überprüft alle URL-Einträge, die in den Sitemaps vorkommen und die von Dir manuell hinterlegten URLs. Wir prüfen immer folgende Werte:

• Sind URLs enthalten, die durch Deine Robots.txt blockiert werden?
• Sind URLs enthalten, die dort nichts zu suchen haben, wie z.B. 404-URLs oder weitergeleitete URLs?
• Sind URLs enthalten, die in den Meta-Robots auf NOINDEX stehen?
• Sind URLs enthalten, die auf eine andere Seite mittels Canonical-Tag kanonisieren?

Wenn ja, überprüft bitte diese Seiten, korrigiert oder entfernt sie aus den Sitemaps, denn solche fehlerhaften URLs verbrauchen unnötig Dein kostbares Crawl Budget.

Du kannst Dir jederzeit alle fehlerhaften URLs ansehen, indem du einfach auf einen der Buttons „Show URLs“ klickst.

Im Gegensatz zur vorherigen Übersicht werden hier nicht die meist gecrawlten URLs angezeigt, sondern die meist gecrawlten Ressourcen (js/css/etc.). Auch hier wieder mit dem letzten, aktuellen Status Code.

Mit einem Klick auf eine URL gelangst Du auch hier wieder in den Logfile Explorer (RAW DATA), wo Dir alle einzelnen Requests dieser URL (Ressource) aufgelistet werden.

Es gibt viele verschiedene Googlebots. Hier siehst Du alle Googlebots, die Deine Webseite gecrawlt haben und mit welcher Häufigkeit. Wir haben für Dich die unterschiedlichen Googlebots sinnvoll geclustert, konkret in Googlebot Desktop, Googlebot Smartphone und Googlebot others.