SEO Logfile Analyse Tool aus der Cloud steigert Deine Produktivität im technischen SEO

Der neue SEO Logfile Analyzer crawlOPTIMIZER übernimmt für Dich sämtliche Analysen und Auswertungen Deiner Webserver-Logfiles. Du ersparst Dir extrem viel Zeit und Du kannst jederzeit auf Deine Logfiles zugreifen. Entdecke den crawlOPTIMIZER und optimiere das Crawling des Googlebots.

BABY WALZ
XXXLUTZ
JAKO-O
MĂ–BELIX
PLANET SPORTS
MĂ–MAX
Dashboard crawlOPTIMIZER

crawlOPTIMIZER analysiert & speichert Logfiles automatisch

Der crawlOPTIMIZER analysiert vollautomatisiert die Logdaten des Googlebots und archiviert diese auf einem abgesicherten Server in Deutschland bis zu 5 Jahre lang. In unserem übersichtlichen crawlOPTIMIZER Dashboard hat man die Aktivitäten des Googlebots rund um die Uhr im Blick. Dank der Logdatenspeicherung und dem von uns entwickelten Logfile-Explorer sind selbst rückwirkende Analysen jederzeit und problemlos möglich.
Fix & fertige Auswertungen

Vordefinierte Analysen & Auswertungen helfen selbst SEO-fremden Personen Crawling-Probleme mĂĽhelos aufzudecken.

Serverstandort Deutschland & DSGVO konform

Keine User-bezogenen Daten werden analysiert & gespeichert. DSGVO konform.

Made in Germany

Collecting log data is no deal. Understanding logs is our deal!

crawlOPTIMIZER ist ein einzigartiges Tool zur Crawl Budget Optimierung – zeitaufwändige, manuelle & komplexe Logfile Analysen sind ab sofort obsolet: crawlOPTIMIZER ĂĽbernimmt das alles fĂĽr Dich und hilft Dir bei der Steigerung der Googlebot Crawling-Effizienz!

 

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

PGlmcmFtZSBzcmM9Imh0dHBzOi8vd3d3LnlvdXR1YmUtbm9jb29raWUuY29tL2VtYmVkL0RNWGd2NDhDZ0RBIiBhbGxvd2Z1bGxzY3JlZW49ImFsbG93ZnVsbHNjcmVlbiIgd2lkdGg9IjU2MCIgaGVpZ2h0PSIzMTUiIGZyYW1lYm9yZGVyPSIwIj48L2lmcmFtZT48L3A+

Effizientes Crawling + straffes Indexmanagement = SEO ❤ Love

Bastian Grimm, Peak Ace AG

„Logfile-Analyse gehört als fortlaufender Prozess unabdingbar zur technischen Suchmaschinenoptimierung dazu. Der crawlOPTIMIZER unterstĂĽtzt hier insbesondere durch eine Vielzahl bereits vordefinierter Dashboards, die vor allem Einsteigern das Leben enorm erleichtern. Erfreulicherweise integriert sich das Tool zudem nahtlos in vorhandene Workflows und ist zudem super flexibel. Das macht die Anbindung verschiedenster Datenquellen zur Anlieferung und Auswertung von Logfiles zum Kinderspiel.“

Bastian Grimm, CEO & Director Organic Search bei Peak Ace AG

Bastian Grimm

Welche Inhalte Deiner Webseite werden gecrawlt?

Unser SaaS-Tool crawlOPTIMIZER liefert automatisiert wertvolle Insights aus Deinen Logfiles, wie Google Deine Webseite erfasst. Es zeigt Dir auf einen Blick, welche Inhalte vom Googlebot ausgelesen werden und ob wichtige Inhalte unter Umständen gar nicht gecrawlt werden. Um Langzeitanalysen zu ermöglichen, können auf Wunsch Deine Logfiles bis zu 5 Jahre lang gespeichert werden. Alle Maßnahmen verfolgen das Ziel, den unbezahlten Suchmaschinen-Traffic zu steigern.

Logfile Analysen auf Knopfdruck & ohne Aufwand

 Alle Googlebot-Aktivitäten rund um die Uhr im Blick

Dashboard mit fixfertigen & verständlichen Auswertungen

Kein spezifisches SEO-Logfile-Know-how nötig

Manuelle Analysen & Reports dank Logfile Explorer

Langzeitanalysen bis 5 Jahre dank cloudbasierter Lösung

Ultra einfache & schnelle Ăśbermittlung der Logfiles

Einmaliges, einfaches Andocken – Deine IT wird uns lieben!

100% DSGVO konform

FĂĽr wen ist der crawlOPTIMIZER?

Logfile Analysen aus SEO-Sicht liefern unerkannte Optimierungspotenziale fĂĽr jeden Digital-Marketer

1. Zielgruppe

crawlOPTIMIZER richtet sich an alle Personen, die den unbezahlten Suchmaschinen-Traffic in Unternehmen verantworten und wenig Zeit für ausführliche, regelmäßige Logfile-Analysen haben oder über kein spezifisches Know-how verfügen. Beispiele:

• Head of SEO
• SEO-Manager
• Head of Online Marketing
• Online Marketing Manager
• Head of e-Commerce
• e-Commerce Manager
• Webmaster / IT-Admins
• SEO-Agenturen

2. Webseiten

crawlOPTIMIZER wurde speziell für Webseiten ab einer Größe von einigen tausend Pages entwickelt oder Online-Unternehmungen, die großes Interesse an einer Steigerung des unbezahlten Suchmaschinen-Traffics haben. Beispiele:

• Online-Shops
• News-Portale
• Wetterseiten
• Informationswebseiten
• e-Commerce Webseiten
• Große Blogs / Foren etc.

Stephan Czysch, Dept Agency

„Wenn Du eine umfangreiche Website betreibst und SEO fĂĽr Deinen Weberfolg wichtig ist, dann ist eine regelmäßige Kontrolle und Optimierung des Crawling-Verhaltens Pflicht. Der crawlOPTIMIZER bereitet die Logfiles Deines Servers ideal auf und lässt Dich Potenziale sehr schnell identifizieren. Durch eine Anpassung der robots.txt im Nachgang an Logfile-Analysen konnten wir speziell fĂĽr groĂźe Online Shops deutliche Traffic-Gewinne erzielen.“

Stephan Czysch, Autor mehrerer SEO-FachbĂĽcher & Dozent fĂĽr SEO

Stephan Czysch | crawlOPTIMIZER

Wozu brauche ich den crawlOPTIMIZER?

Logfile Analyse ist kein Projekt, sondern ein Prozess

Ohne Crawling gibt es keine Indexierung und somit auch keine Platzierung in den Google-Suchergebnissen.

Deine Webseite kann nur über die Google-Suche gefunden werden, wenn sie vorab in den Google-Index aufgenommen wurde. Für diesen Zweck crawlt (=durchsucht) der Googlebot (auch Spider genannt) täglich alle verfügbaren Webseiten weltweit, auf der Suche nach neuen und aktualisierten Inhalten.

Mit Hilfe diverser Onsite-Optimierungsmaßnahmen kannst Du einen gewissen Einfluss auf den Crawling-Prozess nehmen und somit bestimmen, welche Inhalte in den Google-Index aufgenommen und welche Inhalte häufiger gecrawlt werden sollen.

Nur die Webserver-Logfiles geben Aufschluss darüber, welche und wie häufig der Googlebot Inhalte crawlt. Daher sollte ein kontinuierliches Crawling-Monitoring in allen größeren Online-Unternehmungen als Prozess verankert werden. Für diesen Zweck wurde der crawlOPTIMIZER entwickelt, getreu dem Motto: Keep it as simple as possible.

SEO-Prozess

„Der Google-Bot ist der Webcrawler (auch „Spider“ genannt) von Google. Crawling wird der Prozess genannt, durch den der Google-Bot neue und aktualisierte Seiten ermittelt, damit sie dem Google-Index hinzugefĂĽgt werden können.“ Quelle: Google Search Console

Stimmen ĂĽber Logfile Analysen & Crawl Budget Optimierung

John MĂĽller

Webmaster Trends Analyst bei Google

„Log files are so underrated, so much good information in them.“ (Twitter)

John MĂĽller

Prof. Dr. Dominik GroĂźe Holtforth

Experte fĂĽr E-Commerce

„[…] Wie man sieht, sind Crawlability und das Crawl Budget mehr als ein SEO Mythos, sondern eine handfeste Optimierungsaufgabe. Da sie eher abstrakt ist, gerät sie unter Umständen eher ins Hintertreffen als konkrete Onsite-OptimierungsmaĂźnahmen. Diese laufen allerdings ins Leere, wenn man die Qualität der Website aus der Crawlingperspektive nicht im Auge behält.“ Zur Originalquelle

Tweets ĂĽber Logfile Analysen

Logfile Analysen machen Sinn

Welchen Sinn & Zweck erfĂĽllt der crawlOPTIMIZER?

Alle MaĂźnahmen dienen der Steigerung des unbezahlten Suchmaschinen-Traffics

1. Nutzen & Mehrwert

crawlOPTIMIZER liefert wertvolle Insights, wie Google Deine Webseite erfasst, d.h. welche Inhalte von Google „ausgelesen“ werden können und welche nicht. Relevant sind diese Informationen, da es ohne Crawling kein Ranking und folglich keinen Suchmaschinen-Traffic gibt. Beispiele:

• Wo ver(sch)wendet Google Ressourcen?
• Werden meine wichtigen Inhalte gecrawlt?
• Welche Inhalte werden gar nicht gecrawlt?
• Hat der Googlebot Probleme beim Crawling?
• Logfiles helfen die interne Verlinkung zu optimieren
• Mittels Logfiles identifiziert man präzise Orphan Pages
• Bei professionellen Website-Relaunches
• Logfiles sind das perfekte Backup bei ungewollten URL-Änderungen
• Und viele weitere Optimierungspotenziale…

2. Ziele

✔ Neue & geänderte Inhalte sollen möglichst schnell im Google-Index aufgenommen werden (z.B. neue Produkte indexieren / Title-Tag & Meta-Description Änderungen / neue Robots-Anweisungen / neue oder geänderte Textinhalte uvm)

âś” Nur SEO-Landingpages sollen gecrawlt werden – keine Verschwendung von Google-Crawls

âś” Shift / Verschiebung von ursprĂĽnglich verschwendeten Google-Crawls auf SEO-Landingpages

✔ Ein nahezu vollständiger Crawl der gesamten Webseite (SEO-relevante Seiten) in möglichst kurzer Zeit

âś” Fehler der eigenen Webseite bzw. Infrastruktur rasch aufdecken und umgehend beseitigen (z.B. 4xx, 5xx Fehler)

âś” Schonender & effizienter Umgang mit Ressourcen (Serverinfrastruktur, Traffic etc.), sowohl intern, als auch bei Google

✔ Stärkung der Marke

Folglich: Steigerung der Sichtbarkeit & des kostenlosen Traffics

3. Crawling kostet Geld

Google crawlt von Haus aus nicht effizient. Das liegt in der Natur der Bots. Doch Deine Server-Ressourcen werden durch ein ineffizientes Crawling unnötig stark belastet. Und das kostet auch Dich bares Geld. Helfen wir dem Bot seine Effizienz zu steigern, zugunsten Deines SEO-Erfolges.

 

„Wenn Sie Google-Produkte verwenden, erledigen die Server in unseren Rechenzentren die Arbeit fĂĽr Sie – weltweit und rund um die Uhr. Unsere Server unterstĂĽtzen viele Produkte gleichzeitig. Dies ist die so genannte „Cloud“. Indem wir unsere Server ständig beschäftigen, können wir mit weniger Aufwand mehr erledigen […]“, Quelle: Google

 

• Google betreibt weltweit 15 Rechenzentren

• Betriebskosten pro Jahr 10+ Mrd. USD

• Das Crawling von Webseiten kostet Google das meiste Geld

 

Daniel Dietrich, XXXLUTZ

„Wir betreuen alle nationalen und internationalen Online-Shops der gesamten XXXLUTZ-Gruppe und sind aufgrund des enormen Arbeitsaufwandes auf effiziente Tools angewiesen, die uns Arbeit abnehmen. Professionelle, permanente Logfile Analysen zu fahren, bedeuten groĂźen Zeitaufwand, alleine schon fĂĽr die Aufbereitung der Daten. Der crawlOPTIMIZER nimmt uns diese Arbeit ab und wir können uns endlich auf das Wesentliche konzentrieren.“

Daniel Dietrich, Head of SEO der XXXLUTZ-Gruppe

Daniel Dietrich XXXLUTZ

Highlights

Was den crawlOPTIMIZER so besonders macht

Googlebot Aktivitäten

Sehen und verstehen welche Seiten von Google gecrawlt werden. Ziel: Maßnahmen ableiten, die das Crawling verbessern können.

Fertige Analysen & Auswertungen

Das HerzstĂĽck des Tools ist das Dashboard mit den fixfertigen & relevanten Auswertungen. Durch dieses Dashboard ersparst Du Dir extrem viel Deiner kostbaren Zeit.

Datenspeicherung bis zu 5 Jahre

Endlich sind rückwirkende Logfile Analysen ohne Aufwand möglich! Dank der Logdatenspeicherung in einer sicheren Cloud. Jederzeit und überall abrufbar.

Einfach & verständlich

 Alle vordefinierten Analysen & Auswertungen sind so aufgebaut, dass sie möglichst alle verstehen – selbst ohne spezifischem SEO-Background!

Schnelle & einfache Anbindung

Um möglichst einfach Deine Logdaten ziehen zu können, haben wir mehrere Alternativen erarbeitet. Das einmalige Setup wird so zum Kinderspiel.

24/7 Support

Bei Fragen stehen wir Dir jederzeit zur Seite. Sehr gerne unterstĂĽtzen wir Dich beim erstmaligen Setup. Zudem kommunizieren wir gerne auch direkt mit Deiner IT oder mit Deinem Hostingprovider.

Feature Highlight: Die Business-Relevant Pages

Tagge Deine SEO-Landingpages als „Business-Relevant“ und beobachte, ob der Googlebot sie crawlt und ich welcher Intensität. Hier siehst Du auf einen Blick, wo der Googlebot seine Ressourcen verschwendet. Wenn Du die einzelnen Requests ansehen willst, klicke einfach auf einen der Balken und Du bekommst direkt die vorgefilterten Rohdaten (im Logfile Exporer). Teste dieses Feature jetzt mit dem kostenlosen Demo-Account!

Die beiden HerzstĂĽcke des Tools

Die beiden HerzstĂĽcke des crawlOPTIMIZERs sind das Dashboard und der Logfile-Explorer

1. Ăśbersichtliches Dashboard

Unser Dashboard beinhaltet basierend auf Deinen Logdaten fertige Auswertungen und KPIs, um Deinen Arbeitsalltag maximal zu erleichtern. Die extrem zeitintensiven, manuellen Logfile-Analysen mittels Excel oder ELK (Elasticsearch, Logstash, Kibana) sind ab sofort obsolet, denn im Dashboard sind alle wichtigen KPIs bereits vordefiniert und grafisch aufbereitet. Die KPIs & Auswertungen wurden so aufbereitet, dass sie selbst für Personen ohne SEO-Background verständlich sind.


• Crawl-Budget Statistik & Verschwendung des Crawl-Budgets
• Status Codes & Crawling-Statistiken
• Crawling von Business-relevanten Seiten
• Top-50 gecrawlte URLs & Ressourcen
• Top-10 gecrawlte Verzeichnisse & Produkte
• Gecrawlte Content-Typen, Parameter & http(s)
• Crawling-Frequenzen einzelner Pages
• Noch nicht gecrawlte Pages
• XML-Sitemap Check
• Darstellung unterschiedlicher Googlebots

Business-relevant measurements | crawlOPTIMIZER

2. Der Logfile-Explorer

Jeder, der schon einmal Logfile Analysen mit Excel probiert hat, kennt die damit verbundenen Probleme: Größere Logfiles ab einer Million Zeilen können schlichtweg nicht mehr verarbeitet werden. Dadurch war man immer gezwungen, nur eine kleine, zeitliche Momentaufnahme des Google-Bots zu analysieren. Die Lösung: der Logfile-Explorer des crawlOPTIMIZERs. Unbegrenzte Datenmengen werden problemlos verarbeitet.
Verarbeitung nahezu unbegrenzt groĂźer Datenmengen

Da Deine Logdaten auf unseren Hochleistungs-Servern automatisch verarbeitet & archiviert werden, kannst Du jederzeit und von ĂĽberall aus darauf zugreifen. So kannst Du Langzeitanalysen & rĂĽckwirkende Analysen mĂĽhelos bewerkstelligen.

Einfache, unendliche Filtermöglichkeiten + Exportfunktion

Unser Logfile-Explorer bietet Dir einfache Filtermöglichkeiten, um so individuelle Analysen und Auswertungen zu erstellen. Mit nur wenigen Klicks kannst Du Deine benötigten Daten & Informationen ziehen. Zudem kannst Du Deine Abfragen als Quick-Filter abspeichern. Deine (gefilterten) Logdaten kannst Du jederzeit als XLSX- oder CSV-File exportieren.

Google Search Console API

Du kannst Dein(e) Projekt(e) mit nur einem Klick mit der Google Search Console verbinden. Dadurch werden Deine Logdaten mit Search-Daten angereichert (Clicks, Impressions, CTR, etc.). Yeah!

Logfile Explorer | crawlOPTIMIZER

Datamining dank GSC API

Google Search Console API

Preise & Pakete

Limitiertes Angebot fĂĽr die gesamte Vertragslaufzeit. Angebot gĂĽltig bis einschlieĂźlich 31.03.2020.

Du brauchst mehr als 500.00 Requests pro Tag oder möchtest das Tool für Deine Agentur nutzen? Dann lass Dir ein maßgeschneidertes, individuelles Angebot legen. Nimm gleich jetzt Kontakt mit uns auf!

âś” So einfach bestellst Du online

1. Passenden Tarif wählen
2. „Bestellen“-Button klicken
3. Online-Formular ausfĂĽllen & absenden
4. Nach Bestelleingang klären wir ggf. noch offene Fragen
5. Sobald alles klar ist, bestätigen wir Deine Bestellung per E-Mail

Und schon starten wir mit dem Aufsetzen Deines Accounts. Die Verrechnungsperiode beginnt erst, sobald Dein Account komplett funktionstüchtig aufgesetzt ist. Let´s rock!

* 7 Tage risikolos testen (gĂĽltig fĂĽr jeden Tarif)

 

Du trägst keinerlei Risiko: Nach Vertragsabschluss und sobald wir Deinen persönlichen Account komplett funktionstüchtig aufgesetzt haben, kannst Du den crawlOPTIMIZER für 7 Tage kostenlos testen (Für diesen Testzeitraum importieren / analysieren wir 35% Deiner Logfiles). Wir informieren Dich selbstverständlich darüber, sobald der Testzeitraum beginnt. Innerhalb dieser 7 Tage kannst Du den Vertrag jederzeit stornieren. Wie? Eine kurze E-Mail an info@crawloptimizer.com mit dem Stornierungsgrund reicht aus. Für diesen Zeitraum fallen natürlich keine Kosten an und der abgeschlossene Vertrag wird unmittelbar wieder storniert. Wenn Dich die Funktionen überzeugen, wovon wir schwer ausgehen, und Du nicht innerhalb dieser 7 Tage stornierst, wird der zuvor abgeschlossene Vertrag ab dem 8. Tag bindend und Deine Logs werden 100% importiert. Let´s rock!

Hinweis

Verkauf nur an Unternehmer
Die oben genannten Preise beinhalten keine Umsatzsteuer. FĂĽr mehr Informationen schreibe uns einfach oder rufe unter +43 (1) 577 35 49 an.

FAQ

Häufig gestellte Fragen

ERSTE SCHRITTE

Ist der crawlOPTIMIZER DSGVO konform?

Ja, selbstverständlich!

Wir halten uns an die Datenschutzrichtlinien. Es werden KEINE personenbezogenen Daten gespeichert oder analysiert, sondern lediglich die Daten des Googlebots.

Der Serverstandort befindet sich in Deutschland.

Wie lange gelten die EinfĂĽhrungspreise?

Einmal abgeschlossene EinfĂĽhrungspreise sind zeitlich unbegrenzt und gelten daher ĂĽber die gesamte Vertragsdauer.

Welchen Tarif soll ich wählen?

Beispiel: Wenn Deine Webseite zwischen 25.000 und 75.000 Google-Bot Requests pro Tag hat, solltest Du den Tarif MATT wählen.

Unsere Tarife unterscheiden sich bei den maximalen Google-Requests pro Tag und der Dauer der Logdatenspeicherung. Während die MATT-Version eine maximale Anzahl an Google-Bot Requests pro Tag von 75.000 zulässt, hat man im Tarif LARRY eine maximale Anzahl von 500.000 Google-Requests pro Tag inklusive. Solltest Du mehr als 500.000 Requests pro Tag benötigen, nimm bitte persönlich mit uns Kontakt auf, damit wir Dir ein maßgeschneidertes Angebot legen können.

Fazit: Schaue in der Google Search Console nach, wie viele Requests Deine Webseite pro Tag im Durchschnitt der letzten 90 Tage hatte und wähle anhand dieser Zahl den passenden Tarif.

Solltest Du keinen Zugriff auf die Daten der Google Search Console haben, ist das auch kein Problem. Entscheide Dich fĂĽr einen Tarif und informiere uns per E-Mail darĂĽber. Wir tracken daraufhin einen Monat lang Deine Log-Daten auf die Gesamtsumme pro Tag und informieren Dich dann ĂĽber den passenden Tarif.

Was passiert nach meiner Bestellung?

Sobald Deine Bestellung bei uns eingegangen ist, werden wir fĂĽr Dich Deine eigene Infrastruktur auf einem unserer Server einrichten.

Sobald dieser erste Schritt getan ist (dauert max. einen Werktag) werden wir Dich per E-Mail informieren. In unserer E-Mail werden wir Dir dann Deine Möglichkeiten aufzeigen, wie Du uns Deine Logfiles übermitteln kannst. Bitte entscheide Dich für eine Variante und gib uns so rasch wie möglich dazu Feedback.

Sobald wir alle nötigen Informationen haben, setzen wir Deinen Account vollständig auf (dieser Prozess ist nur einmalig nötig).

Fazit: Spätestens eine Woche nach Deiner Bestellung solltest Du bereits mit Deinen Logfile-Analysen starten können.

Was passiert wenn ich die maximalen Requests pro Tag ĂĽberschreite?

Das ist in jedem Fall kein Beinbruch.

Solltest Du allerdings über einen konstanten Zeitraum von 90 Tagen die durchschnittliche Höchstgrenze an Requests Deines gewählten Tarifs überschreiten, werden wir Dich darüber informieren und Deinen Tarif in Abstimmung mit Dir fair anpassen.

Sind die Analysen & Auswertung im Tool tagaktuell?

Ja, vom Vortag.
Die Logdaten werden immer auf Tagesbasis gezogen. In der Nacht ab ca. 00.00 Uhr werden die Logdaten vom Vortag gezogen, gespeichert und anschlieĂźend beginnt der crawlOPTIMIZER mit allen notwendigen Aggregationen, damit Dir in der FrĂĽh alle Analysen & Auswertungen fertig zur VerfĂĽgung stehen. So kannst du bis zu 60 Monate analysieren und auswerten.

Gibt es ein LIVE-Monitoring des Googlebots?

Nein, das haben wir nicht eingeplant.
Aufgrund der enormen Komplexität der fertigen Analysen und Auswertungen die etliche Stunden Server-Ressourcen in Kauf nehmen, ist ein LIVE-Monitoring leider nicht machbar. Dafür bekommst Du fixfertige Analysen & Auswertungen, die Dir Deinen Berufsalltag signifikant erleichtern.

Alle Analysen & Auswertungen sind daher vom Vortag und älter (bis zu 60 Monate).

GOOGLE SEARCH CONSOLE

Wo finde ich in der Google Search Console die Anzahl der Googlebot-Zugriffe?

  • Melde Dich in Deiner Google Search Console an
  • Klicke auf „Crawling“
  • Danach auch „Crawling-Statistiken“
  • Dort findest Du die „Average Crawls“

 

GSC

ERSTMALIGES SETUP

Wie weiĂź ich, ob meine Logfiles geeignet sind?

Grundsätzlich können wir mit Logfiles von allen unterschiedlichen Servern (Apache, nginx, etc.) arbeiten, da wir alle Logfiles einmalig und individuell einrichten. Logfiles im JSON-Format können auch problemlos verarbeitet werden.

Du kannst uns aber trotzdem gerne per E-Mail einen Auszug Deiner Logfiles ĂĽbersenden. Wir prĂĽfen sie und geben Dir asap Feedback.

Wie kann ich meine Logfiles an den crawlOPTIMIZER ĂĽbermitteln?

Wir bieten Dir vier einfache Möglichkeiten an, uns Deine Logfiles automatisiert und dauerhaft zu übermitteln. Das Setup muss nur einmalig eingerichtet werden und ist in der Praxis nicht aufwändig.

1. (S)FTP-Download
Wir bekommen einen eigenen, sicheren Zugriff auf Deinen (S)FTP-Server (gerne auch via IP-Access abgesichert), wo Deine Logfiles täglich abgelegt werden. Wir downloaden die Logfiles täglich vollautomatisiert und selbsttätig.

2. SFTP-Upload
Wir stellen Dir einen eigenen SFTP-Server zur Verfügung. Du bekommt von uns alle Zugangsdaten & Zugriffsrecht. Und Du legst Deine Logfiles täglich, automatisiert auf unserem SFTP-Server ab.

3. CURL-Download
Wir bekommen via URL die Möglichkeit, Deine Logfiles täglich zu ziehen.

4. Täglich per E-Mail (für kleine bis mittlere Webseiten geeignet)
Du kannst uns Deine komprimierten Logfiles täglich per E-Mail übersenden. Hierfür bekommst Du von uns eine eigene E-Mail Adresse, an die Du Deine Logs sendest. Bitte beachte jedoch, dass jede E-Mail nicht größer als 10MB sein sollte. Du kannst uns aber natürlich mehrere E-Mails à 10MB pro Tag senden.

Solltest Du eine weitere hier nicht aufgelistete Variante mehr bevorzugen, lass es uns einfach wissen und wir richten alles nach Deinen Vorgaben ein.

Muss die IT die Logfiles irgendwie aufbereiten bzw. vorfiltern?

Ja, bitte.

Da wir keine userbezogenen Daten erhalten und verarbeiten wollen, muss die IT folgende Vorfilterung der Logfiles durchfĂĽhren:

Vorfilterung der Access-Logs nach dem Begriff „google“ innerhalb des „User Agents„. D.h. der Begriff „googlemuss innerhalb des User Agent-Strings vorkommen (egal in welcher Schreibweise. Positive Beispiele: Googlebot, google, Google, GOOGLE). Alle ĂĽbrigen Logeinträge ohne „google“ wollen wir im Idealfall nicht bekommen und sollen daher nicht abgelegt / ĂĽbermittelt werden.

Zwei Beispiele:

  • Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot-Image/1.0

Sollten wider Erwarten versehentlich doch andere Logeinträge übermittelt worden sein, werden diese beim Import der Logfiles durch eine automatische Prüfung identifiziert und unwiderruflich gelöscht.

Wie ermittelt ihr den echten Googlebot?

Mittels Reverse-DNS wird jede uns noch nicht bekannte IP geprüft, ob sie auch tatsächlich von Google stammt.

Unsere Engine arbeitet selbstlernend und erweitert so automatisch die Anzahl der uns bekannten Google-IPs, um noch schneller ein Matching durchzufĂĽhren.

Crawlt ihr selbst auch meine Webseite?

Ja! Um den crawlOPTIMIZER allumfänglich nutzen zu können, ist ein Crawling Deiner Webseite(n) nötig. Das Crawling findet i.d.R. einmal pro Woche nachts statt und wird nach Deinen individuellen Vorgaben eingestellt.

Was crawlen wir?
Unser Crawler crawlt lediglich alle Einträge (URLs) aus Deinen XML-Sitemaps.

Folgende Crawling-Standardwerte sind in den Settings hinterlegt:

  • Sitemap Import Weekday: Monday
  • Sitemap Import Time:          01:00:00 Uhr (CET)
  • Crawl Start Time:          02:00:00 Uhr (CET)
  • Crawl End Time:          06:00:00 Uhr (CET)
  • Crawl Rate:          5 URLs pro Sekunde

Diese Standardwerte können jederzeit durch den Kunden im Menüpunkt „Settings“ individuell angepasst werden.

Wenn kein Crawling der XML-Sitemap(s) gewĂĽnscht ist, muss die Crawl Rate in den „Settings“ auf den Wert „0“ gesetzt werden. Dies hätte dann zur Folge, dass kein Crawling durch den crawlOPTIMIZER stattfindet. Im Falle eines „Nicht-Crawlings“ der XML-Sitemaps kann die Auswertung „Do not waste your crawl budget (XML-Sitemap Check)“ im Dashboard nicht angezeigt werden, da die benötigten Crawling-Informationen fehlen.

Weitere Informationen:

  • Die in den „Settings“ maximal einstellbare Crawl Rate ist mit 10 URLs pro Sekunde limitiert. Höhere Crawl Rates nur auf Anfrage.
  • Der crawlOPTIMIZER User Agent ist wie folgt aufgebaut:
    Mozilla/5.0 (compatible; crawlOPTIMIZER/0.0.1; +https://www.crawloptimizer.com)

Wie lautet euer User Agent?

Mozilla/5.0 (compatible; crawlOPTIMIZER/0.0.1; +https://www.crawloptimizer.com)

Kontakt

Du benötigst Hilfe oder hast Fragen? Kontaktiere uns!


Ich habe die Datenschutzbestimmungen gelesen und
akzeptiere diese mit meinem Klick auf den Button "Jetzt senden".




Weitere Kontaktmöglichkeiten

Hinterlasse uns einfach eine Nachricht auf Skype oder WhatsApp.
Chat with me
Chat with me
BABY WALZ
XXXLUTZ
JAKO-O
MĂ–BELIX
PLANET SPORTS
MĂ–MAX