Gegenmaßnahmen gegen Crawler und Robots

Anbieter wollen zwar gut informiert sein über die Preise und das Angebot Ihrer Konkurrenten, jedoch wollen sie nicht, dass diese Konkurrenten über ihre eigenen Preise informiert sind. Preisinformationen sind im Rahmen des dynamischen Preismanagements wichtig, um auf Änderungen bei Konkurrenten reagieren zu können. Daher ergreifen manche Onlineshops Gegenmaßnahmen, um das automatische Crawlen zu verhindern oder sogar zum eigenen Vorteil auszunutzen.

Maßnahmen

1.)  Verhindern des Crawlens

Mit Hilfe der Robots.txt können Webseiten Crawlern und Spidern Richtlinien vorgeben, welche Seiten gecrawlt werden dürfen. Diese Richtlinien sind jedoch nicht zwingend. So kann ein Bot trotzdem die verbotenen Seiten aufrufen und die darauf bereitgestellten Informationen auslesen. Google beispielsweise hält sich an die Vorgaben in der Robots.txt.

2.)  Blockieren bestimmter Bots

Will man unbedingt verhindern, dass ein bestimmter Bot die Seite ausliest, kann man ihm gezielt den Zugriff auf die Seite verweigern, indem man eine 404 Fehlerseite zurückliefert. Die Bots können an ihrem Useragent-String erkannt werden. Manchmal treten Sie auch nur zu bestimmten Zeiten auf. Das ist dann der Fall, wenn der Bot über einen Cronjob gesteuert wird. Es gibt jedoch auch Bots, die unauffällige Useragents verwenden. Hier ist der Aufwand deutlich höher, um diese zu enttarnen. Ein Test auf installierte Plugins und Schriftarten kann Hinweise geben, ob der Useragent tatsächlich vorhanden ist oder nicht.

3.)    Gezielte Informationen

Dem Bot können aber auch gezielt besondere Informationen vorgespielt werden. Erkennt man den Crawler eines Konkurrenten oder einer Preisvergleichsseite, dann kann es sinnvoll sein, ihm einen höheren (für Konkurrenten) oder niedrigeren (für Preisvergleichsseite) Preis anzuzeigen. Der Konkurrent richtet daraufhin seine Preise im Rahmen des dynamic Pricing an dem zu hohen Preis aus. Die Preisvergleichsseite listet das Produkt und den Shop mit dem niedrigen Preis und platziert das Produkt daher verkaufswirksam. Die Herausforderung besteht darin, dem Kunde, wenn er dann die Seite tatsächlich betritt, genau diesen angezeigten Preis anzuzbieten. Dies kann mit Hilfe des Referers geschehen. Kommt der Besucher von der Preisvergleichsseite, dann bekommt er den Preis angezeigt, der der Preisvergleichsseite zuletzt übermittelt wurde. Kommt der Besucher hingegen direkt in den Shop ist der Preis etwas höher.

Eine genaue Identifizierung der Crawler ist vorraussetzung, um gezielt Informationen auszuspielen.

4.) Java Script

Eine andere Gegenmaßnahme ist die Verwendung von JavaScript. Viele Bots können damit nicht umgehen und erfassen die Informationen nicht, die über JavaScript bereitgestellt werden. Allerdings lernen immer mehr Bots, damit umzugehen. Es gibt auch schon Web Kits, die es sogar Menschen ermöglicht, die keine Programmierkenntnisse haben.

5.) Bilder statt Text

Das Sperren ganzer Seiten hat den Nachteil, dass auch der unbedenkliche Inhalt, wie das Produkt selbst, nicht vom Crawler erfasst wird. Damit ist es bei der Suchmaschine wie Google nicht auffindbar. Um die Preisinformation zu schützen kann statt normalen Texts ein Bild für den Preis verwendet werden. Die Anpassung von Preisen kann dann immernoch dynamisch erfolgen, indem man die Ziffern einzeln anzeigt. Hier besteht allerdings die Gefahr, dass man anhand des Dateinamens der Ziffer die Zahl rekonstruieren kann. Automatische Crawler haben es allerdings deutlich schwerer.

6.) Rechnerinformationen

Wiederkehrende Besucher kann man nicht nur anhand von Cookies erkennen, sondern zum Teil auch anhand der Kombination von Merkmalen, die der Browser und der Rechner liefert. Dieses Verfahren wird Browserfingerprinting genannt. Allerdings ist die Fehlerrate hier noch so hoch, dass man nicht mit 100%iger Sicherheit sagen kann, ob es ein und der selbe Rechner ist. Sollte aber eine bestimmte Konfiguration ständig und regelmäßig auftauchen, kann man von einem Bot ausgehen und Gegenmaßnahmen ergreifen.

4 Gedanken zu „Gegenmaßnahmen gegen Crawler und Robots

  1. Pingback: Einsatz von Crawlern und Robots in der Wettbewerbsanalyse | Pricing

  2. Hofer

    Ein Riesen Vorteil im Internet ist die Transparenz. Der Beitrag bezieht sich insbesondere auf Händler und Shopbetreiber die in einem harten Wettbewerb und Preiskampf stecken. Da können schon wenige Cent über die Position in den Vergleichsportalen entscheiden, weshalb der Einsatz von dynamic pricing letzlich erfolgskritisch für den Geschäftserfolg ist und somit elementar in die ecommerce Strategie gehört. Was jedoch wohl nicht vergessen werden darf ist der manuelle Abgleich der eingeholten Crawler Daten, da die Konkurrenz ja dieselben Tricks kennen könnte.

  3. Pingback: Repricing - Pricing

  4. Pingback: Preismonitoring - Pricing

Schreibe einen Kommentar