Einsatz von Crawlern und Robots in der Wettbewerbsanalyse

Gerade im Onlinehandel wird eine schnelle Reaktion auf veränderte Wettbewerbsbedingungen immer wichtiger. Dazu müssen jedoch permanent Informationen über die Konkurrenten erhoben werden. Regelmäßiges Scannen der Webseiten und Onlineangebote im Rahmen der Wettbewerbsanalyse ist jedoch zu zeitaufwändig, um dies per Hand zu tun. Daher ist sinnvoll, die Abfrage der Informationen mit Hilfe von Crawlern zu automatisieren.

Crawler sind Programme, die Webseiten automatisch nach bestimmten Informationen absuchen. Für solche Programme gibt es zahlreiche Begriffe wie Spider, Scraper, Robots oder Bots. Der bekannteste Robot bzw. Crawler ist wahrscheinlich der von Google.

Rechtmäßigkeit

Im Zusammenhang mit Webscraping (also dem Abgreifen von Informationen aus dem Internet) werden häufig rechtliche Einwände gebracht. Viele Webseitenbetreiber versuchen sich dagegen zu wehren, dass ihre Seite automatisiert und systematisch ausgelesen wird. Sie versuchen dies durch die AGBs oder technische Maßnahmen durchzusetzen.

Verschiedene Urteile in Deutschland scheinen die Auffassung zu bestätigen, dass man Webseiten durchaus automatisch auslesen darf, solange keine wesentlichen Inhalte von Datenbanken abgegriffen werden. Der Begriff „wesentliche Inhalte“ ist jedoch unbestimmt und kann Anlass zu Auseinandersetzungen sein.

Wichtig ist weiterhin, dass das Auslesen keine zu hohe Belastung für die Seite darstellen darf. Es wäre unzulässig, die Webseite mit so vielen Anfragen zu bombardieren, dass normale Besucher beim Seitenbesuch Beeinträchtigung im Seitenaufbau spüren.

Vorgehen

Zunächst sollte man sich überlegen, wofür man die Informationen benötigt. Danach richtet sich, welche Informationen gesammelt werden sollen und wie diese gesammelt werden können. Zu viele Informationen belegen unnötig Speicherplatz und verlangsamen die Auswertung. Zudem wird geklärt, wie regelmäßig die Informationen gewonnen werden sollen.

Vorgen der Informationsbeschaffung mittels Crawlern in der Wettbewerbsanalyse

Vorgen der Informationsbeschaffung mittels Crawlern in der Wettbewerbsanalyse

 

Wofür werden Informationen benötigt?

Die Anlässe zum Sammeln von Informationen und Verwendungsmöglichkeiten der Daten sind vielfältig. Zum einen kann damit die Umsetzung der Preispolitik und eine Preisoptimierung verfolgt werden. Zum anderen können aber auch deutlich subtilere Informationen abgeleitet werden.

Zum Beispiel können die abgegebenen Produktbewertungen in einem Zeitraum gezählt werden. Vergleicht man diese mit den abgegebenen Produktbewertungen der eigenen Webseite und rechnet dies auf den Traffic (also Besucherzahl) hoch, dann kann man gut abschätzen, wie viele Besucher der Konkurrent im Zeitverlauf hat. Dies kann eine wichtige Größe zur Beurteilung der Wettbewerbsposition sein.

Welche Informationen sollen gesammelt werden?

Für eine schnelle Reaktion auf das Verhalten des überwachten Wettbewerbers oder das Erkennen seiner Taktiken ist es notwendig, eine engmaschige Überwachung zu etablieren. Um grobe Informationen über Entwicklungen zu erhalten, reichen weniger Häufige Überwachungen. Die Überwachungshäufigkeit hängt zudem davon ab, wie häufig Änderungen bei den Wettbewerbern vorgenommen werden, die im Rahmen der Wettbewerbsanalyse erkannt werden sollen.

Eine Auswahl der Informationen, die im Rahmen der Wettbewerbsanalyse durch Crawler gewonnen werden können, ist hier zu finden. Zudem müssen die Informationen aufbereitet werden, um verwendbar zu sein.

Wie sollen die Informationen gesammelt werden?

Eine Liste mit Softwaren, die als Crawler/ Bot eingesetzt werden kann, findet sich hier.

Programmiersprache

Welche Programmiersprachen eingesetzt werden können, kann man hier nachlesen.

Laufzeitumgebung

Die Abfrage kann entweder lokal, das heißt auf dem Rechner des Nutzers, zum Beispiel des Pricing Managers oder des Mitarbeiters, der die Wettbewerbsanalyse durchführt, laufen oder auf einem Server.

Lokal

Der Vorteil der lokalen Variante ist, dass die Daten sofort auf dem Rechner des Nutzers liegen und verwendet werden können. Sie lassen sich unter Umständen sogar direkt in ein Tabellenkalkulationsprogramm integrieren und erleichtern so die Auswertung.

Nachteilig ist, dass die Daten dann nur dem einen Nutzer zur Verfügung stehen. Zudem belegen große Datenmengen viel Speicherplatz und während der Abfrage kann der Rechner so ausgelastet sein, dass ein Arbeiten daran nicht möglich ist. Zudem sind die Abfragen nur dann möglich, wenn der Rechner eingeschaltet ist.

Server

Die Servervariante hat den Vorteil, dass die Daten jedem zugänglich gemacht werden können, Die Daten können regelmäßig und unabhängig von der Anwesenheit der Nutzer erhoben werden und in der Regel ist mehr Speicherplatz vorhanden. Zudem beeinträchtigt eine laufende Abfrage die Arbeit der Mitarbeiter nicht. Der Nachteil liegt darin, dass es etwas aufwändiger ist, die Daten zu bekommen und evtl. eine Adhoc-Abfrage zu starten.

Gestaltung des Crawlers

Es gibt verschiedene Möglichkeiten, den Crawler zu gestalten. Die wichtigste Frage ist, wie soll der Crawler die benötigten Informationen finden. Möglich sind eine statische Abfrage einer oder mehrerer Produktseiten oder eine dynamische Abfrage der Seite. Auf dieser Seite wird genauer beschrieben, welche Vorteile und Nachteile die Abfragevarianten haben.

 

Von Wem sollen die Informationen gesammelt werden?

Als nächstes muss geklärt werden, welche Wettbewerber überwacht werden. Sinnvoll ist es, die stärksten Konkurrenten zuerst in die Überwachung einzubeziehen. Es sein denn, man hat sich bereits aus anderen Gründen auf ein anderes Konkurrenzunternehmen festgelegt. Die Wahl des zu analysierenden Unternehmens beeinflusst auch wieder die Auswahl der zu erhebenden Informationen.

 

Beispiel 1

Mit der automatischen Wettbewerberüberwachung sollen Veränderungen im Produktsortiment erkannt werden, um darauf zu reagieren. Änderungen im Sortiment sind nicht von heute auf morgen durchführbar und eine Anpassung in Echtzeit ist nicht sinnvoll. Zudem sind Änderungen im Sortiment eher langfristiger Natur. Daher ist es nicht zielführend die Shops der Konkurrenten mehrmals am Tag zu crawlen. Es reicht hier einmal pro Tag oder pro Woche zu überprüfen, ob es Änderungen gegeben hat.

Allerdings müssen hier alle Produkte überwacht werden. Der Crawler muss also so gestaltet sein, dass er neue Produktkategorien und Produkte selbständig erkennt und speichert.

 

Beispiel 2

Der Pricing Manager hat beschlossen, dass die Anpassung der Preise an Änderungen bei Preisen von der Konkurrenz so schnell wie möglich erfolgen soll. Dies ist der Niedrigpreispolitik geschuldet.

Da Preisänderungen bei den Konkurrenten jederzeit auftreten können ist eine engmaschige Überwachung des Wettbewerbers notwendig. Hier kann es sin, dass eine Seite stündlich überwacht wird.

Um den Aufwand gering zu halten, wurden verschiedene Produkte ausgewählt, bei denen eine Preisanpassung in Echtzeit erfolgen soll. Es ist also nicht notwendig die gesamte Seite zu erfassen, sondern nur gezielt einzelne Produkte.

 

Grenzen von Crawlern/ Grenzen der Marktanalyse durch Crawler

Grundsätzlich können Crawler und Robots nur die Informationen sammeln, die auf der Webseite beim dem Besuch vorhanden sind. Dies kann besonders dann von Bedeutung sein, wenn sich die Inhalte dynamisch ändern, indem sie sich beispielsweise an den Besucher und seine Besuchshistorie anpassen. Damit wird es schwierig, zuverlässige und allgemeingültige Daten zu bekommen. So müssten Crawler mit verschiedenen Useragents und Cookies ausgestattet werden, um alle dynamischen Informationen zu erlange. Dies erhöht den Aufwand für die Programmierung, Datenhaltung und Auswertung deutlich.

 

Im Extremfall kann es vorkommen, dass gar keine Aussage über manche Sachverhalte getroffen werden kann, nämlich dann, wenn jeder Besucher ein individuelles Angebot bekommt.

Zudem können Webseiten mit technischen Mitteln gegen Crawler vorzugehen. Zu den Möglichkeiten, Informationen auf der Webseite für Crawler nicht zur Verfügung zu stellen gibt es einen Link.

 

  • Informationen, die das Angebot des Wettbewerbers beeinflussen.
  • Datum des Webseitenbesuches
  • Uhrzeit des Webseitenbesuches
  • Cookies vorhanden/ nicht vorhanden
  • Wenn Cookies vorhanden, Surf- Klick und Kaufverhalten in der Vergangenheit
  • Cookies akzeptiert/ nicht akzeptiert
  • Plugins zum Deaktvieren von bestimmten JavaScripten
  • User Agent String (Betriebssystem, Browser, Laptop oder Mobiles Gerät…)
  • Surf- und Klickverhalten auf der Seite während der Session (welche Produkte wurden angeschaut, welche Sortierreihenfolge wurde gewählt,…)
  • Lagermenge
  • Preise und Angebote anderer Anbieter
  • Welchen Referer habe ich (also von woher gelange ich auf die Seite des Anbieters, komme ich zum Beispiel von Google oder von einer Preisvergleichsseite?)

An dieser Fülle von Einflussmöglichkeiten auf das Angebot, sieht man, dass es schwierig ist, alle Konstellationen auszuprobieren. Zudem sind nur einige der Parameter durch den Crawler beeinflussbar.

 

 

Ein Gedanke zu „Einsatz von Crawlern und Robots in der Wettbewerbsanalyse

  1. Pingback: Preistransparenz | Pricing

Schreibe einen Kommentar