Big Data Award 2012: Computerwoche zeichnet EXASOL aus

Dynamisch skalierbare Lösung verarbeitet polystrukturierte Daten in Echtzeit

Die EXASOL AG und die xplosion interactive GmbH wurden für das Projekt „Dynamisch von Hadoop zum Retargeting mit EXASolution“ beim Big Data Award 2012 der Computerwoche mit dem dritten Platz ausgezeichnet.

Die Kombination aus In-Memory-Datenbank und Handmade-Retargeting ermöglicht Werbetreibenden und E-Commerce-Betreibern, ihre Online-Werbung gezielter und kosteneffektiver einzusetzen. Mit der neuen xData Platform lassen sich selbst sehr große Datenmengen zur Steuerung von Angeboten auf Webseiten intelligent verarbeiten und nutzbar machen. Produktangebote können so mehrstufig selektiert werden, um potenziellen Kunden optimale Empfehlungen geben zu können. Durch gezielte Steuerung der Werbeauslieferung (Frequency Cap) wird dem Nutzer in begrenzter Anzahl nur die Werbung eingeblendet, die für ihn interessant ist. Nicht zuletzt tragen Conversion-basierte Abrechnungsformen (Cost per Order) zur fairen Zusammenarbeit zwischen den Beteiligten bei.

Mit dynamisch personalisiertem Retargeting zum Kauf

Während sich der Besucher in einem Webshop umsieht, profiliert xplosion interactive das Kauf- und Suchverhalten und nutzt dies als Basis für persönliche Produktvorschläge. Verlässt der Interessent die Seite, erhält er anschließend personalisierte Bannerwerbung. Durch komplexe Data-Science-Methoden werden Interessensfelder und Affinitäten analysiert und ermittelt. Diese steigern die Qualität und Relevanz der in Echtzeit generierten Werbemittel. Mit einem Klick auf das Werbebanner wird der potenzielle Kunde erneut auf die Produktseite des Anbieters zurückgeführt und zum Kauf angeregt.

Die neue Herausforderung: Polystrukturierte Daten in Form bringen

„Mehr als 60 unserer Kunden, darunter SportScheck, Baur oder opodo.de, setzen auf xplosion und generieren damit mehr als 2 Milliarden Datenpunkte pro Monat. Die Menge an Rohdaten steigt monatlich um 0,5 TB an, insgesamt werden über 8 TB für Analysen verwendet“, erläutert Nils Grabbert, Director Data Science bei xplosion. Diese enormen heterogenen Datenmengen zu verarbeiten und intelligent zu nutzen, war die Herausforderung für dieses Projekt. Mit der dynamisch skalierbaren xData-Platform-Lösung, die als zentrales Datenlager für Realtime-Data-Mining-Systeme und Reportings fungiert, ist man in der Lage, polystrukturierte Daten aus unterschiedlichsten Quellen zu verarbeiten. Unter „Polystruktur“ fallen dabei sämtliche Daten, die in Unternehmen bereits strukturiert zum Beispiel in Form von Kennzahlen, aber auch semi-strukturiert beispielsweise als XML-Datei oder unstrukturiert in Form von Blog-Einträgen oder Kommentaren vorliegen.

Das Besondere an der neuen Plattform ist, dass sie bereits im ersten Schritt alle polystrukturierten Daten permanent über das Messaging-System Apache Kafka in das Hadoop Distributed File System zieht. Dort werden sie in ihrer ursprünglichen Form als Rohdaten gespeichert. Metadaten extrahieren daraufhin die Daten heraus, die tatsächlich zur weiteren Analyse verwendet werden sollen. Aus ursprünglich unstrukturierten Daten werden semi-strukturierte Daten, die letztendlich in eine strukturierte Form gebracht werden, um Analysen in Echtzeit zu ermöglichen. Die dynamische Metadaten-Verwaltung vereinfacht dabei die komplexen Abläufe enorm. Neue Felder können direkt hinzugefügt werden. Einmal eingefügt, automatisieren sich die Einträge über das ganze System hinweg von alleine.

Quelle: xplosion interactive GmbH

Gesamtarchitektur mit einer Quelle für alle Daten und angeschlossenen Systeme

Die spaltenorientierte Datenbank EXASolution speichert als zentrales Data Warehouse sämtliche Informationen aus Web-Logdaten der Retargeting-Anwendung. Zentraler Kern neben dem Data Warehouse ist darüber hinaus die Anbindung der polystrukturierten Daten an das Hadoop Framework. Der Aufbau dieses Rohdatenspeichers stellt in der Gesamtarchitektur den Single Point of Truth (SPOT) dar. Dieser verwaltet und steuert alle angeschlossenen dispositiven Systeme wie zum Beispiel das Data Warehouse oder die Operative Data Unit. Die Daten, die das aktuelle Verhalten der Nutzer auf Webseiten widerspiegeln, können somit mit Daten des historischen Kaufverhaltens des Kunden zusammengeführt und analysiert werden.

„Die Herausforderung in Zeiten von Big Data ist, Daten in unterschiedlichen, auch vorab nicht bekannten Strukturen für die Analyse nutzbar zu machen. Mit xplosion interactive ist es uns gelungen, eine dynamisch skalierbare Lösung zu entwickeln, die aus verschiedensten Quellen polystrukturierte Daten in Echtzeit auswertet. Kunden können so ihre Retargeting-Kampagnen stetig optimieren, ihre Umsätze steigern und ihr E-Business erfolgreicher gestalten“, so Steffen Weissbarth, CEO der EXASOL AG.

Kontakt: Simon Zentgraf, PR- und Social-Media-Referent, EXASOL AG, presse@exasol.com

www.exasol.com

Bild 1: Quelle: EXASOL AG