Data Lake vs. Data Warehouse

Geht es um die Speicherung großer Datenmengen, kommt man um die Begriffe Data Lake und Data Warehouse kaum herum. Vielen Unternehmen stellt sich früher oder später die Frage, welche der beiden Lösungen für welchen Anwendungsfall geeignet ist. In diesem Beitrag widme ich mich mit Erkenntnissen aus aktuellen Projekten in Kombination mit Erfahrungen und Versprechungen der Vergangenheit dem Thema Data Lake vs. Data Warehouse.

Dabei führt eigentlich schon der Titel in die Irre: „vs“ – wieso eigentlich „versus“, also entweder – oder? Das Thema „Data Warehouse“ ist und bleibt aktuell. Tatsächlich nehme ich bei unseren Kund*innen oft genau diese Vorstellung „entweder – oder“ wahr. In weiteren Gesprächen stellen wir zusammen fest, ob (und wie) ein integrierter Ansatz nicht viel sinnvoller ist, bzw. wie die beiden Ansätze sich ergänzen.

Unternehmen weisen ein unterschiedliches Verständnis davon auf, welche Mehrwerte Informationen potenziell bieten. In Abhängigkeit dessen variieren die Anforderungen an analytische Fähigkeiten und damit entsteht auch die Notwendigkeit in der Bereitstellung unterschiedlicher Technologien.

Unternehmen, die wenig Mehrwerte in der Nutzung von Informationen sehen, werden ihre Aktivitäten in diesem Bereich auf die reine Bereitstellung der Daten zur historischen Betrachtung beschränken. Andere Unternehmen, die vielleicht sogar Informationen als Teil ihres Geschäftsmodells sehen, werden Daten sammeln, deren Wert derzeit möglicherweise noch fraglich ist und später mithilfe AI-gestützter Algorithmen Methoden finden, um den Inhalt zu verstehen und Mehrwerte zu generieren. Die höchste Stufe erreichen Unternehmen, die Informationen als zentralen Baustein all ihrer Aktivitäten verstehen und diese damit ergänzen: Sei es in der Produktion durch Ausschussreduktion, im Controlling durch vorausschauendes Cashflow Management, im Vertrieb durch gezielte Kundenansprache, oder oder oder…

Aus diesen Überlegungen ergeben sich die Anforderungen an die analytische Plattform: Data Warehouse, Data Lake? Womöglich beides oder besser noch eine Planungsapplikation mit OLAP? Die Möglichkeiten sind groß und der Bedarf nach der passenden Architektur ebenfalls. 

Warum also nicht beide Ansätze kombinieren, wenn der Bedarf besteht: Ausbau um zusätzliche Daten (Menge & Format!) einerseits und analytische Fähigkeiten andererseits.

An dieser Stelle sei darauf hingewiesen, dass es nach meiner Einschätzung mindestens einer weiteren Aktivität bedarf, damit der Data Lake langfristig erfolgreich wird: Data Governance.

Während im Data Warehouse, bedingt durch die Architektur, oftmals der Datenbewirtschaftungsprozess und das Datenmodell klar definiert sind – wir erinnern uns: alles beginnt mit dem Datenmodell – werden im Data Lake möglicherweise sämtliche Daten des Unternehmens bevorratet. Es ist unabdingbar, diese Daten zu katalogisieren, einen Dateneigentümer („Data Steward“) zu benennen und ebenfalls ein Qualitäts- und Schutzkonzept für diese Daten zu implementieren.

Damit soll ausdrücklich nicht gesagt werden, dass darauf in einem Data Warehouse verzichten werden sollte! Die Erfahrung hat allerdings gezeigt, dass in Data Warehouse-Projekten aus den o. g. Gründen oft darauf verzichtet wird, solange dies nicht regulatorisch vorgeschrieben ist.

Data Warehouse und Data Lake ergänzen sich perfekt. Die Schichtenmodelle sind so unterschiedlich nicht!

Je nach absehbaren Anforderungen sollte bei der Auswahl der Technologie hinsichtlich Menge und Vielfalt eine gewisse Skalierbarkeit berücksichtigt werden, um einerseits für den Moment „nicht mit Kanonen auf Spatzen zu schießen“, andererseits nicht in Projekte zu investieren, die die notwendige Skalierung nicht zulassen. Der Ansatz eines „Data Lake Workshops“ hat sich dabei bewährt: umfangreiche Analyse der Ist-Situation, Integration aller Stakeholder und sorgfältige Planung einer Architektur und dann die Ableitung eines Vorgehens und einer Technologie.

Ergänzend sei an dieser Stelle erwähnt, dass im aktuell top-aktuellen Thema „Data Fabric“ viele Aspekte des Data Warehouse- / Data Lake-Konzeptes aufgenommen und ergänzt wurden. Insbesondere die Notwendigkeit eines Datenkataloges, der Möglichkeit der kombinierten Datenanalyse auf Daten unterschiedlicher Quellen on-the-fly und in Echtzeit, werden konsequent weitergedacht. Mehr zu diesem Thema in einem separaten Blogbeitrag.