Data Lake: Definition, Architektur, Use Cases und Plattformleitfaden

Jede Organisation generiert mehr Daten, als bestehende Systeme aufnehmen können – und ein Großteil dieser Daten kommt in Formaten an, die klassische Datenbanken schlicht ablehnen. Ein Data Lake löst dieses Problem, indem er zunächst alle Daten speichert und die Analyse für später offenhält. So erhalten Analytikerinnen und Analytiker sowie Data Scientists eine einheitliche Datenbasis, auf der sie ihre Arbeit aufbauen können.

Dieser Artikel beantwortet folgende Fragen:

• Was ist ein Data Lake?
• Wie funktioniert ein Data Lake?
• Was sind die wichtigsten Use Cases eines Data Lake?
• Warum braucht ihr einen Data Lake?
• Wann braucht ihr einen Data Lake?
• Wie unterscheidet sich ein Data Lake von einem Data Warehouse und einem Data Lakehouse?
• Was ist Data-Lake-Architektur?
• Wie implementiert ihr einen Cloud-Data-Lake?
• Was sind die Vorteile und Herausforderungen von Data Lakes?
• Wie wählt ihr die richtige Data-Lake-Plattform aus?

Ein Data Lake ist ein zentrales Repository, das strukturierte, halbstrukturierte und unstrukturierte Daten in ihrem ursprünglichen Rohformat speichert – in beliebiger Größenordnung. Anders als bei relationalen Datenbanken, die Daten bei der Einspeisung transformieren oder ablehnen, übernimmt ein Data Lake alle Daten ohne Vorverarbeitung. Clickstream-Ereignisprotokolle, IoT-Sensordaten, Social-Media-Feeds, PDF-Dokumente und CRM-Exporte können so gemeinsam in einem einzigen Lake gespeichert werden.

Drei Rollen arbeiten am häufigsten mit Data Lakes. Data Engineers bauen die Ingestion-Pipelines, die den Lake speisen. Data Scientists führen explorative Modelle auf rohen, nicht voraggregierten oder gefilterten Daten aus. Analytics Engineers bereiten kuratierte Datensätze aus dem Lake für Business-Intelligence-Tools (BI) und Dashboards auf. Jede Rolle nutzt den Lake aus anderen Gründen – doch alle profitieren von einem gemeinsamen, zentralen Repository statt von verstreuten Kopien derselben Quelldaten.

Der Begriff Data Lake wurde geprägt als Gegenstück zum Data Mart. Ein Data Mart bietet einen kleinen, gefilterten Datenpool, der für einen bestimmten Zweck optimiert ist – etwa für regionale Verkaufsberichte. Ein Data Lake hingegen stellt den gesamten Datenbestand für beliebige, erst später festgelegte Zwecke bereit. Dieser Unterschied ist entscheidend, da er grundlegende Designentscheidungen beeinflusst. Beim Data Mart entscheidet ihr, welche Fragen ihr beantworten wollt, bevor die Daten gespeichert werden. Beim Data Lake speichert ihr die Daten zunächst und bestimmt die relevanten Fragestellungen erst dann, wenn ein konkreter Geschäftsbedarf entsteht.

Data Lakes sind das Rückgrat moderner Datenplattformen, weil sie Speicher und Rechenkapazität voneinander entkoppeln. Daten werden einmal gespeichert, und verschiedene Verarbeitungs-Engines – ob SQL, maschinelles Lernen (ML) oder Streaming – arbeiten direkt auf denselben Dateien, ohne diese zu verschieben. Ein Retailer kann beispielsweise zwei Jahre roher Point-of-Sale-Ereignisse in einem Data Lake ablegen und darauf sowohl ein Bedarfsprognose-Modell als auch einen wöchentlichen Umsatzbericht ausführen – jedes mit einer anderen Rechen-Engine, ohne eine einzige Datei zu duplizieren.

Daten fließen über eine Erfassungsschicht in einen Data Lake ein, die sie aus Quellsystemen – einschließlich Datenbanken, APIs, Event-Streams und Flat Files – abruft und unverändert in einer Rohdatenzone ablegt. Selbst Schema-Fehler im Quellsystem bleiben erhalten, was vor Datenverlust bei Vorfällen in vorgelagerten Systemen schützt. Ändert ein CRM-Anbieter über Nacht einen Feldnamen, erfasst der Data Lake die Datensätze dennoch – und die zuständigen Teams können die Änderung im Bereinigungsschritt abgleichen, anstatt die Daten vollständig zu verlieren.

Nach der Aufnahme durchlaufen die Daten mehrere Verarbeitungszonen. Die Rohzone enthält unveränderte Quelldaten. Die Bereinigungszone speichert validierte und deduplizierte Datensätze. Die kuratierte Zone enthält geschäftsbereite Datensätze. Dieses Drei-Zonen-Muster verhindert, dass Analytikerinnen und Analytiker versehentlich Abfragen auf unbereinigten Daten ausführen, während die Originaldaten für eine erneute Verarbeitung erhalten bleiben. Ein häufiger Fehler ist das vollständige Überspringen der Zonentrennung – was dazu führen kann, dass Dashboards auf Basis unbereinigter Daten erstellt werden und Fehler erst nach der Weitergabe von Berichten an die Führungsebene auffallen.

Die Compute-Ebene ist von der Speicherebene getrennt. SQL-Engines, ML-Frameworks und Stream-Processing-Tools lesen alle aus denselben Dateien. So kann beispielsweise dasselbe Ereignisprotokoll der Kundschaft gleichzeitig ein Betrugserkennungsmodell und einen Marketing-Attributionsbericht speisen, ohne Daten zu kopieren. Diese Trennung bedeutet auch: Das Skalieren der Rechenressourcen für eine anspruchsvolle Verarbeitungsaufgabe erfordert keinen zusätzlichen Speicherplatz – und umgekehrt.

Ein Metadatenkatalog liegt über der Speicherebene und verfolgt, welche Daten vorhanden sind, wo sie gespeichert sind, wer darauf zugreifen kann und wie aktuell sie sind. Ohne einen Katalog kann ein Data Lake schnell zum Datensumpf werden – einem Ort, an dem sich Dateien ansammeln, ohne dass man sie auffinden, verwalten oder steuern kann. Unternehmen, die die Einführung eines Katalogs hinauszögern, stellen in der Regel fest: Innerhalb von sechs Monaten verbringen Dateningenieurinnen und -ingenieure mehr Zeit damit, Datensätze zu suchen, als sie zu analysieren.

Der Datenausgang verbindet den Data Lake mit nachgelagerten Abnehmern. BI-Dashboards, KI- und ML-Pipelines, Customer-Experience-Plattformen und operative Datenbanken beziehen ihre Daten allesamt aus der kuratierten Zone – statt separate Kopien zu pflegen. Dieses Single-Egress-Muster hilft dabei, das bekannte „Drei Versionen des Gesamtumsatzes“ -Problem zu beseitigen, das Unternehmen mit isolierten Datenspeichern plagt.

Data Lakes unterstützen ein breites Spektrum analytischer und operativer Workloads. Zu den häufigsten Use Cases zählen Kundenanalyse, ML, Sicherheitsüberwachung, IoT, Compliance-Reporting und Echtzeit-Entscheidungsfindung.

• Customer-360-Profiling. Unternehmen laden Verhaltensdaten – wie Webklicks, App-Ereignisse und Kaufhistorien – sowie CRM-Datensätze und Support-Tickets in einen einzigen Data Lake, um einheitliche Kundenprofile zu erstellen. Ein Beispiel: Eine Filialbank könnte Filialbesuchsdaten, App-Sitzungsdaten und Callcenter-Transkripte in einem einzigen Data Lake zusammenführen, damit eine nachgelagerte Kundendatenplattform (CDP) eine vollständige Sicht auf jede Kundin und jeden Kunden aufbauen kann. Das ist ein grundlegender Use Case für jedes Unternehmen, das Personalisierung im benötigten Umfang bieten möchte. Adobe Experience Platform spiegelt dieses Muster wider – der verwaltete Data Lake speichert rohe und verarbeitete Kundenereignisse als führendes System, während eine separate Echtzeit-Kundenprofil-Funktion diese Daten zu einer einheitlichen Sicht auf jede Kundin und jeden Kunden zusammenführt – für die Aktivierung über alle Kanäle hinweg.
• ML- und KI-Modelltraining. Data Scientists benötigen Zugang zu großen Mengen historischer, ungefilterter Daten, um präzise Modelle zu trainieren. Ein Data Lake dient als primäres Training-Repository für Empfehlungs-Engines, Churn-Vorhersagemodelle und Bedarfsprognose-Systeme. In diesen Use Cases tragen Datenvielfalt und Datenvolumen direkt zur Modellleistung bei. Ein aggregierter oder zusammengefasster Datensatz aus einem Data Warehouse reicht für das Training robuster ML-Modelle häufig nicht aus.
• Log-Analyse und Sicherheitsüberwachung. Anwendungslogs, Serverereignisse und Netzwerk-Traffic erzeugen große Datenmengen und hohe Schema-Variabilität, mit denen herkömmliche Datenbanken kaum effizient umgehen können. Wer diese Daten in einem Data Lake speichert und mit SQL- oder Streaming-Abfragen auswertet, kann Anomalien in Echtzeit erkennen und nach Vorfällen forensische Analysen durchführen. Ein Security-Operations-Team bei einem SaaS-Unternehmen könnte beispielsweise täglich Milliarden von Authentifizierungsereignissen erfassen und innerhalb von Minuten nach Brute-Force-Angriffsmustern suchen.
• IoT- und Sensordatenverarbeitung. Unternehmen aus Fertigung, Logistik und Versorgungswirtschaft leiten Gerätetelemetrie direkt in einen Data Lake, da die Daten kontinuierlich und in proprietären Binärformaten eintreffen. Analytikerinnen und Analytiker verarbeiten die Daten anschließend – entweder in Batches oder per Stream-Processing – um Geräteausfälle zu erkennen, bevor sie auftreten. Windparkbetreibende speichern beispielsweise Turbinen-Vibrationsdaten in einem Data Lake und führen wöchentlich Predictive-Maintenance-Modelle aus.
• Gesetzeskonforme Archivierung und Prüfung. Unternehmen aus dem Finanzdienstleistungsbereich und dem Gesundheitswesen nutzen Data Lakes als kosteneffiziente, unveränderliche Archivierungsschicht. Rohe Transaktions- oder Patientendaten im Objektspeicher aufzubewahren kostet nur einen Bruchteil dessen, was eine Datenbank erfordern würde – und die Daten bleiben dennoch für Compliance-Audits abfragbar.
• Echtzeitanalysen und Daten-Streaming. Moderne Data Lakes unterstützen Streaming-Datenaufnahme – das bedeutet: Ereignisdaten von einer Website oder App lassen sich innerhalb von Sekunden nach dem Eintreten eines Ereignisses abfragen. Dies ermöglicht Use Cases wie Echtzeit-Angebotsentscheidungen und die Live-Messung von A/B-Tests, bei denen ein nächtlicher Batch-Ladevorgang die Erkenntnisse bereits veralten lassen würde.

Herkömmliche Datenbanken lehnen Daten ab, die nicht einem vordefinierten Schema entsprechen. Trifft eine neue Datenquelle ein – ob aus einer neuen App, einem Drittanbieter-Feed oder einem Sensornetzwerk – kann ein Data Lake diese sofort aufnehmen, während das Schema-Design parallel läuft. Dadurch sinkt die Zeit bis zu verwertbaren Erkenntnissen von Wochen auf Stunden. Ein Marketing-Team, das beispielsweise eine neue App einführt, kann bereits am ersten Tag Roh-Ereignisdaten erfassen – anstatt warten zu müssen, bis das Data-Engineering-Team ein Schema modelliert hat.

Ein zentraler Data Lake verhindert die unkontrollierte Verbreitung isolierter Datenkopien. Ohne ihn erstellt jedes Team typischerweise seinen eigenen Extract, kopiert ihn auf einen lokalen Server und transformiert ihn auf eigene Weise. Das Ergebnis: drei Versionen von Gesamtumsatz, die niemals übereinstimmen. Ein Data Lake mit einem gemeinsamen Katalog schafft eine einzige verlässliche Datenquelle, die jedes Team abfragen kann.

Kosteneffizienz ist ein weiterer entscheidender Faktor. Rohdaten im Objektspeicher eines Cloud-Data-Lakes zu speichern – etwa in Amazon S3, Azure Data Lake Storage oder Google Cloud Storage – kostet pro Terabyte deutlich weniger als die Speicherung vergleichbarer Daten in einer relationalen Datenbank. Unternehmen, die große Mengen historischer Daten aus einem Data Warehouse in einen Data Lake migrieren, stellen häufig fest, dass die Speicherkosten für Cold-Data-Tiers um 80 % oder mehr sinken.

Data Lakes sichern außerdem die Zukunftsfähigkeit des Analyse-Stacks. Da Daten in offenen Dateiformaten wie Parquet, Optimized Row Columnar (ORC) oder Delta Lake gespeichert werden, sind Unternehmen nicht an die Verarbeitungs-Engine eines einzigen Anbieters gebunden. Der Wechsel von einer SQL-Engine zur anderen ist jederzeit möglich – ganz ohne erneute Datenaufnahme.

Schließlich ist ein Data Lake eine Grundvoraussetzung für KI und ML im großen Maßstab. KI-Modelle brauchen Zugriff auf die vollständige, unverarbeitete Historie eines Datensatzes – keine zusammengefasste oder aggregierte Momentaufnahme. Für Unternehmen, die prädiktive oder generative KI-Funktionen im Unternehmensmaßstab aufbauen, ist ein Data Lake daher strukturell unverzichtbar.

• Wenn das Datenvolumen die Datenbank übersteigt. Sobald eine Transaktionsdatenbank für Analyseabfragen genutzt wird, verlangsamt sie sich für beide Workloads. Ein Data Lake entlastet das System von analytischen Abfragen und schützt operative Systeme vor Abfragekonflikten. Ein mittelgroßes E-Commerce-Unternehmen, das Reporting-Abfragen gegen seine operative Auftragsdatenbank ausführt, ist ein klassischer Anwendungsfall.
• Wenn die Datenvarianz das Schema sprengt. Sobald ein Unternehmen strukturierte Datensätze (Bestellungen, Konten und mehr) mit unstrukturierten Inhalten (E-Mails, PDFs und Bilder) oder halbstrukturierten Feeds (JSON-Ereignisse, XML-Dateien und mehr) kombinieren muss, wird eine schemagebundene Datenbank zum Flaschenhals. Ein Data Lake verarbeitet alle drei Typen nativ.
• Wenn Teams explorativen Zugriff benötigen. Wenn Data Scientists wöchentlich Rohdatenexporte beim DBA-Team anfordern, beseitigt ein Data Lake mit reguliertem Self-Service-Zugriff diesen Engpass vollständig. Analytikerinnen und Analytiker können den Lake direkt abfragen – mit den entsprechenden Zugriffskontrollen –, während sich das DBA-Team auf den reibungslosen Betrieb der Datenbank konzentrieren kann.
• Wenn die Latenz bei der Batch-Analyse zu hoch ist. Wenn ein Unternehmen innerhalb von Minuten auf Daten reagieren muss, statt auf nächtliche Batch-Fenster zu warten, kann die Kombination aus Data Lake, Streaming-Ingestion-Ebene, Datenpipeline und Stream-Verarbeitungs-Engine die Latenz nahezu auf Echtzeit reduzieren – ohne die Batch-Ebene zu ersetzen.
• Wenn regulatorische Aufbewahrungspflichten eine kostengünstige Archivierung erfordern. Branchen mit mehrjährigen Aufbewahrungsfristen – wie Finanzdienstleistungen, Gesundheitswesen und Rechtsdienstleistungen – nutzen einen Data Lake häufig als gestuftes Archiv. Aktuelle Daten verbleiben im Warehouse für schnelle Abfragen, während ältere Daten im Data Lake zu einem Bruchteil der Kosten gespeichert werden.

Ein Data Warehouse speichert vorab modellierte, strukturierte Daten, die für schnelle BI-Abfragen optimiert sind. Es setzt auf einen Schema-on-Write-Ansatz: Daten müssen bereinigt und transformiert werden, bevor sie geladen werden. Ein Data Lake hingegen folgt dem Schema-on-Read-Ansatz – Rohdaten werden zunächst unverändert gespeichert und erst beim Abruf strukturiert.

In der Praxis zeigt sich folgender Unterschied: Ein Data Warehouse ist schneller bei bekannten, wiederkehrenden Abfragen – etwa dem monatlichen Umsatz nach Region –, eignet sich jedoch weniger für unstrukturierte Daten oder die Ad-hoc-Analyse von Rohdaten. Ein Data Lake kann bei strukturierten Abfragen zwar langsamer sein, unterstützt jedoch beliebige Datentypen und ML-Workloads, die ein herkömmliches Data Warehouse nicht bewältigen kann.

Ein Data Lakehouse ist eine neuere Hybridarchitektur, die die offenen Speichermöglichkeiten eines Data Lake mit ACID-Transaktionsunterstützung und den Leistungsoptimierungen eines Data Warehouse vereint. Technologien wie Delta Lake und Apache Iceberg ergänzen Objekt-Storage um Metadaten auf Tabellenebene, Versionierung und Time-Travel-Funktionen – und bieten damit die Zuverlässigkeit und Governance eines Data Warehouse im Maßstab eines Data Lake.

Die wichtigsten Unterschiede: Data Lake vs. Data Warehouse vs. Data Lakehouse

Die Wahl zwischen den drei Ansätzen hängt von der vorherrschenden Arbeitslast ab. Wenn 80 % der Abfragen Standard-BI-Berichte sind, ist ein Data Warehouse in der Regel besonders gut geeignet. Wenn ein Unternehmen ML-Pipelines betreibt oder rohe Event-Streams speichern muss, ist ein Data Lake oder Lakehouse oft die bessere Wahl. Heute setzen die meisten Unternehmensdatenplattformen auf alle drei Technologien innerhalb einer mehrstufigen Architektur.

Die Data-Lake-Architektur beschreibt das mehrschichtige System von Komponenten, das steuert, wie Daten in den Data Lake eingespeist werden, ihn durchlaufen und ihn verlassen. Die fünf Kernebenen sind Datenaufnahme, Speicherzonen, Verarbeitung, Katalogisierung und Governance sowie Nutzung. Jede Ebene hat eine klar definierte Aufgabe. Werden diese Ebenen vermischt – zum Beispiel, indem Daten bereits bei der Aufnahme transformiert werden –, entstehen technische Schulden, die sich nur mit erheblichem Aufwand beheben lassen.

• Datenaufnahme. Konnektoren und Datenpipelines übertragen Daten aus Quellsystemen – entweder nach einem festgelegten Zeitplan oder in Echtzeit per Daten-Streaming. Batch-Konnektoren verarbeiten Datenbankexporte und Dateiübertragungen, während Streaming-Konnektoren Ereigniswarteschlangen (wie Kafka und Kinesis) und IoT-Telemetrie bedienen. Ob Batch- oder Streaming-Datenaufnahme die richtige Wahl ist, hängt davon ab, wie schnell nachgelagerte Systeme die Daten benötigen. Eine nächtliche Produktkatalog-Synchronisierung eignet sich gut für die Batch-Verarbeitung, während eine Betrugsmeldung, die durch eine Kreditkartentransaktion ausgelöst wird, Streaming erfordert.
• Speicherzonen. Die Rohzone speichert unveränderliche Quelldaten. Diese sollten niemals überschrieben oder gelöscht werden – es sei denn, Aufbewahrungsrichtlinien schreiben dies vor. Die Bereinigungszone enthält validierte, deduplizierte Datensätze, während die kuratierte Zone geschäftsbereite, häufig aggregierte Datensätze bereitstellt. Diese Trennung stellt sicher, dass Daten bei einem Fehler in der Bereinigungslogik aus der Rohzone erneut verarbeitet werden können – ohne Informationsverlust.
• Verarbeitung und Computing. Verteilte Verarbeitungs-Engines (wie Apache Spark, Presto, Trino und Flink) lesen Daten aus Speicherzonen und schreiben die Ergebnisse in nachgelagerte Zonen oder externe Systeme. Die Verarbeitung kann Batch-basiert (geplante Nachtjobs), Micro-Batch (alle paar Minuten) oder Streaming (kontinuierlich) erfolgen. Stream-Verarbeitung wird in Use Cases wie Echtzeit-Personalisierung und Betrugserkennung zunehmend häufiger eingesetzt. Die Trennung von Rechenleistung und Speicher ermöglicht es, die Verarbeitungskapazität unabhängig von den Speicherkosten zu skalieren.
• Katalogisierung und Governance. Ein Datenkatalog erfasst jeden Datensatz mit Schema, Herkunft, Eigentümer, Klassifizierung und Zugriffsrichtlinien. Fehlt diese Ebene, verbringen Dateningenieurinnen und Dateningenieure oft mehr Zeit mit der Suche nach Daten als mit deren Analyse – und Compliance-Audits werden zu aufwendigen, fehleranfälligen Prozessen. Datenqualitätsregeln und die Herkunftsverfolgung werden auf dieser Ebene angewendet, nicht auf der Speicherebene.
• Nutzung. BI-Tools, KI- und ML-Plattformen, APIs und operative Datenbanken verbinden sich mit der kuratierten Zone. Eine durchdachte Nutzungsebene stellt saubere, versionierte Datensätze über eine semantische Ebene oder Daten-API bereit – so bleiben nachgelagerte Nutzende von Änderungen in der zugrunde liegenden Speicherstruktur abgeschirmt.

Cloud-Data-Lakes basieren auf Objektspeicherdiensten, die Speicher und Compute voneinander entkoppeln. Die drei führenden Cloud-Anbieter stellen jeweils einen verwalteten Objektspeicher als Fundament eines Data Lakes bereit: Amazon S3 (AWS), Azure Data Lake Storage Gen2 (Microsoft Azure) und Google Cloud Storage (Google Cloud). Alle drei unterstützen offene Dateiformate, differenzierte Zugriffssteuerung und gestaffelte Speicherpreise.

• Lift-and-shift. Bei diesem Ansatz werden bestehende On-Premise Hadoop Distributed File System (HDFS)-Cluster in den Cloud-Objektspeicher migriert. Die vorhandene Verarbeitungslogik bleibt dabei erhalten, allerdings wird die cloud-native elastische Rechenkapazität nicht vollständig ausgeschöpft. Er eignet sich besonders für Unternehmen, die bereits erheblich in Hadoop investiert haben und den Infrastrukturaufwand schnell reduzieren möchten.
• Cloud-nativer Aufbau. Der Data Lake wird von Grund auf mit verwalteten Cloud-Services konzipiert – für die Datenaufnahme (Tools wie AWS Glue, Azure Data Factory oder Google Cloud Dataflow), Speicherung (Objektspeicher), Verarbeitung (verwaltetes Spark oder Presto) und Katalogisierung (AWS Glue Data Catalog, Microsoft Purview oder Google Dataplex). Dieser Ansatz reduziert den Betriebsaufwand erheblich, erfordert jedoch in der Regel eine Neuarchitektur bestehender Pipelines.
• Lakehouse in der Cloud. Durch das Hinzufügen eines Tabellenformats (wie Delta Lake, Apache Iceberg oder Apache Hudi) über dem Cloud-Objektspeicher lassen sich ACID-Transaktionen, Schema-Evolution und Zeitreise-Abfragen realisieren. Plattformen wie Databricks nutzen diesen Ansatz bereits, und er etabliert sich zunehmend als Standard für neue Enterprise-Data-Lake-Implementierungen. Unternehmen, die dieses Muster einsetzen, kombinieren es häufig mit einer Streaming-Datenplattform, um sowohl Echtzeit- als auch Batch-Workloads auf derselben Speicherebene zu unterstützen.

Wichtige Governance-Entscheidungen sollten bereits beim Deployment getroffen werden – nicht nachträglich angepasst. Legt Aufbewahrungsrichtlinien fest, bevor sich Daten ansammeln, denn nachträgliche Bereinigungen sind kostspielig. Setzt auf der Speicherebene eine Verschlüsselung auf Spaltenebene für personenbezogene Daten (PII) durch. Führt Tag-basierte Zugriffskontrollen ein, damit neue Datensätze automatisch die richtigen Richtlinien übernehmen.

Kostenmanagement in einem Cloud Data Lake erfordert aktives Monitoring. Speicherkosten sind zwar niedrig, steigen jedoch linear mit dem Datenvolumen. Ohne Lifecycle-Richtlinien, die selten genutzte Daten in Archiv-Tiers verschieben, drohen die Lake-Kosten schneller zu wachsen als der tatsächliche Datenwert. Rechenkosten sind das größere Risiko: Nicht optimierte Abfragen auf einem großen Lake können in einem einzigen Durchlauf erhebliche Rechenkosten verursachen.

Die Kernvorteile eines Data Lake sind hinlänglich bekannt:

• Schema-Flexibilität. Ein Data Lake akzeptiert nahezu jedes Datenformat, ohne dass eine vorherige Modellierung erforderlich ist – neue Datenquellen lassen sich so in Stunden statt Wochen integrieren.
• Kosteneffiziente Speicherung. Objektspeicher ist pro Terabyte deutlich günstiger als herkömmliche Datenbankspeicher – und macht eine mehrjährige Datenhaltung wirtschaftlich rentabel.
• Unterstützung für KI und ML. Data Scientists erhalten direkten Zugriff auf vollständige, unbearbeitete historische Daten – ganz ohne Extrakt-Anfragen an das DBA-Team.
• Single Source of Truth. Ein einziges, verwaltetes Repository eliminiert redundante Kopien und den damit verbundenen Abstimmungsaufwand.
• Unabhängige Skalierbarkeit. Speicher- und Rechenressourcen lassen sich unabhängig voneinander skalieren – Spitzen beim Datenaufkommen erzwingen daher keine Upgrades der Rechenkapazität.

Die Herausforderungen sind ebenso gewichtig. Das Risiko, einen sogenannten Datensumpf zu erzeugen, ist die am häufigsten genannte Sorge. Ohne durchgesetzte Metadaten, Herkunftsverfolgung und Zugriffsverwaltung kann ein Data Lake zu einer unkontrollierbaren Ansammlung von Dateien werden. Unternehmen, die die Katalogebene beim Deployment überspringen, stellen regelmäßig fest, dass Data Engineers mehr Zeit damit verbringen, Daten zu suchen, als sie tatsächlich zu nutzen.

Datenqualität entsteht nicht von selbst. Ein Data Lake akzeptiert alle eingehenden Daten – darunter fehlerhafte Datensätze, doppelte Ereignisse und Schema-Drift aus Quellsystemen. Datenqualität muss in der Bereinigungszone durch explizite Validierungsregeln sichergestellt werden. Sie ergibt sich nicht allein aus der Speicherung.

Auch die Komplexität in den Bereichen Sicherheit und Compliance wächst mit einem Data Lake. Werden personenbezogene Daten (PII), Finanzdaten und Gesundheitsdaten gemeinsam mit operativen Daten in einem einzigen Lake gespeichert, entsteht eine erhebliche Angriffsfläche. Deshalb müssen Verschlüsselung auf Spaltenebene, attributbasierte Zugangskontrolle und Audit-Logging von Anfang an als grundlegende Architekturentscheidungen verankert werden – nicht als nachträgliche Ergänzungen.

Aus organisatorischer Sicht erfordert ein Data Lake eine bereichsübergreifende Verantwortung. Oft übernehmen verschiedene Teams die Bereiche Speicherung, Datenaufnahme, Governance und Verarbeitung. Fehlen ein dediziertes Datenplattform-Team und ein einheitlicher Standard für Datenverträge, kann der Lake in teamspezifische Bereiche zerfallen – und damit genau die Silos neu schaffen, die er eigentlich beseitigen sollte.

Schließlich gibt es auch Performance-Kompromisse zu beachten. Ad-hoc-Abfragen auf große, nicht partitionierte Datensätze in einem Data Lake sind langsamer als gleichwertige Abfragen in einem Data Warehouse. Unternehmen, die sowohl flexible Datenexploration als auch schnelle BI-Antwortzeiten benötigen, setzen in der Regel auf eine Data-Lakehouse-Architektur oder betreiben ein separates Data Warehouse, das aus der kuratierten Zone des Data Lake gespeist wird.

Die richtige Data-Lake-Plattform hängt von eurer aktuellen Infrastruktur, dem primären Workload und den Governance-Anforderungen ab. Vier typische organisatorische Ausgangssituationen lassen sich verschiedenen Plattformtypen zuordnen:

1. Cloud-nativ, ohne bestehende Hadoop-Infrastruktur und mit Präferenz für Managed Services. Wählt eine Cloud-native Data-Lakehouse-Plattform wie Managed Databricks, Snowflake mit externen Tabellen oder Google BigLake.
2. Erhebliche bestehende Investitionen in AWS, Azure oder Google Cloud. Erweitert zunächst die nativen Data-Lake-Dienste eures bestehenden Cloud-Anbieters, bevor ihr Plattformen von Drittanbietern evaluiert. Der Integrationsaufwand beim Hinzufügen eines neuen Anbieters überwiegt in der Regel die marginalen Funktionsvorteile.
3. Primärer Workload mit Fokus auf Kundendaten-Aktivierung und Echtzeit-Personalisierung statt auf Analyse. Evaluiert eine CDP, die einen Data Lake mit einem dedizierten Kundenprofil-Speicher kombiniert. Adobe Experience Platform beispielsweise nutzt einen verwalteten Data Lake als System of Record für aufgenommene Daten. Dieser speist ein separates Real-Time Customer Profile, das Kundendaten vereinheitlicht und Echtzeit-Segmentierung sowie Journey-Aktivierung ermöglicht. Die Daten werden einmalig aufgenommen und für Analyse- und Aktivierungs-Use-Cases bereitgestellt – statt in einen separaten Marketing-Stack kopiert zu werden.
4. Unternehmensumgebungen mit Multi-Cloud- oder Hybrid-Anforderungen. Evaluiert Plattformen, die offene Tabellenformate wie Delta Lake und Iceberg unterstützen, um das Risiko einer Anbieterabhängigkeit auf Speicherebene zu reduzieren.

Alle Käuferinnen und Käufer sollten einheitliche Bewertungskriterien anwenden:

• Unterstützung offener Formate. Könnt ihr auf eure Daten mit einer anderen Verarbeitungs-Engine zugreifen, wenn ihr den Anbieter wechselt?
• Governance-Reife. Verfügt die Plattform über einen integrierten Katalog, Lineage-Tracking und Sicherheit auf Spaltenebene – oder sind diese Funktionen nur als Add-ons erhältlich?
• Streaming- und Batch-Parität. Kann die Plattform sowohl Echtzeitdaten-Streaming als auch nächtliche Batch-Verarbeitung auf derselben Infrastruktur abwickeln?
• Gesamtbetriebskosten. Berücksichtigt neben dem Speicherpreis pro Terabyte auch Egress-Gebühren, Rechenkosten für inaktive Cluster und den technischen Aufwand für die Pipeline-Wartung.
• Ökosystem-Integrationen. Wie viele eurer bestehenden Quellsysteme und nachgelagerten Tools lassen sich nativ anbinden – und wie viele benötigen benutzerdefinierte Konnektoren?

Für Data-Lake-Deployments im Unternehmensmaßstab ist die Plattformentscheidung untrennbar mit dem Data-Governance-Modell verbunden. Unternehmen, die eine Plattform mit robusten Governance-Grundfunktionen wählen – wie attributbasierter Zugriffskontrolle, Audit-Logs oder Datenverträgen –, berichten durchgängig von geringeren Korrekturkosten, wenn sich Compliance-Anforderungen ändern. Die Bewertung einer Data-Lake-Lösung für Unternehmen sollte einen Proof of Concept umfassen, der Governance unter realistischen Datenvolumina und Team-Zugriffsmustern testet – nicht nur die Geschwindigkeit der Datenaufnahme.

Bevor ihr euch für eine Data-Lake-Plattform entscheidet, solltet ihr drei Faktoren bewerten: die Anzahl der Datenquellen, die innerhalb der ersten 90 Tage angebunden werden sollen, ob das Data-Science-Team Notebook-Zugriff auf Rohdaten benötigt oder ausschließlich mit kuratierten Datensätzen arbeitet, sowie die Compliance-Klassifizierung der aufzunehmenden Daten. Diese drei Faktoren helfen euch dabei zu bestimmen, ob ihr einen universellen Data Lake, ein Lakehouse oder eine domänenspezifische Plattform wie ein CDP benötigt.

Wie Adobe eurem Unternehmen helfen kann

Wenn die Vereinheitlichung von Kundendaten für Echtzeit-Personalisierung und Aktivierung eure oberste Priorität ist, erfahrt, wie Adobe Experience Platform einen verwalteten Data Lake für Speicherung und Analyse mit einem Echtzeit-Kundenprofil kombiniert – konzipiert, um Kundendaten für Segmentierung und Journey-Orchestrierung im Unternehmensmaßstab zu vereinheitlichen.

Mehr erfahren, was Adobe Experience Platform für euch leisten kann.