Innovationsthema

Datenarchitekturen & Analytics-Plattformen

Technologie

Trend: Im Wandel

Relevanz: Mittel

Adaptionsreife: Weit verbreitet

Intelligente Prozessautomatisierung, Tier 1 – Sofortige Implementierung (HOCH), Moderne Dateninfrastruktur, Systemüberwachung & -analyse

Moderne Datenarchitektur trennt klar zwischen operativer Verarbeitung und Analyse. Data Lakes, Streaming-Plattformen und Self-Service-Tools schaffen eine performante Basis für KI, Analytics und datengetriebene Entscheidungen – bei voller Kontrolle über Qualität, Sicherheit und Governance.

Dieses Feld überschneidet sich teilweise mit der strategischen Datenstrategie, fokussiert hier aber auf die technischen Plattformen und Tools.

Technisch umfasst die Modernisierung der Datenarchitektur die Einführung skalierfähiger Datenplattformen, Tools für Big Data und Analytics sowie die Infrastruktur für Künstliche Intelligenz. Hier geht es um Datenbanken (relational, NoSQL, NewSQL), Data Warehouses, Data Lake Umgebungen, Streaming-Plattformen und analytische Engines. Moderne Architektur trennt oft Transaktionale Systeme (OLTP) von Analytischen Systemen (OLAP) klar und setzt auf spezielle Lösungen für jeweils optimale Performance. Auch der Aufbau von Self-Service Analytics (BI-Portale, Notebooks für Data Science) gehört dazu. Ziel ist eine flexible, performante Umgebung, in der Data Engineers, Analysten und Data Scientists schnell mit Daten arbeiten können - und die gleichzeitig Datenqualität, Sicherheit und Governance gewährleistet.

Trends

Polyglot Persistence: Der „One-size-fits-all“ Ansatz bei Datenbanken ist vorbei. Je nach Anwendungsfall werden spezialisierte Datenbanken eingesetzt: z. B. NoSQL-Datenbanken (MongoDB, Cassandra) für flexible JSON-Daten, Time-Series DBs (InfluxDB, Timescale) für Sensordaten, Graphdatenbanken (Neo4j) für Beziehungsdaten oder In-Memory Data Grids (Redis) für Hochgeschwindigkeit. Durch Microservice-Architekturen darf jeder Service seinen optimalen Datenspeicher wählen. Das erfordert allerdings auch Datenintegrationskonzepte, um Übersicht zu behalten.

Unified Data Platforms: Im Analytics-Bereich verschmelzen Data Lake und Data Warehouse Architekturen zum Lakehouse (z. B. basiert auf Apache Spark/Delta Lake oder Databricks). Diese erlauben gleichzeitig strukturierte Abfragen (SQL) und unstrukturierte Verarbeitung (ML, Python etc.) auf denselben Daten. Cloud-Anbieter bieten immer mehr Serverless-Analytics (BigQuery, Athena), wo man sich nicht mehr um Infrastruktur kümmern muss. Real-Time Analytics mit Streaming-SQL (Apache Flink SQL, Kafka ksqlDB) wird genutzt, um direkt auf eintreffenden Daten Analysen zu fahren (z. B. Echtzeit-Dashboard über eingehende IoT-Daten).

AutoML und Augmented Analytics: Die Tool-Unterstützung für Datenanalyse wird intelligenter. AutoML-Frameworks übernehmen die Modellselektion und Hyperparameter-Optimierung in Machine Learning weitgehend automatisch. Augmented Analytics integriert KI direkt in BI-Tools - z. B. automatische Anomalieerkennung in Dashboards oder mittels NLP Fragen in natürliche Sprache an Daten stellen („Welche war unsere profitabelste Produktkategorie im letzten Quartal?“ -> Tool generiert Antwort/Grafik). Dadurch können auch Nicht-Data-Scientists komplexe Analysen durchführen.

Herausforderungen

Datenintegration & Silos: Technische Modernisierung löst nicht automatisch die Herausforderung, Daten aus vielen Quellen konsistent zusammenzuführen. ETL/ELT-Prozesse müssen teils neu gebaut werden für neue Plattformen. Bei polyglotten Speichern steigt zunächst die Komplexität - ohne gutes Data Cataloging finden Nutzer nicht, wo welche Daten liegen. Altdatenarchivierung (z. B. historische Daten aus Altsystem vor Migration) muss gelöst werden, damit Alt-Systeme stillgelegt werden können, aber Daten nicht verloren gehen.

Performance Tuning: Moderne Datenplattformen bringen Flexibilität, aber es erfordert Expertise, sie auch performant zu betreiben. Falsch konfigurierte Cluster oder unoptimierte Abfragen können Kosten explodieren lassen (z. B. teure Cloud-Abfragen) oder Antworten zu langsam liefern. Das Monitoring und Optimieren von Data Pipelines, Query-Performance und Ressourcenauslastung ist weiterhin komplex - erfordert teils neue Tools (z. B. Datadog, Monte Carlo für Data Observability).

Security & Privacy by Design: Mit mehr Zugriffsmöglichkeiten (Self-Service) und breiterer Nutzerschaft müssen Zugriffe fein granular gesteuert werden. Row-Level- und Column-Level-Security, Data Masking für sensible Felder etc. müssen technisch eingerichtet werden, damit Datenschutz und Need-to-know Prinzip eingehalten wird. Zudem gilt es, KI-Anwendungen erklärbar und fair zu gestalten (Stichwort AI Governance). Diese Anforderungen können Implementierungskomplexität erhöhen.

Chancen

360° Sicht & bessere Entscheidungen: Technisch gut integrierte Daten erlauben das oft beschworene 360-Grad-Bild vom Kunden oder Betrieb. Plötzlich können Zusammenhänge erkannt werden, die vorher unsichtbar waren, weil Daten verteilt lagen. Dies führt zu besseren Entscheidungen - sei es strategisch (Markttrends erkennen) oder operativ (sofort auf Produktionsabweichungen reagieren). Ein konsolidiertes Data Warehouse etwa kann Berichte, die früher Tage dauerten, in Sekunden generieren.

KI-Innovation: Mit einer leistungsfähigen Datenplattform können Unternehmen KI-Projekte viel schneller vorantreiben. Data Scientists verbringen weniger Zeit mit Datensuche und -aufbereitung und mehr mit Modellbildung. Zudem können moderne ML-Infrastrukturen (GPU-Cluster, AutoML) experimentelle Ideen rasch testen. Das erhöht die Trefferquote von KI-Innovationen und bringt u. U. bahnbrechende Verbesserungen (wie z. B. neue predictive maintenance Modelle, personalisierte Empfehlungssysteme etc.).

Datenprodukte & externe Services: Technische Modernisierung kann es erlauben, Daten als Service anzubieten. Einige Unternehmen verwandeln ihre gut aufbereitete Datenbasis in APIs für Partner (z. B. Logistikunternehmen, die Lieferstatus-Daten an E-Commerce-Shops per API anbieten). Das schafft neue Kooperationsmöglichkeiten. Intern entstehen Datenprodukte - kuratierte Datensätze, die bestimmten Zwecken dienen (z. B. ein “Marketing-Data-Mart”). Diese Produktdenke beschleunigt wiederum die internen Projekte, weil Teams nicht jedes Mal von Rohdaten starten müssen.

Technologien und Anbieter

Moderne Cloud Data Warehouses: Snowflake, Google BigQuery, Amazon Redshift, Azure Synapse. Data Lake/Lakehouse: Databricks, Azure Data Lake + Spark, AWS Lake Formation, Apache Hadoop/Spark Ökosystem (Hive, Presto/Trino). NoSQL: MongoDB, Cassandra, Amazon DynamoDB, Couchbase. Streaming: Apache Kafka (Confluent), Apache Flink, Amazon Kinesis, Azure Event Hubs. Analytics & BI: Tableau, Power BI, Qlik, plus Python/R Notebooks (Jupyter, Zeppelin). AI/ML: TensorFlow, PyTorch, H2O.ai, Azure ML Studio, Google Vertex AI. Data Governance: Collibra, Talend Data Fabric, Apache Atlas. Data Integration: Informatica, Talend, Fivetran, dbt (analytics engineering). Viele dieser Tools sind in kompletten Analytics-Plattformen integriert, sodass Unternehmen oft auf eine Kombination setzen - z. B. Snowflake als Kern, dazu Tableau für BI und dbt für Transformation. Cloud-Anbieter schnüren auch all-in-one Pakete (AWS bietet etwa QuickSight für BI, SageMaker für ML, Glue für ETL etc., die direkt mit den Datenspeichern integriert sind). Die Wahl hängt stark von vorhandenen Skills und Präferenzen ab - in jedem Fall sollte aber Interoperabilität und Skalierbarkeit im Mittelpunkt stehen.

9. Juli 2025

Innovationsthema

Datenarchitekturen & Analytics-Plattformen

Trends

Herausforderungen

Chancen

Technologien und Anbieter

Jetzt teilnehmen: CODE/WENDE REPORT 2025 Die bundesweite Umfrage zur IT-Modernisierung in Österreich startet! Mit dem CODE/WENDE REPORT entsteht ein einzigartiger Modernisierungs-Atlas – mit Benchmarks, Handlungsempfehlungen und strategischer Tiefe. Jetzt teilnehmen und Impulse setzen!

Mehr Neuigkeiten im CODE/WENDE Blog!​

Bleiben Sie informiert!

Direkt zur LinkedIn Gruppe! Die geschlossene LinkedIn-Gruppe von CODE/WENDE bringt Entscheider, Architekten, Forscher und Umsetzer zusammen, die sich über echte Herausforderungen, Strategien und Erfahrungen austauschen wollen – unabhängig, vertrauensvoll und ohne Vertriebsdruck.

Mehr Neuigkeiten im CODE/WENDE Blog!