adesso BLOG

Change Data Capture (CDC) ist eine Technik, die alle Datenänderungen in einem Datenarchiv erfasst, sammelt und für die Übertragung und Replikation in andere Systeme aufbereitet, entweder als Batch-Prozess oder als Stream. Dieser Blog-Beitrag konzentriert sich auf die Anwendung von CDC in Data Lakehouses am Beispiel von Change Data Feed, einer Variante von CDC, die von Databricks im Rahmen von Delta-Lake-basierten Data Lakehouses entwickelt wurde.

In einem verteilten Softwaresystem stellen Datenänderungen immer eine Herausforderung dar. Wie ist es möglich, die Änderungshistorie von Daten, die sich in einem Teil des Systems befinden, zu verfolgen, um angeschlossene Datenspeicher in anderen Teilsystemen zu synchronisieren? Eine Antwort auf diese Frage bietet Change Data Capture (CDC). Was es damit auf sich hat, erkläre ich in diesem Blog-Beitrag.

Täglich kämpfen Mitarbeitende mit manuellen Berichtsprozessen, die hohe Personalkosten, eingeschränkte Prozessoptimierungsmöglichkeiten und Qualitätsmängel verursachen. Trotz der entscheidenden Bedeutung von Kennzahlen für das Management sind manuelle Berichtsprozesse in der Produktion weit verbreitet. In diesem Blog-Beitrag erkläre ich, warum Unternehmen im IIoT-Bereich mit dem Produktionsreporting beginnen.

Workflow-Orchestrierung und Workflow-Engines sind entscheidende Komponenten in der modernen Datenverarbeitung und Softwareentwicklung, insbesondere im Bereich der Künstlichen Intelligenz (KI). Diese Technologien ermöglichen es, verschiedene Aufgaben und Prozesse innerhalb komplexer Datenpipelines effizient zu verwalten und zu koordinieren. In diesem Blog-Beitrag stellen wir Prefect vor, ein intuitives Tool zur Orchestrierung von Workflows in der KI-Entwicklung.

Die enorme Menge an täglich erzeugten Daten erfordert durchdachte Lösungen für Speicherung, Verarbeitung und Analyse. Microsoft Azure bietet eine vielfältige Auswahl an Datendiensten, um diese Anforderungen zu erfüllen. Dazu gehören Azure Databricks, Azure Synapse Analytics und Azure Fabric. Jeder Dienst hat seine eigenen Stärken und Vorteile. In meinem Blog-Beitrag werde ich diese drei Azure-Datendienste miteinander vergleichen.

Apache Hudi, Iceberg und Delta Lake haben sich als leistungsstarke Werkzeuge erwiesen, die die Art und Weise, wie moderne Datenplattformen mit Datenmanagement und -analyse umgehen, revolutionieren. In meinem Blog-Beitrag werde ich auf die Kernfunktionen dieser Datentypen eingehen und ihre jeweiligen Stärken und Anwendungsmöglichkeiten hervorheben.

Viele Versicherungen befinden sich derzeit in einem Prozess der Überarbeitung und Modernisierung ihrer veralteten Datenarchitekturen. Dies beinhaltet oft die Migration der Datenhaltung in die Cloud sowie die Evaluierung neuer Lösungen. In diesem Zusammenhang werden cloud-basierte Datenplattformen, Lakehouse-Architekturkonzepte und auch neuere Governance-Ansätze wie das sogenannte „Data Mesh" diskutiert. Dieser Blog-Beitrag erklärt, welche Bedeutung dieser Data-Governance-Ansatz hat und wie die Daten analysiert werden können.

Während im ersten Teil meiner Blog-Serie die Technologie des NB-IoT im Vordergrund stand, geht es im zweiten Teil um die technischen Aspekte der Nutzung. Denn die Vorteile der Datenübertragung via Narrowband-IoT sind bei falscher Anwendung schnell verspielt.

Daten sind das Gold des digitalen Zeitalters. Warum sollte man also nicht so viele wie möglich besitzen? Die Antwort auf diese Frage gibt es im dritten Teil meiner Blog-Serie Datenschutz in der Softwareentwicklung. Außerdem stelle ich euch das Prinzip der Datenminimierung näher vor.