Planung einer Big-Data-Architektur und Entwicklung eines Prototyps für RotorWind GmbH (PDF)

Studienarbeit aus dem Jahr 2023 im Fachbereich Informatik - Wirtschaftsinformatik, Note: 1,0, IU Internationale Hochschule, Sprache: Deutsch, Abstract: Die Verarbeitung und Analyse von großen Datenmengen wird in der heutigen Unternehmenswelt immer wichtiger. Durch Auswerten von Sensoren oder Log-Dateien lassen sich viele aufschlussreiche Informationen gewinnen, die einen enormen Wettbewerbsvorteil für Unternehmen bringen können. Gleichzeitig ist die Verarbeitung dieser Daten aber auch eine Herausforderung für die Unternehmen. Es werden neue, spezielle Technologien benötigt, da herkömmliche Technologien oft nicht mehr ausreichen, um die gewünschten Ziele zu erreichen. Unter Big Data versteht man Daten, die in großer Vielfalt, in großen Mengen und mit hoher Geschwindigkeit anfallen.

Die vorliegende Fallstudie beschäftigt sich mit dem Entwurf einer geeigneten Big-Data-Architektur für die Rotorwind GmbH und der Zuordnung von Big-Data-Tools zu den einzelnen Komponenten derselben. Zudem liegt der Fokus auf dem Erstellen eines Beispiels eines ausgewählten Tools innerhalb der Architektur und der Entwicklung eines funktionierenden Prototyps auf Basis von Docker, Kafka und Python.

Der Hauptteil gliedert sich in drei Teile. Im ersten Teil werden der Fall und die Anforderungen zur Lösung vorgestellt. Danach wird der Begriff der Big-Data-Architektur geklärt. Dabei wird der Unterschied zwischen Lambda- und Kappa-Architektur herausgearbeitet und im Detail geschildert, warum die Lambda-Architektur am besten für das Projekt geeignet ist. Im zweiten Teil wird eine geeignete Systemarchitektur vorgestellt und jedem Bestandteil der Gesamtarchitektur ein Big-Data-Werkzeug zugeordnet. Im letzten Kapitel des Hauptteils wird ein Prototyp erstellt, der die Aufgabe der Verarbeitung von Datenströmen mithilfe von Apache Kafka innerhalb der Gesamtarchitektur zeigt. Die Arbeit schließt mit einer Zusammenfassung und einem Fazit.