Data Engineer: Ausbildung, Aufgaben, Einsatzfelder und Gehalt im Data Engineering

Ein Data Engineer ist Experte für Data Science im Big-Data-Umfeld. Die im Unternehmen anfallenden Daten strukturiert er und bereitet diese so auf, dass sie sich für die Analyse und als Entscheidungsgrundlage eignen. In den vergangenen Jahren sind viele neue Jobs im Bereich Data Engineering entstanden, besonders in der sogenannten Industrie-Experten für Data Science haben eine große Auswahl an Arbeitgebern, bei denen sie sich bewerben können. In diesem Beitrag informieren wir über das Berufsbild, die typischen Aufgabengebiete, Voraussetzungen und Soft Skills sowie die Gehaltsaussichten in diesem Job.

Wie ist die Definition von Data Engineering? 

Data Engineering ist definiert als die Funktion, Daten systematisch zu sammeln und diese aufzubereiten. Übergeordnetes Ziel ist es, dem Betrieb alle Informationen zur Verfügung zu stellen, die als Grundlage für Entscheidungen erforderlich sind.

Daten gelangen auf verschiedenen Kanälen in das Unternehmen. Dies sind einige ausgewählte typische Wege:

• Kundenkonten,

• Bestellvorgänge,

• Newsletter / CRM,

• Information bzw. Interaktion aus den Social Media,

• Tracking und Analytics.

Die Abteilung für Marketing und Vertrieb generiert zahlreiche  personenbezogene Daten. Hier ist die systematische Datenanalyse besonders wichtig.

Der Data Engineer (mitunter auch bezeichnet als Datenarchitekt, Smart Data Architect oder Datentechniker) arbeitet an der Nahtstelle zwischen Datenverarbeitung und Hardware. 

Welche Ausbildung benötigt ein Data Engineer?

Die Ausbildung zum Data Engineer ist bislang nicht standardisiert. Die meisten Funktionsträger im Bereich Data Engineering and Data Science sind daher Quereinsteiger. Ein Studium im Bereich der (Wirtschafts-)Informatik, Computertechnik oder Statistik stellt eine optimale Vorbereitung dar.

Viele Arbeitgeber akzeptieren auch einen Abschluss (Master oder Bachelor) in einem anderen Studiengang, wenn die Bewerber entsprechende Qualifikationen und einschlägige Berufserfahrungen vorweisen können. Im Stellenangebot finden sich hierzu in der Regel entsprechende Hinweise.

An der Technischen Universität München ist der Masterstudiengang Data Engineering verfügbar. Er erstreckt sich über vier Semester.

Private Bildungsträger bieten passende Seminare und Trainings zur Weiterbildung im Bereich Data Science sowie Data Engineering and Analytics an. Typische Inhalte sind:

• Business Intelligence (inkl. Software),

• Künstliche Intelligenz,

• Datenbanken,

• Datenanalyse,

• ETL-Prozess (Extract, Transform, Load).

Welche Skills sollten Engineers mitbringen?

In diesem Beruf ist eine ausgeprägte Affinität zur digitalen Technologie, zu Daten, der IT-Welt, Computing, Warehouse, Software und Software-Infrastruktur sowie Cloud erforderlich. Auch über Grundkenntnisse im Bereich Data Lakes sowie im Datenschutz und der IT-Security sollten Absolventen bereits verfügen, bevor sie sich bewerben. Vorteilhaft ist außerdem ein grundlegendes Wissen über

• Relationale Datenbanken,

• ETL Tools,

• Cloud und Big-Data-Technologien,

• Tools und Frameworks im Data Engineering (zum Beispiel Kafka, Airflow, Spark, Hadoop, Hive, HDFS),

• Python (höhere Programmiersprache),

• Abfragesprache SQL,

• serviceorientierte Architektur (SOA), Microservices und Data Modelling.

Darüber hinaus sollte eine starke Affinität zu Data Science gegeben sein, um im Bereich Engineering and Analytics erfolgreich zu sein.

Da die Tätigkeiten in Data Engineer Jobs mit betriebswirtschaftlichen Vorgängen verknüpft sind, erleichtert ein fundiertes Basiswissen über bestimmte Managementkonzepte die Einarbeitung. Hierzu zählen unter anderem:

• Customer Relation Management / Customer Journey,

• Consulting allgemein,

• Quality Management,

• Performance Management,

• Machine Learning.

In Stellenausschreibungen für passende Jobs ist oft eine Beschreibung bezüglich der erforderlichen Soft Skills ausgewiesen. Hierzu gehören insbesondere:

• Kommunikatives Geschick,

• Strategische und konzeptionelle Fähigkeiten (Analytics),

• Souveräne Präsentationstechniken,

• Fähigkeit, Sachverhalte zum IT-System verständlich zu vermitteln, auch jenseits der Fachbegriffe (z. B. Platform, Data Analytics, Warehousing, Data Warehouse, Remote),

• Bereitschaft, wissenschaftliche Texte (Science) zu lesen,

• Pragmatische Denkweise,

• Strukturierte Arbeitsweise (Processing),

• Schnelle Auffassungsgabe,

• Führungskompetenzen,

• Fähigkeit zur Motivation, Emotional Intelligence, feines Gespür für Learning Prozesse,

• Fähigkeit zur Netzwerkbildung,

• Bereitschaft, sich in neue Themengebiete einzuarbeiten (Learning on the job),

• Teamgeist,

• Belastbarkeit und Stressresistenz,

• Flexibilität,

• Ausdauer,

• Gutes Zeit- und Selbstmanagement,

• Besonders bei IT-Firmen: Mobilität.

Welche Aufgaben übernimmt ein Data Engineer?

Der Aufgabenzuschnitt in diesem Job unterscheidet sich je nach Branche und Größenordnung des Unternehmens. Dabei existieren aber typische Tätigkeiten. Diese sind auch dem Text in Stellenausschreibungen unter der Zwischenüberschrift "Deine Aufgaben" zu entnehmen. Hierzu gehören:

• Verarbeitung von Daten und Datenanalyse,

• Umsetzen von Data-Science- oder Big Data-Projekten,

• Modellierung von Datenprozessen und Programmierung,

• Entwicklung Cloud-Technologie,

• Optimieren von Tools und Algorithmus,

• Einrichtung von Datenbanken,

• Analyse, Aufbau, Umbau und Ergänzung der IT-Infrastruktur vor Ort,

• Einrichtung, Konfiguration und Administration eines Cloud-Services,

• Datenschutz und Security,

• Entwickeln einer Backup Solution im Fall eines technischen Ausfalls,

• Überwachung der entwickelten System Architektur,

• Monitoring und Aktualisierung der Algorithmen (Development).

Der Engineer skaliert, strukturiert und optimiert die Data-Sets. Durch eine geeignete Analytics Plattform oder Datenbank (Data Lake) macht er die Informationen für den Betrieb sowie das Management nutzbar. Im ETL-Prozess (Extrahieren, Transformieren, Laden) entwickelt er eine standardisierte Daten-Pipeline. Dadurch ist gewährleistet, dass die Informationen aus den verfügbaren Quellen zuverlässig gewonnen werden.

Die Konvertierung der zu importierenden Daten in das gewünschte Format erfolgt i.d.R. automatisch durch Skripte. Dadurch ist auch die Ablage am richtigen Speicherort gegeben. Der Code hierfür ist meist sehr komplex. Der Engineer gewährleistet, dass dieser dennoch handhabbar ist. Hierzu werden Methoden wie Testing, Continuous Integration und Delivery verwendet. Für die Speicherung kommen Frameworks oder Cloud-Services (z. B.  AWS, Hadoop, Spark, Hive, Kafka, HDFS) zur Anwendung. 

Der Arbeitsalltag des Engineers ist außerdem geprägt von Abstimmungen mit anderen Professionen. Hierzu zählen unter anderem:

• Business Analyst,

• Data Analyst,

• Machine Learning Engineer,

• Cloud Data Engineer.

Mitunter kommt es zu Verwechslungen zwischen den Jobs Data Engineer, Data Scientist und Data Analyst.

• Data Science ist die Schnittstelle zwischen den Disziplinen Informatik, Mathematik und Business.

• Der Data Scientist (Datenwissenschaftler) wendet statistische Verfahren an und zieht damit Schlussfolgerungen aus großen Datenmengen. Er generiert die Informationen aus Schnittstellen, die ihm der Data Engineer bereitstellt. Mit Hardware ist der Data Scientist nur in geringfügigem Umfang befasst.

• Der Unterschied zwischen Data Scientist und Data Analyst ist nur gering ausgeprägt. Der Data Scientist ist auf die neuen Herausforderungen bei der Analyse von Daten fokussiert. Daher ist er im Schwerpunkt mit Predictive Analytics, Machine Learning und Künstlicher Intelligenz befasst. 

Ist der Engineer als einzige Person im Betrieb für die Datenaufbereitung verantwortlich, überschneiden sich die Tätigkeiten  mit denen der Data Analysts und Data Scientists. Dann gehen die einzelnen Funktionen jedoch nicht so stark in die Tiefe. 

Je größer der Betrieb ist, desto stärker sind die einzelnen Funktionsträger im Data Team spezialisiert. Einen möglichen Schwerpunkt bilden die Daten-Pipelines. Dagegen fallen in einem kleinen Unternehmen die Aufgaben der einzelnen Experten für Data Science untereinander ähnlicher aus. 

In welchen Jobs und Branchen arbeiten Data Engineers?

Data Engineers sind immer dann gefragt, wenn im Unternehmen eine große Menge an Daten anfällt. Daher ist in Betrieben zahlreicher Branchen ab einer bestimmten Größenordnung eine eigene Stelle für diese Funktion eingerichtet. Hierzu gehören unter anderem:

• Automobilbranche,

• Maschinenbau,

• Chemische Industrie,

• Banken, Versicherungen und Finanzdienstleistungen.

Betriebe, die ihr Geschäftsmodell digitalisiert haben (E-Commerce), sind ebenfalls auf Experten für Big Data angewiesen. Denn dabei ist ein entscheidender Erfolgsfaktor, den Kundenstamm durch die Analyse von Daten sowie geeignete Targeting-Maßnahmen zu pflegen und systematisch zu erweitern.

Auch Agenturen, die auf Big Data Dienstleistungen spezialisiert sind, stellen eine typische Adresse von Bewerbungen dar. Darunter sind viele mittelständische, junge und dynamische Betriebe. In diesem Fall betreut der Engineer eine Vielzahl an Kunden bzw. Auftraggebern. Data-Science-Teams entwickeln für jeden Klienten ein individuelles Konzept, um die Daten effizient aufzubereiten und effektiv zu nutzen. Auch die Implementierung in der vorhandenen IT-Architektur vor Ort zählt zu den Aufgaben.

Welches Gehalt wird im Data Engineering erzielt?

Ein Experte für Big Data kann überdurchschnittlich viel Geld verdienen. Das Data Engineer Gehalt hängt von verschiedenen Faktoren ab. Hierzu gehören

• Branche,

• Region,

• Größe und Zahlungskraft des Betriebs,

• individuelle Qualifikation und Berufserfahrung,

• Funktion / Position innerhalb der Hierarchie (z. B. Consultant, Junior, Senior Consultant, Senior Data Engineer),

• Umfang der (Personal)verantwortung,

• Verhandlungsgeschick.

Das durchschnittliche Gehalt für einen Big Data Engineer in Deutschland beträgt 60.500 € brutto pro Jahr oder 5.000 Euro brutto pro Monat. Dieser Wert liegt um knapp 2.000 Euro höher (entspricht gut 60 Prozent) in Relation zum monatlichen Durchschnittsgehalt aller Berufsgruppen in Deutschland. Dies belegt deutlich, dass der Job  zukunftsfähig ist.

In einem großen Unternehmen (Big Business) verdient ein Architect im Bereich Data Engineering tendenziell mehr (zwischen 50.000 und 61.000 Euro brutto pro Jahr) als in einem Startup. Dort reicht das Spektrum von 41.500 bis 50.500 Euro. Manche Absolventen bewerben sich dennoch bei jungen, kleinen Unternehmen, da diese in der Regel auf agile Teams anstelle von starren Hierarchien setzen.

Das Einstiegsgehalt in diesem Job beläuft sich auf 44.700 bis 54.300 Euro. Mehrere Jahre Berufserfahrung steigern das Gehalt in diesem Job ganz erheblich. Dann befindet sich ein Data Architect bzw. Engineer oft "at his / her best" und erreicht eine leitende Position. Als Top Gehalt sind 80.000 Euro brutto pro Jahr realistisch. In manchen Data Engineer Jobs kann man sogar bis zu 100.000 Euro im Jahr verdienen.

Quellen: 

https://www.computerwoche.de/a/was-macht-ein-data-engineer,3550939

https://www.get-in-it.de/magazin/arbeitswelt/it-berufe/was-macht-ein-data-engineer

https://de.jobted.com/?salary=data-engineer