Data Engineer (m/w/d) - AWS, AWS Glue, Python
Project Details
9b619820-c123-466a-8c50-d181ba55602c
17.06.2026
01.07.2026
Frankfurt am Main
Data Engineer (m/w/d) - AWS, AWS Glue, Python
Frankfurt am Main
========================================
Mit dem Projekt wird die datenschutzkonforme, qualitätsgeprüfte und standardisierte Bereitstellung von großvolumigen, georeferenzierten multimodalen Sensordaten (erzeugt z.B. durch Befliegung, Begehung oder Befahrung) eines Mobilitäts- und Infrastrukturunternehmens an interne und externe Konsumenten (Anwendungen, Systeme, Use-Cases) umgesetzt. Ein webbasiertes User-Interface unterstützt den Fachprozess des Datenuploads sowie die Qualitätsprüfung und Freigabe für Nachnutzungsszenarien. Eine horizontal skalierbar aufgebaute und auf nativen Cl ...... envisualisierungen und -berichten Automatisierung von Datenprozessen Entwicklung von Lösungen zur Skalierung von Dateninfrastrukturen Erstellung von APIs und Integration von Daten in Anwendungen Entwicklung der Ingest-Pipeline: S3-Transfer Prüfung Provisioning Implementierung automatisierter Datenqualitätsprüfungen (Schema-Validierung, Integritätsprüfung) Integration der Malware-Scanning-Lösung in die Pipeline Aufbau der Provisioning-Zone (geprüfte Daten für Konsumenten bereitstellen) Feedback-Mechanismus an Datenlieferanten (Erfolg/Fehler)
Unmatched Words (31)
Words from the project description that were not matched as requirements. Click on a word to add it to the keyword list.
befahrung
befliegung
begehung
bereitstellen
datenlieferanten
datenqualitätsprüfungen
datenschutzkonforme
datenuploads
envisualisierungen
erzeugt
fachprozess
freigabe
georeferenzierten
geprüfte
glue
großvolumigen
horizontal
integritätsprüfung
konsumenten
malware
mechanismus
mobilitäts
multimodalen
nachnutzungsszenarien
qualitätsgeprüfte
qualitätsprüfung
scanning
schema
skalierbar
webbasiertes
zone
Cloud Platforms & Services
Databases & Data Storage
Devops & Infrastructure
Duration
Employment Types
Frameworks & Libraries
Locations
Methodologies & Practices
Operating Systems & Platforms
Programming Languages
Project Description
Project Roles
Tools & Software
Version Control
Requirements (11)
| Requirement | Category | Context | Actions |
|---|---|---|---|
| apis | Frameworks & Libraries | ||
| automatisierung | Project Description | ||
| aws | Cloud Platforms & Services | ||
| data engineer | Project Roles | ||
| dateninfrastrukturen | Databases & Data Storage | ||
| datenprozessen | Databases & Data Storage | ||
| externe | Employment Types | ||
| frankfurt am main | Project Description | ||
| pipeline | DevOps & Infrastructure | ||
| python | Programming Languages | ||
| s3 | Cloud Platforms & Services |