Senior Data Engineer AWS Datenpipelines /Cloud Integration (m/w/d) Remote und FFM / ZCRE238083

Senior Data Engineer AWS Datenpipelines und Cloud Integration

Für einen unserer Großkunden suchen wir derzeit einen Mitarbeiter zur Festanstellung, der die nachfolgenden Anforderungen erfüllt:

Projektrolle:
Senior Data Engineer im Umfeld AWS, Datenpipelines, Datenintegration und automatisierter Verarbeitung großvolumiger Sensordaten.

Projektbeschreibung:
Im Projekt wird eine datenschutzkonforme, qualitätsgeprüfte und standardisierte Plattform zur Bereitstellung großvolumiger, georeferenzierter multimodaler Sensordaten aufgebaut. Die Daten entstehen beispielsweise durch Befliegung, Begehung oder Befahrung und werden internen sowie externen Konsumenten bereitgestellt. Die Lösung basiert auf nativen AWS Services, einer skalierbaren Cloud Architektur und DevOps Prinzipien. Im Fokus stehen der Aufbau eines C2C Ingress Kanals, die automatisierte Annahme und Prüfung von Massendaten, Datenqualitätsprüfungen, Malware Scanning, Provisioning sowie die Bereitstellung geprüfter Daten für Konsumenten. Das Projekt arbeitet agil nach SAFe.

Ihre Aufgaben:

• Entwicklung von Datenpipelines zur Datenaufnahme und Datenverarbeitung
• Aufbau von Datenbanken und Data Warehouses
• Entwicklung von Datenmodellen zur strukturierten Speicherung von Daten
• Integration von Daten aus unterschiedlichen und heterogenen Quellen
• Implementierung von Data Governance und Sicherheitsrichtlinien
• Optimierung von Datenbanken und Datenverarbeitungsprozessen
• Automatisierung von Datenprozessen
• Entwicklung skalierbarer Lösungen für Dateninfrastrukturen
• Erstellung von APIs und Integration von Daten in Anwendungen
• Entwicklung der Ingest Pipeline für S3 Transfer, Prüfung und Provisioning
• Implementierung automatisierter Datenqualitätsprüfungen, insbesondere Schema Validierung und Integritätsprüfung
• Dokumentation der Ergebnisse und Zusammenarbeit über Confluence, SharePoint, Office 365 und Jira

Ihr Profil:

• Senior Erfahrung als Data Engineer, Cloud Data Engineer, AWS Data Engineer oder in einer vergleichbaren Rolle
• Mindestens 5 Jahre fundierte Erfahrung im Aufbau von Datenpipelines auf AWS mit S3, Step Functions, Lambda/Fargate und AWS Batch
• Mindestens 5 Jahre fundierte Erfahrung in der Implementierung mit Python
• Mindestens 3 Jahre fundierte Erfahrung mit AWS Glue
• Mindestens 3 Jahre fundierte Erfahrung mit Datenformaten und Schema Validierung, insbesondere Parquet, CSV, JSON und YAML
• Projekterfahrung in der Datenintegration aus heterogenen Quellen, idealerweise nachweisbar über mindestens 2 Referenzen
• Erfahrung in Infrastructure as Code mit AWS CDK von Vorteil
• Idealerweise AWS Zertifizierung als AWS Certified Data Engineer oder Data Analytics Specialty
• Erfahrung mit GitLab, GitHub, Docker Desktop, Artifactory, Defect Dojo, AquaSec, VSCode, Jira und Confluence von Vorteil
• Deutschkenntnisse auf annähernd muttersprachlichem Niveau C2 erforderlich

Rahmenparameter:

• Einsatzort: Remote mit gelegentlichen Onsite Terminen in Frankfurt am Main
• Beschäftigungsart: Festanstellung

Ihr GECO-Ansprechpartner freut sich auf Ihre Kontaktaufnahme und über die Zusendung Ihrer aussagekräftigen Unterlagen sowie Ihrer Gehaltsvorstellung.