remote Nürnberg: Big Data Engineer w/m/d POS62245 Apache NiFi Grafana Prometheus Kafka GitHub Azure Python Java SQL
Projektbewertung
Die Ausschreibung bietet einen sehr detaillierten Einblick in die Anforderungen eines Big Data Engineering Projekts mit umfangreichen technischen Herausforderungen, flexiblem Remote-Arbeitsmodell und klaren Erwartungen an Technologien und Sprachkenntnisse.
Start: November 2025
Dauer: 12 MM+
Ort: remote + Nürnberg
Umfang: möglichst Vollzeit
Projektsprche: DEUTSCH (!), Englisch reicht NICHT aus
Aufgaben:
Unterstützung für die Entwicklung, Optimierung und Wartung von skalierbaren Datenpipelines und -architekturen
auf Basis moderner Open-Source-Technologien wie Apache Iceberg, Apache Nifi und Trino.
Design und Implementierung von skalierbaren ETL/ELT-Pipelines mit Apache NiFi
Aufbau und Pflege von Iceberg-basierten Data Lakehouse-Strukturen
Entwicklung und Optimierung von SQL-Abfragen und Datenzugriffen über Trino
Integration verschiedener Datenquellen (z.B. Kafka, S3, RDBMS, REST APIs)
Sicherstellung von Datenqualität, -sicherheit und -governance
Performance-Tuning und Monitoring der Dateninfrastruktur
Zusammenarbeit mit interdisziplinären Teams zur Umsetzung datengetriebener Lösungen
Dokumentation technischer Konzepte und Prozesse
Anforderungen / technische Skills:
Apache Iceberg, Apache NiFi und Trino
Apache Spark Code verstehen
Cloud Erfahrung Azure wünschenswert
CI/CD & DevOps (Git, Github Actions)
Monitoring & Logging (Prometheus, Grafana, Splunk)
Scripting & Programmierung (Bash, Java)
Erfahrung mit ETL/ELT-Prozessen und API‘s
Umgang mit großen Datenmengen und verteilten Systemen
Erfahrung mit Realtime-Streaming (Kafka)
Apache Iceberg: Erfahrung mit Schema Evolution, Partitionierung, Time Travel
Apache NiFi: Erstellung komplexer Flows, Fehlerbehandlung, Security-Konfiguration
Trino: Tiefe SQL-Kenntnisse, Performance-Tuning, Datenquellenintegration
Cloud-Plattformen: AWS, Azure oder GCP (insbesondere S3, IAM, Glue, etc.)
Programmiersprachen: Python, Java oder Scala
Containerisierung: Docker, Kubernetes
CI/CD: Git, Jenkins, Terraform
Monitoring & Logging: Prometheus, Grafana, ELK Stack
Besonderheiten (Besondere Technologien, wie z.B. Kafka, Kotlin, etc.)
deutschsprachig
Skills:
- Mandatory, Rating 5: German
- Rating 4: Apache NiFi
- Rating 4: Grafana
- Rating 4: Prometheus
- Mandatory, Rating 4: Kafka
- Mandatory, Rating 4: GitHub
- Rating 4: GitHub Actions
- Rating 4: Github Copilot
- Rating 4: Kotlin
- Rating 4: Python
- Mandatory, Rating 4: Java
- Mandatory, Rating 5: SQL
- Rating 4: Azure