Data Engineer (m/w/d) Databricks | Layer-Datenmodelle | SQL | Python

LeistungsbeschreibungIm Zuge der Transformation zur Produkt- und Service-Organisation plant der Kunde den Aufbau einer unternehmensweiten Self-Service-Datenplattform auf Basis von Databricks. Ziel ist es, den Fachbereichen die eigenständige Erstellung von Analysen und Datenprodukten zu ermöglichen – unter Einhaltung klar definierter Governance-, Administrations- und Serviceprozesse.Zur Beratung suchen wir zum nächstmöglichen Zeitpunkt eine/n erfahrene/n Plattformexpert/in für Databricks (m/w/d), die/der nicht nur tiefes technisches Know-how mitbringt, sondern auch erprobte Best Practices aus vergleichbaren Projekten einfließen lässt.AnforderungenAufgabenDer Schwerpunkt der Tätigkeit liegt zunächst auf Konzeption, Architektur und Governance – die Umsetzung einzelner Pipelines und Datenmodelle erfolgt in späteren Projektphasen.Entwicklung einer skalierbaren Zielarchitektur für die Databricks-PlattformDefinition von Designrichtlinien und Governance-StandardsErarbeitung eines BerechtigungskonzeptsKonzeption von CI/CD-Strategien für DatenprodukteAusgestaltung der Layer-Architektur unter Bezugnahme auf das Medallion-KonzeptBeratung zu Staging-Konzepten (Deployment in Multi-Tier-Umgebungen, Quality Gates)Einbringen von Best Practices aus bisherigen Projekten zur Effizienz- und QualitätssteigerungAbstimmung und Priorisierung von Anforderungen mit Fachbereichen und ITDokumentation von Architekturentscheidungen, Prozessen und ProjektergebnissenAnforderungen Must-Have:Mehrjährige Erfahrung mit Databricks in Konzeption und Implementierung im Bereich Data Engineering (Datenmodellierung, ETL, Orchestrierung von Ladeprozessen)Tiefgreifendes Verständnis von Layer-Datenmodellen (z. B. Medallion)Erfahrung in der Entwicklung von BerechtigungskonzeptenKenntnisse in Continuous Ingestion / Continuous DevelopmentFundiertes Verständnis moderner DatenplattformenLösungsorientierte, strukturierte ArbeitsweiseSehr gute Kommunikations- und ModerationsfähigkeitenSicherer Umgang mit SQL und PythonVerständnis von IT Service Management Prozessen (ITIL)Erfahrung in agilen Projekten, insbesondere ScrumNice-to-Have:Kenntnisse in Microsoft Azure im Kontext von Databricks / Data EngineeringErfahrung mit Machine Learning und LLMs in DatabricksSicherer Umgang mit Jira und ConfluenceGute Kenntnisse in Excel und PowerPointSehr gute Deutschkenntnisse in Wort und SchriftÜber den AuftraggeberStart: 01.10.2025Ende: 31.12.2025 plus Option auf VerlängerungAuslastung: ca. 20 Stunden pro WocheOnsite Stunden: 20 Offsite Stunden: 230Standort: Dortmund | 95 % remote