Data Engineer – Python / Airflow / Azure Databricks (m/w/d)

PROSTAFF Schweiz GmbHBasel, Basel-CityOn-siteFull-timeJunior, 1–2 yearsListed 4 weeks ago

Apply now

About this role

Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.

* Entwicklung und Weiterentwicklung von Data Products
* Aufbau und Pflege von Ingestion- und Transformationspipelines
* Sicherstellung von Datenqualität und Performance
* Entwicklung und Verwaltung von Apache-Airflow-DAGs
* Mitarbeit bei Architekturentscheidungen rund um die Data Platform
* Unterstützung der Migration in Richtung Azure Databricks
* Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
* Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen

* Mehrjährige Erfahrung als Data Engineer
* Sehr gute Kenntnisse in Python, insbesondere pandas, polars und Poetry
* Fundierte Erfahrung mit Apache Airflow
* Sehr gute SQL- und PostgreSQL-Kenntnisse
* Erfahrung mit Azure Databricks
* Kenntnisse in Docker, Kubernetes oder OpenShift
* Erfahrung mit Azure DevOps / CI/CD
* Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen
* Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3
* Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit