Databricks & Agentic AI Expert (m/w/d)
Projektinformationen
- Internationales Energieunternehmen
Aufgaben
- Durchführung der Migration von Databricks Legacy DBFS zu Unity Catalog (inkl. Umstellung von DBFS Mount Paths auf S3 Paths und Volumes)
- Aktive Umsetzung der Migration für Jobs, Cluster, Volumes, External Tables, Managed Tables sowie Public & Private Databricks-Umgebungen
- Analyse, Anpassung und Refactoring bestehender Databricks Jobs und Notebooks, um vollständige Unity-Catalog-Kompatibilität sicherzustellen
- Technische Weiterentwicklung von Cluster-, Job- und Berechtigungskonzepten im Kontext von Unity Catalog
- Bearbeitung von ad-hoc Support- und Troubleshooting-Anfragen während der Migration
- Entwicklung eines standardisierten, wiederverwendbaren Migrationsansatzes für mehrere Data- & Business-Teams
- Analyse und Optimierung von Performance & Stabilität (z.B. bei langsamen Jobs, ineffizientem Spark-Verhalten, Ressourcenengpässen)
- Aufbau und Weiterentwicklung von Databricks Apps & Dashboards (nicht nur Power BI), inkl. Auswahl geeigneter Frameworks und Tools
- Enge Zusammenarbeit mit Data Engineering, Cloud Platform und Business Teams zur Abstimmung technischer und fachlicher Anforderungen
- Konzeption und erste Umsetzung KI-gestützter / agentischer Logiken im Databricks-Umfeld (z.B. Nutzung von Agentic Bricks, Auseinandersetzung mit AI-zentrierten Architekturen, Genie, MCP)
Profil
- Tiefgehende, hands-on Erfahrung mit Databricks (Spark, Delta Lake, Databricks APIs, Jobs, Notebooks, Cluster-Typen)
- Praktische Projekterfahrung mit Unity Catalog in aktiven Migrationen (Mount Paths ? S3 Paths/Volumes, Berechtigungsmodelle, Job-Anpassungen)
- Sehr gutes Verständnis von Apache Spark (Scheduling, Execution Model, DataFrames, Performance-Tuning)
- Sehr gute Kenntnisse in PySpark, Python und SQL
- Sicherer Umgang mit Databricks Jobs vs. Notebooks und deren Einsatzszenarien
- Interesse oder erste praktische Erfahrung im Bereich KI-gestützter / agentischer Ansätze in Data-Plattformen, speziell Agentic Bricks
- Erfahrung mit AWS, insbesondere S3 Buckets und deren Anbindung an Databricks sowie Grundverständnis der AWS-Infrastruktur rund um Databricks
- Erfahrung mit Infrastructure as Code, idealerweise Terraform
- Kenntnisse in Monitoring & Observability (z.B. AWS CloudWatch, Grafana, Kibana)
- Sehr gute Kommunikationsfähigkeiten in Englisch sowie eine ausgeprägte Hands-on-Mentalität
Benefits
- Unternehmensweite Einführung von Unity Catalog mit hoher Sichtbarkeit und strategischer Bedeutung
- Anspruchsvolle Hands-on-Migration statt rein konzeptioneller Tätigkeit
- Großer Gestaltungsspielraum und hohes Maß an Ownership in Architektur- und Plattformthemen
- Zusammenarbeit mit sehr starken Data- & Cloud-Engineering-Teams
- Tiefer Einblick in moderne Databricks-Architekturen inklusive Security, Governance und Performance
- Möglichkeit, moderne Databricks Apps, Dashboards und AI-nahe Use Cases aktiv mitzugestalten
- Frühe Auseinandersetzung mit agentischen und AI-zentrierten Konzepten (z.B. Agentic Bricks, Genie, MCP)
- Langfristiges Projekt möglich mit klarer strategischer Relevanz für die Datenplattform
Über Hays
Der Bereich IT ist unsere Kernkompetenz, auf deren Grundlage sich Hays entwickelt hat. Wir sind das größte privatwirtschaftlich organisierte IT-Personaldienstleistungsunternehmen in Deutschland und haben für jede Karrierestufe das passende Angebot – egal ob Sie an Vakanzen in agilen KMUs oder starken DAX-Konzernen interessiert sind. Wir beherrschen die komplette IT-Klaviatur von Support bis zur Softwarearchitektur oder Digitalisierung – dank unseres umfangreichen Portfolios ist für jeden etwas dabei. So konnten wir in den vergangenen Jahrzehnten im Rahmen einer Life-Long-Partnerschaft unzählige Fach- und Führungskräfte aus der IT dabei unterstützen, die Weichen für eine erfolgreiche Karriere zu stellen. Unser Beratungsteam ist spezialisiert und somit in der Lage, auf Ihre Wünsche und Vorstellungen einzugehen und Sie auf Bewerbungsgespräche und Vertragsverhandlungen bestens vorzubereiten. Probieren Sie es aus und erfahren Sie, was der Markt Ihnen zu bieten hat – völlig kostenfrei, diskret und unverbindlich! Wir freuen uns auf Sie.
Besetzungsprozess für Freelancer
- Analyse der Qualifikationen
- Kennenlernen
- Kontakt mit Kunden
- Vertragserstellung mit Hays
- 1
- 2
- 3
- 4
1. Analyse der Qualifikationen
Anhand Ihres Lebenslaufes, Ihrer Bewerbungsunterlagen und Ihres Profils führen wir eine ausführliche Analyse Ihrer fachlichen Qualifikationen durch.
Kontakt bei Hays
© Copyright Hays plc, . Ordet HAYS, H-enhederne, „Hays Working for your tomorrow" og „Powering the world of work" og tilhørende logoer og illustrationer er varemærker tilhørende Hays PLC. H-enhederne er originale designs, der er designbeskyttede i mange lande. Alle rettigheder er forbeholdt.