MLOps Engineer für CI / CD & Inference Services (m/w/d)

Ihre Aufgaben

In deiner Rolle als MLOps Engineer gestaltest du aktiv die technische Basis für skalierbare, sichere und performante KI-Lösungen – von der automatisierten Bereitstellung über Inferenzinfrastruktur bis hin zum Modellbetrieb. Du entwickelst gemeinsam mit Experten aus AI Engineering, System Engineering und Softwareentwicklung moderne Werkzeuge und Prozesse für datengetriebenes Banking für über 50 Millionen Kunden.

Mit unserer Plattform setzen wir auf moderne Technologien wie Kubernetes, ArgoCD, Helm, GitHub Actions, Nvidia Triton, Huggingface TGI/TEI, arbeiten mit Partnern wie Nvidia oder Mistral AI eng zusammen – und suchen Kollegen, die entweder im Bereich CI/CD & Plattformautomatisierung oder im Bereich LLM-Infrastruktur & Inferenzservices ihre Expertise mit einbringen und weiter ausbauen.

• Koordination der Automatisierung der Build-, Test- und Deployment-Prozesse für unsere Container-Anwendungen mit Jenkins, GitHub Actions oder GitLab CI, sowie Integration neuer Use Cases in die Plattform-Pipelines.
• Orchestrierung von Containeranwendungen mit Helm und ArgoCD in Kubernetes-Clustern, sowie Verantwortlichkeit für sichere, reproduzierbare Deployments.
• Entwicklung von APIs für die interne Plattformlogik im Python-Ökosystem – z.B. zur Steuerung von Modellbereitstellungen, Statusabfragen oder Konfigurationsmanagement.
• Steuerung der Spark-Anwendungen, welche in Kubernetes mit dem Spark Operator betrieben werden – idealerweise mit Fokus auf verteilte Inferenz oder Preprocessing großer Datenmengen.
• Bereitstellung von unimodalen (z.B. LLM, OCR, SST/TTS) und multimodalen KI-Modellen mittels Nvidia Triton, NIM oder Alternativen wie Huggingface TGI, TEI oder vLLM.
• Steuerung der fachbereichsübergreifenden Zusammenarbeit, sowie aktive Einbringung der Erfahrung bei Architekturentscheidungen und Beratung zur Weiterentwicklung der Plattformdienste.
• Diskurs mit globalen Herstellern für die zukunftsorientierte Weiterentwicklung der Plattformarchitektur.

Übernimm eigenständig Aufgaben, die für die Weiterentwicklung der KI und Data Analytics Plattform wesentlich sind. Dabei wirkst du aktiv in einem dynamischen und aufgeweckten Team an der Implementierung von State-of-the-Art Systemtechnologien im Finanzsektor mit.

Als einer der größten Banken-IT-Dienstleister und Digitalisierungspartner Europas sind wir der Treiber der Digitalisierung innerhalb der Sparkassen-Finanzgruppe.

Ihr Profil

• Abgeschlossenes Informatik - oder vergleichbares Studium oder Berufsausbildung sowie mindestens 6 Jahre fachbezogene Berufserfahrung
• Umfangreiche Erfahrung in der Automatisierung von CI/CD-Pipelines (Jenkins, GitHub Actions, GitLab CI und Helm und ArgoCD für Kubernetes-basierte Deployments)
• Kenntnisse in der Entwicklung von REST-APIs in Python (z.B. mit FastAPI oder Flask)
• Optional, aber wertvoll: Erfahrung mit LLM-Inferenz, z.B. via Nvidia Triton, NIM, vLLM oder Huggingface TGI/TEI
• Begeisterung für moderne KI-Infrastruktur, Plattformbetrieb und technische Skalierung
• Teamgeist, Eigeninitiative und die Lust, komplexe Systeme für echte Anwendungen nutzbar zu machen
• Bereitschaft für Nacht- und Wochenendeinsätze sowie Teilnahme an der Rufbereitschaft

Was Sie bei uns erwartet