Stellenangebot Firmenprofil

Finde jetzt den perfekten Job für Dich Jetzt Job finden

erweiterte Suche

OMS Prüfservice ist ein professioneller Dienstleister für Warenbestands- und Sicherheitsprüfungen im europäischen Raum. Als agiler und innovativer Arbeitgeber arbeitet OMS stark an digitalem Fortschritt, neuen Plattformen und Cloud-Lösungen. Das Unternehmen wächst seit Firmenstart jährlich weit überdurchschnittlich. Deshalb werden ständig neue Mitarbeiter gesucht, die Teil der Erfolgsgeschichte werden möchten. 

Sind Sie bereit für eine Herausforderung?

Wir suchen jemanden, der uns bei unserem Data-Engineering und unseren Vorhaben im Bereich Business Intelligence im Rahmen eines großen Replatforming-Projekts unterstützt.

Eine wachsende Zahl von Geschäftsbereichen mit schnell wachsenden Datenmengen erfordert ein grundsätzliches Überdenken unserer Datenplattform und die schrittweise Erschließung neuer Wege zur Erfassung, Bereinigung und Analyse endloser Datenströme.

Die meisten unserer Analysemodelle laufen derzeit auf Clicdata, das wiederum Azure SQL Server für alle Phasen der Datenverarbeitung nutzt.

Data Engineer (m/w/d)
Gutenbergstraße 20, 30823 Garbsen, Deutschland


Aufgaben

Replatforming-Projekt

  • Arbeit an bestehenden Datenpipelines und Erstellung neuer Datenpipelines im bestehenden Toolset (ClicData, Azure SQL Server, Airflow, BigQuery)
  • Gestaltung neuer Arbeitsweisen für die kontinuierliche Erhebung, Bereinigung, Harmonisierung und Analyse endloser Datenströme aus verschiedenen Quellen
  • Identifizierung von Engpässen in den aktuellen ClicData-basierten Implementierungen und Überarbeitung der SQL-basierten Pipelines, um die Leistung zu verbessern und Verarbeitungsverzögerungen zu reduzieren (derzeit dauert ein vollständiger Pipeline-Lauf 3-4 Stunden)
  • Neuerstellung, Implementierung und Dokumentation neuer (konzeptioneller) Modelle für neue Anwendungsfälle
  • - Automatisierung von Datenqualitätstests und Prozessen, um sicherzustellen, dass bei Problemen mit Daten Maßnahmen ergriffen werden
  • Vorbereiten, Überwachen und kontinuierliches Verfeinern von Datenprodukten für die Nutzung durch Daten-Analysten oder Data Scientists
  • Betrieb der kontinuierlichen Bereitstellung durch Versionskontrolle und automatische Tests und Deployments

Profil
  • Mindestens 1 Jahr Erfahrung mit Advanced SQL in einer beliebigen großen Datenbank
  • Mindestens 1 Jahr Erfahrung mit Python im Bereich Datenverarbeitung und APIs
  • Erfahrung mit codebasierten ETL-Pipelines (Airflow, Dagster, Prefect oder ähnliches)
  • Grundkenntnisse im Cloud-basierten Hosting mit Docker und Kubernetes

Wünschenswerte weitere Eigenschaften

  • Erfahrung mit Streaming-basierter Datenerfassung und Datenverarbeitung mit Tools wie Kafka, Google PubSub, Amazon Kinesis oder Azure EventGrid
  • Erfahrung mit Big Data-Analysen, vorzugsweise Stream-Analysen, mit Tools wie Flink, Spark Structured Streaming oder Apache Beam
  • Erfahrung mit Data Warehouse-Technologie wie Big Query, Snowflake oder Redshift

Für die Replatforming-Arbeiten verwenden wir:

  • Big Query, kürzlich gestartet, für Workloads, die ClicData nicht bewältigen kann
  • Airflow, für die Batch-basierte Integration und Transformation sowie für die Qualitätsüberwachung
  • Pyhton/Flask-basierte APIs, um unsere Datenprodukte anderen Teilen der Organisation anzubieten
  • Kafka-basierte Streaming-Dienste für die Anbindung nachgelagerter Anwendungen, die unmittelbare Datenaufnahme und Echtzeit-Analysen
  • Superset für explorative Datenanalyse

Wir bieten
  • Eine neue, cloudbasierte Systemlandschaft
  • Viel Handlungsspielraum, flache Hierarchien
  • Fachbereichsübergreifendes Team mit weiteren Data Engineers und Controllern
  • Spannende Technologien, unter anderem BigQuery, Python, SQL und Airflow
  • Neue Projekte zur Echtzeitanalyse mit Technologien wie Kafka und streambasierter Analyse
  • Top Arbeitgeber - zertifiziert vom Deutschen Institut für Qualitätsstandards e.V.
  • Interne Trainings und Angebote zur Persönlichen Weiterentwicklung
  • Betriebliche Altersvorsorge / Vermögenswirksame Leistungen
  • 24-Stunden-Unfallversicherung für jegliche Unfälle
  • Corporate Benefits
  • Entwicklungsperspektive zum Teamleiter
  • Jeden Tag kostenlos frisches Obst aus der Region und guten Kaffee