Data Engineer Scala/Apark H/F - Boulogne

Dans le cadre de projets à forte volumétrie autour des domaines Risque, Finance et Reporting réglementaire , chez l'un de nos clients grands comptes, nous recherchons un Big Data Engineer confirmé pour intervenir sur la conception, le développement et l’industrialisation de traitements de données à grande échelle.

Vous aurez pour mission missions

• La conception et le développement de pipelines de données batch.
• L’alimentation de datamarts réglementaires Risque et Finance.
• L’alimentation des systèmes de reporting financiers et risques.
• L’intégration de données issues de sources variées : Core Banking, bases relationnelles, fichiers partenaires, systèmes internes, etc.
• La mise en place de contrôles de qualité, cohérence et complétude des données.
• L’optimisation des traitements sur de fortes volumétries : partitionnement, gestion des ressources, performances Spark, optimisation des requêtes.
• L’industrialisation et le déploiement des traitements via CI/CD, orchestration et monitoring.
• La réalisation des tests unitaires et des TNR.
• La documentation technique et la mise à jour des référentiels de données.
• La prise en compte des contraintes de sécurité, confidentialité et conformité réglementaire : RGPD, classification, anonymisation des données.
• La participation aux cérémonies Agile et aux réunions projets.
• La contribution aux activités de Run quotidien et mensuel.

Environnement technique

Scala – Spark – Hadoop – HDFS – Hive – Airflow – SQL avancé – Bases relationnelles – NoSQL – CI/CD – DevOps

Une très bonne maîtrise des problématiques Big Data, volumétrie et optimisation des performances est indispensable.

Profil Recherché

De formation supérieure, vous disposez d’une expérience d'au moins 8 ans en développement Big Data Spark, Scala , idéalement dans des environnements à forte volumétrie.

Vous êtes capable de travailler de manière autonome avec les architectes, Tech Leads, équipes de développement et chefs de projets , tout en respectant les normes de développement et les bonnes pratiques définies par l’équipe.