Data Engineer Azure Java Spark (IT) / Freelance

Les missions du poste

? Contexte /Objectifs 

l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques.
L'application sert à transférer les données sur le Cloud public (Azure) à des fins analytiques.



 ?Objectifs et livrables

Les enjeux étaient nombreux :
? Volumétrie de données
? Performance / Multi-Threading
? Data Quality
? Legacy Management
? Large éventail de technologies à maîtriser :
o Etudes techniques
o Refonte technique et refonte de l?architecture du projet
o Migration On-Premise vers Azure
o Optimisation des performances
o Amélioration du Code Quality
o Mise en place des process CI/CD
o Mise en place du monitoring
o Diverses implémentations et migrations techniques de composants déployés
dans Azure (AirFlow, Migration Blue/Green, etc?)



Profil candidat:
 ?Compétences attendues :

Environnement Technique : Java, Kafka, Spark, Azure, PostgreSQL, Oracle, ElasticSearch, Logstash, Kibana, Docker, Kubernetes, Jenkins, Sonar, Intellij, Git, RabbitMQ, Tibco-RDV.

 Technos impératives : AZURE, JAVA ET SPARK