Accueil 5 Vivier - Développement informatique 5 Ingénieur Big Data

Ingénieur Big Data

VIVIER de Prestinfo Services
Expériences professionnelles

Avril 2021 – Aout 2022 : Ingénieur Big Data 

  • Environnement : Spark, Scala, Talend, Hive, Hbase, Sqoop, Oracle database, HDFS, Intellij IDEA
    • SQL : Développement en SQL avec Teradata
    • SPARK : Développement avec Spark depuis Talend
    • SPARK STREAMING : Création d’un traitement Spark Streaming recevant des fichiers MQ pour gérer les abonnements
    • TALEND BIG DATA : Création de jobs génériques liens différents SGBDR (Oracle, SQL Serveur) à Hadoop via Sqoop
    • TALEND BIG DATA : Développement sur Talend
    • HBASE : Stockage et utilisation des données RGPD
    • HIVE : Optimisation de traitements Big Data pour améliorer les performance
    • Grosses opérations de maintenance sur la production
    • Travail de Data Analyst à realisier en plus de celui d’Ingénieur Big Data
    • Utilisation de Teradata pour le travail de Data Analyst
    • Migration d’un Datalake Hadoop vers le Cloud (GCP)
    • GCP (Google Cloud Platform) : Utilisation de Big Queries 


Environnement technique:  Spark, Talend, Hive, Jenkins, Oozie, Sqoop, Oracle database, HDFS, PostgreSql, Teradata, GCP

 

Octobre 2017 – Avril 2021 : Ingénieur Big Data

  • Développement Spark Scala avec IntelliJ IDEA
    • Intégration de gros volumes de données (+ de 10000 go) dans le Datalake
    • Utilisation de Jobs Spark pour accélérer les traitements dans le Big Data
    • Requêtes exécutées avec Hive sur de gros volumes de données
    • Utilisation de Presto pour requêter sur les tables dans HDFS
    • Utilisation de Jenkins pour travailler dans des environnements ultra sécurisés
    • Ordonnancement des tâches avec Oozie
    • Utilisation de Sqoop pour migrer des données d’une base Oracle vers le Datalake
    •  Travail avec des équipes basés à l’international et référent de l’équipe Inde
    • Travail sur l’architecture d’applications Big Data Sensibles
    • Maintenance des applications mises en production

Environnement technique: Spark, Scala, Talend, Hive, Presto, Jenkins, Oozie, Sqoop, Oracle,atabase, HDFS, Intellij IDEA

Formations
  • 2019: Certification Databricks
  • 2015: Master 2 Manager en ingénierie Informatique spécialité Big Data –
  • 2015: Certification SCRUM
  • 2013: Licence 3 Mathématiques-Informatique – Université de Cergy Pontoise

Disponibilité

ASAP

Mobilité

 Paris