Présentation du métier
Contexte de travail
Conditions de travail
Compétences et niveaux attendus
Certifications
Proximité(s)/évolution(s) envisageables
Tendances nationales sur le métier
Pour en savoir plus
DATA ENGINEER
Famille : Architecture et conception de la solution
Autres appellations en français
- Data Ingénieur
- Ingénieur de données
- Ingénieur Big Data
Autres appellations en anglais
- Data Engineer
Présentation du métier : Data Engineer
Finalité du métier
Le Data Engineer conçoit et développe les infrastructures et outils nécessaires au traitement des données massives et au déploiement de solutions d'Intelligence Artificielle.
Missions principales
Analyser le besoin et concevoir l'infrastructure de traitement :
Le Data Engineer analyse et développe une solution permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci. Il préconise l'architecture technique nécessaire aux traitements des algorithmes conçus avec le Data Scientist (ex. : puissance de calcul, stockage, flux de données, utilisation des solutions cloud et développements spécifiques). Il co-anime l'équipe de traitement des données avec le Data Scientist et contribue tout au long du traitement des données.
Déployer et maintenir la solution sur son cycle de vie :
Il est le premier échelon de la chaîne de traitement de données et conçoit des solutions permettant le traitement de volumes importants de "pipelines" de données. Il veille à entretenir une solution permettant le traitement massif de données en utilisant ses diverses expertises. Il anticipe les évolutions dans les données (ex. : variations de volumes ou d'usages) et prépare l'architecture de la plateforme à y répondre techniquement.
Intégrer les technologies du Big Data dans son activité :
Il maîtrise les diverses technologies du Big Data permettant le traitement et la manipulation de données (Hadoop, Spark, Kafka…) ainsi que les langages (Javascript, Scala, Python...), des systèmes d'exploitation (UNIS, Linux, Solaris...) et des solutions de base de données (SQL, NO SQL).
Le Data Engineer analyse et développe une solution permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci. Il préconise l'architecture technique nécessaire aux traitements des algorithmes conçus avec le Data Scientist (ex. : puissance de calcul, stockage, flux de données, utilisation des solutions cloud et développements spécifiques). Il co-anime l'équipe de traitement des données avec le Data Scientist et contribue tout au long du traitement des données.
Déployer et maintenir la solution sur son cycle de vie :
Il est le premier échelon de la chaîne de traitement de données et conçoit des solutions permettant le traitement de volumes importants de "pipelines" de données. Il veille à entretenir une solution permettant le traitement massif de données en utilisant ses diverses expertises. Il anticipe les évolutions dans les données (ex. : variations de volumes ou d'usages) et prépare l'architecture de la plateforme à y répondre techniquement.
Intégrer les technologies du Big Data dans son activité :
Il maîtrise les diverses technologies du Big Data permettant le traitement et la manipulation de données (Hadoop, Spark, Kafka…) ainsi que les langages (Javascript, Scala, Python...), des systèmes d'exploitation (UNIS, Linux, Solaris...) et des solutions de base de données (SQL, NO SQL).
Contexte de travail
Variables spécifiques au métier
Expertise(s) métier(s) ou sectorielle(s) :
En lien avec la taille et le positionnement client sur ses marchés le niveau d'expertise métier de Data Engineer aura une importance dans ses missions et projets. Il se servira de sa connaissance de fonctionnement et de process du secteur de son client afin de proposer des processus et les traitements adaptés à celui-ci. Son degré de connaissance des sources de données sectorielles est également un atout.
Variété des ressources technologiques :
Selon le cas d'usage, l'appel à des ressources externes (ex. : technologies Big Data et IA du cloud) peut se révéler pertinent sur le plan technique et économique. Le développement des technologies et de la donnée sur les marchés du numérique influe sur ce métier qui doit arbitrer les choix des technologies et d'adaptation des méthodologies nécessaires à sa compétitivité, ainsi que la sécurité de l'information. Il reste en veille et se forme pour monter en compétences sur les nouvelles technologies de stockage, de sécurité et de traitement des données du marché.
Technologies mobilisées :
Les technologies et méthodologies sont différentes selon les besoins du client, mais aussi le métier cible. Il mobilise fréquemment des solutions existantes, qu'il adapte et complète par des briques qu'il conçoit seul ou avec son équipe afin de créer une solution spécifique pour répondre au besoin du client.
Culture client en lien avec la technologie :
Selon la maturité des acteurs impliqués dans le projet de transformation, il doit mener un travail variable sur la culture des acteurs clients autour de la technologie et de ses impacts métiers/organisationnels
Contextes organisationnels
Type et taille de projet :
Selon la taille de projet, le Data Engineer interviendra sur un ou plusieurs projets avec des équipes projet de différentes tailles. Il travaille en équipe selon la taille du projet et de l'équipe et est lié aux autres métiers de la Data.
Type et taille d'entreprise :
En tant qu'indépendant, il intervient majoritairement sur des projets de plusieurs clients différents. Ses missions sont plus larges en indépendant, son expertise est couplée avec les missions du Data Scientist et Data Analyst.
Dans une PME / TPE, chez un éditeur de logiciel, il joue un rôle clé dans la définition et l'évolution du produit/système. La demande de compétences sera ici plus variée et les projets de taille inférieure, en règle générale. Il sera aussi amené à travailler avec des partenaires extérieurs et ainsi maîtriser les règles de fonctionnement de ce type de relation. Dans les petites et moyennes entreprises, le métier est couplé avec celui de Data Scientist et Data Analyst.
Dans une grande Entreprise de Service Numérique, il apporte son expertise technique sur les infrastructures. Il sera ici focalisé sur son périmètre de projet et son expertise métier, souvent de plus grande taille et interne. Le besoin d'expertise métier y sera équivalent dans une structure moyenne ou grande et va intervenir sur des missions en interne et externe.
Selon la taille de projet, le Data Engineer interviendra sur un ou plusieurs projets avec des équipes projet de différentes tailles. Il travaille en équipe selon la taille du projet et de l'équipe et est lié aux autres métiers de la Data.
Type et taille d'entreprise :
En tant qu'indépendant, il intervient majoritairement sur des projets de plusieurs clients différents. Ses missions sont plus larges en indépendant, son expertise est couplée avec les missions du Data Scientist et Data Analyst.
Dans une PME / TPE, chez un éditeur de logiciel, il joue un rôle clé dans la définition et l'évolution du produit/système. La demande de compétences sera ici plus variée et les projets de taille inférieure, en règle générale. Il sera aussi amené à travailler avec des partenaires extérieurs et ainsi maîtriser les règles de fonctionnement de ce type de relation. Dans les petites et moyennes entreprises, le métier est couplé avec celui de Data Scientist et Data Analyst.
Dans une grande Entreprise de Service Numérique, il apporte son expertise technique sur les infrastructures. Il sera ici focalisé sur son périmètre de projet et son expertise métier, souvent de plus grande taille et interne. Le besoin d'expertise métier y sera équivalent dans une structure moyenne ou grande et va intervenir sur des missions en interne et externe.
Conditions de travail
Le rythme de travail
Les phases de charges de travail varient et sont plus importantes dans les phases d'analyse et de conception. Néanmoins, les cas d'usages nécessitant une mise à jour des infrastructures sur le long terme (ex. : voiture autonome) mobilisent régulièrement le Data Engineer sur le long terme, bien au-delà du mode projet.
Déplacements
Les déplacements sont rares. Les rendez-vous se déroulent en présentiel, en visioconférence ou par téléphone.
Les relations professionnelles
Relations internes
Relations externes
- Data Scientist
- Data Analyst
- Responsable Sécurité et Systèmes d'information
Relations externes
- Client
- Data Scientist
- Data Analyst
- Comité de direction
Compétences et niveaux attendus en 4 niveaux cumulés
Macro compétences
Niveaux et compétences attendues
Exemple concret d'activité pour le niveau attendu
Macro compétences :
Intégrer des outils IA/Data Science
Niveaux et compétences attendues :
1
Identifier les outils de Data Science applicables selon le contexte et les objectifs
2
Préconiser, concevoir ou intégrer un outil IA/Data Science adapté à la problématique métier
3
Anticiper l'intégration d'outils IA/Data Science dans l'organisation du travail
4
Déterminer l'opportunité de l'intégration d'outils IA/Data Science dans le modèle d'affaires
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Lors d'un nouveau projet, le Data Engineer définit et propose les outils et l'infrastructure pour la réalisation du projet.
Macro compétences :
Gérer une architecture technique
Niveaux et compétences attendues :
1
Analyser les besoins d'architecture issus des fonctionnalités attendues (ex : flux de données, stockage, puissance de calcul)
2
Anticiper plusieurs scénarios d'architecture technique en fonction des besoins, contraintes et coûts
3
Piloter le déploiement de l'architecture technique avec les acteurs internes/externes
4
Coordonner une vision de l'architecture SI à moyen terme et être référent expert du domaine
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de réponse à un appel d'offres, il définit et rédige plusieurs propositions en spécifiant les avantages et inconvénients et détaillant le coût de chacune.
Macro compétences :
Assurer la maintenance d'un équipement
Niveaux et compétences attendues :
1
Identifier les usages et conditions d'utilisation sur la durée de vie de la solution ou de l'équipement
2
Rédiger un protocole de maintenance et la documentation technique (guide utilisateur, guide métier, schémas d'architecture...)
3
Piloter les opérations de tests, les processus de maintenance curative/préventive et anticiper leurs coûts
4
Mettre en cohérence les opérations de maintenance avec les évolutions techniques, organisationnelles et réglementaires
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Après le déploiement d'un projet de Data Science, il assure la maintenance préventive et les améliorations des infrastructures.
Macro compétences :
Se conformer aux normes et à la règlementation
Niveaux et compétences attendues :
1
Cartographier les exigences normatives et règlementaires d'une entreprise
2
Adapter les processus de travail aux exigences normatives et réglementaires et informer les parties prenantes
3
Anticiper les conséquences des normes et de la règlementation et piloter leur bonne compréhension/application
4
Contribuer à la révision de la règlementation ou de la normalisation et proposer des adaptations
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Dans la phase d'analyse, il veille à respecter et intégrer les règlementations du RGPD, du client et de sécurité
Macro compétences :
Communiquer efficacement
Niveaux et compétences attendues :
1
Ecouter activement et partager une information pertinente
2
Adapter et rédiger un support de communication aux objectifs et au contexte
3
Synthétiser une présentation adaptée à l'objectif et au public cible
4
Coordonner une communication d'organisation en situation complexe (ex : message sensible, public difficile, situation imprévue…)
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans ses phases d'échanges avec le client et l'équipe de Data Scientist, il veille à rédiger et formuler ses propositions afin d'alimenter les échanges et la compréhension de toutes les parties.
Macro compétences :
Influencer et convaincre
Niveaux et compétences attendues :
1
Identifier et décrypter les positions des différents interlocuteurs et les relais d’influence
2
Adapter son discours, ses arguments et l'organisation des échanges aux interlocuteurs à convaincre
3
Synthétiser une argumentation percutante et anticiper les objections
4
Equilibrer un discours fidèle à la finalité partagée par les parties prenantes
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans la rédaction des propositions suite à l'analyse, il anticipe et prépare son argumentation afin de convaincre les parties de la solution la plus adaptée à la demande initiale
Macro compétences :
Utiliser l'anglais en contexte professionnel
Niveaux et compétences attendues :
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de son projet, il communique et lit des documents en anglais et développe des codes informatiques en anglais
Macro compétences :
Intégrer des méthodes d'optimisation de production
Niveaux et compétences attendues :
1
Analyser les flux de valeur et hiérarchiser les points d'amélioration potentiel
2
Adapter des outils d'optimisation aux objectifs et au contexte (ex : tableaux, visuels, casiers, zones définies)
3
Piloter le déploiement et l'intégration d'outils d'optimisation au sein des processus métiers
4
Coordonner différents outils d'optimisation et former les équipes à leur déploiement
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans toutes les phases de projet, il veille à intégrer des optimisations de production
Macro compétences :
Innover et animer un processus d'innovation
Niveaux et compétences attendues :
1
Analyser le besoin et participer à la recherche d’idées et de solutions innovantes
2
Adapter des solutions déjà éprouvées à des contextes de mêmes caractéristiques
3
Piloter le déploiement de solutions innovantes (pilote, déploiement etc.)
4
Donner du sens à l'innovation et coordonner les acteurs internes/externes impactés
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Dans le cadre du développement avec l'équipe de Data science, il contribue à promouvoir l'innovation et anticipe les futures évolutions technologiques et méthodologiques afin de faire évoluer l'outil
Macro compétences :
Maîtriser les échanges entre différents logiciels métiers
Niveaux et compétences attendues :
Exemple concret d'activité pour le niveau attendu :
Dans la phase d'analyse et de création de la solution, il manipule les données de différents outils et formats dans le but de pouvoir les analyser ensemble pour produire des résultats pertinents en respectant l'intégrité des données.
Macro compétences :
Animer une démarche agile et innovante
Niveaux et compétences attendues :
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de ses projets, il travaille avec la méthode agile et contribue à définir et faire vivre le projet
Macro compétences :
Participer et animer un travail d'équipe
Niveaux et compétences attendues :
1
Collaborer avec les membres d'une équipe, partager des informations et des avis
2
Animer les prises de paroles et reformulations selon les situations de travail
3
Animer une équipe complète sur l'ensemble d'un projet
4
Coordonner l'animation de plusieurs équipes partageant un objectif commun
Niveau attendu : 1
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de ses projets, le travail en équipe est une part importante, il contribue à une bonne communication entre les membres afin de partager l'expertise et l'expérience de tous pour mener à terme le projet.
Certifications
Liste des certifications
Hors branche
Proximité(s)/évolution(s) envisageables
La proximité des métiers
Correspondances fortes
Correspondances moyennes
Axes de mobilité professionnelle
Sens d'évolution
Sélection de secteur
Numérique
Ingénierie
Études & Conseil
Évènement
Transverses
Autre
Cliquer sur un secteur pour afficher
uniquement les provenances et les
évolutions depuis et vers ce secteur
Cliquer sur les flèches pour accéder à la comparaison des métiers.
Provenances possibles
Evolutions envisageables
Autres provenances
Autres provenances
Provenances lointaines
Provenances lointaines
Provenances moyennes
Provenances moyennes
Proximité forte
Proximité forte
Evolutions moyennes
Evolutions moyennes
Evolutions lointaines
Evolutions lointaines
Autres évolutions
Autres évolutions
Data Engineer
Spécialiste bases de données
Architecte IoT
Spécialiste test et validation
Ingénieur Machine Learning
Architecte IoT
UX - UI Designer
Consultant architecte technique
Spécialiste blockchain
Data Scientist
Spécialiste infrastructure
Data Scientist
Ces mobilités sont données à titre indicatif, sans valeur d’obligation pour les entreprises et les salariés qui doivent les adapter à leur situation particulière.
Tendances nationales sur le métier : Data Engineer
2 829
offres d'emploi sur un an
Données au 30/12/2022
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle
Répartition des offres d'emploi sur le dernier semestre
Données au 30/12/2022
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle
Expérience requise au recrutement
Données au 30/12/2022
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle
Niveau de formation requis au recrutement
Données au 30/12/2022
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle
Types de contrats au recrutement
Données au 30/12/2022
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle
Taille des entreprises qui recrutent
Données au 30/12/2022
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail. (cf. page Méthodologie) . Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-23
Mise à jour semestrielle