Présentation du métier
Contexte de travail
Conditions de travail
Compétences et niveaux attendus
Certifications
Proximité(s)/évolution(s) envisageables
Tendances nationales sur le métier
Pour en savoir plus
DATA ENGINEER
Famille : Architecture et conception de la solution
Autres appellations en français
- Data Ingénieur
- Ingénieur de données
- Ingénieur Big Data
Autres appellations en anglais
- Data Engineer
Présentation du métier : Data Engineer
Finalité du métier
Le Data Engineer conçoit et développe les infrastructures et outils nécessaires au traitement des données massives et au déploiement de solutions d'Intelligence Artificielle. Il intervient en expertise auprès des autres métiers, ce qui implique une compréhension approfondie de leur finalité, de leurs spécificités et de leurs attentes.
Missions principales
Analyser le besoin et concevoir l'infrastructure de traitement :
Le Data Engineer analyse et développe une solution permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci. Il préconise l'architecture technique nécessaire aux traitements des algorithmes conçus avec le Data Scientist (ex. : puissance de calcul, stockage, flux de données, utilisation des solutions cloud et développements spécifiques). Il co-anime l'équipe de traitement des données avec le Data Scientist.
Déployer et maintenir la solution sur son cycle de vie :
Il est le premier échelon de la chaîne de traitement de données et conçoit des solutions permettant le traitement de volumes importants de "pipelines" de données. Il veille à entretenir une solution permettant le traitement massif de données en utilisant ses diverses expertises. Il anticipe les évolutions dans les données (ex. : variations de volumes ou d'usages) et prépare l'architecture de la plateforme à y répondre techniquement.
Intégrer les technologies du Big Data dans son activité :
Il maîtrise les diverses technologies du Big Data permettant le traitement et la manipulation de données (Hadoop, Spark, Kafka…) ainsi que les langages (JavaScript, Scala, Python...), des systèmes d'exploitation (UNIS, Linux, Solaris...) et des solutions de base de données (SQL, NO SQL).
Contribuer à la réduction de l'empreinte écologique liée au numérique :
Il intègre la sobriété numérique dans la gestion des données en adoptant des pratiques responsables comme l'optimisation de l'infrastructure de stockage et de la puissance de calcul pour réduire la consommation d'énergie, ou la sélection de technologies moins énergivores.
Le Data Engineer analyse et développe une solution permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci. Il préconise l'architecture technique nécessaire aux traitements des algorithmes conçus avec le Data Scientist (ex. : puissance de calcul, stockage, flux de données, utilisation des solutions cloud et développements spécifiques). Il co-anime l'équipe de traitement des données avec le Data Scientist.
Déployer et maintenir la solution sur son cycle de vie :
Il est le premier échelon de la chaîne de traitement de données et conçoit des solutions permettant le traitement de volumes importants de "pipelines" de données. Il veille à entretenir une solution permettant le traitement massif de données en utilisant ses diverses expertises. Il anticipe les évolutions dans les données (ex. : variations de volumes ou d'usages) et prépare l'architecture de la plateforme à y répondre techniquement.
Intégrer les technologies du Big Data dans son activité :
Il maîtrise les diverses technologies du Big Data permettant le traitement et la manipulation de données (Hadoop, Spark, Kafka…) ainsi que les langages (JavaScript, Scala, Python...), des systèmes d'exploitation (UNIS, Linux, Solaris...) et des solutions de base de données (SQL, NO SQL).
Contribuer à la réduction de l'empreinte écologique liée au numérique :
Il intègre la sobriété numérique dans la gestion des données en adoptant des pratiques responsables comme l'optimisation de l'infrastructure de stockage et de la puissance de calcul pour réduire la consommation d'énergie, ou la sélection de technologies moins énergivores.
Contexte de travail
Variables spécifiques au métier
Expertise(s) métier(s) ou sectorielle(s) :
En lien avec la taille et le positionnement client sur ses marchés le niveau d'expertise métier de Data Engineer aura une importance dans ses missions et projets. Il se servira de sa connaissance de fonctionnement et de process du secteur de son client afin de proposer des processus et les traitements adaptés à celui-ci. Son degré de connaissance des sources de données sectorielles est également un atout.
Variété des ressources technologiques :
Selon le cas d'usage, le recours à des ressources externes (ex. : technologies Big Data, blockchain, IA du cloud comme l'IA générative) peut se révéler pertinent sur le plan technique et économique. Le développement des technologies et de la donnée sur les marchés du numérique influe sur ce métier qui doit arbitrer les choix des technologies et d'adaptation des méthodologies nécessaires à sa compétitivité, ainsi que la sécurité de l'information. Il reste en veille et se forme pour monter en compétences sur les nouvelles technologies de stockage, de sécurité et de traitement des données du marché.
Technologies mobilisées :
Les technologies et méthodologies sont différentes selon les besoins du client, mais aussi le métier cible. Il mobilise fréquemment des solutions existantes, qu'il adapte et complète par des briques qu'il conçoit seul ou avec son équipe afin de créer une solution spécifique pour répondre au besoin du client.
Culture client en lien avec la technologie :
Selon la maturité des acteurs impliqués dans le projet de transformation, il doit mener un travail variable sur la culture des acteurs clients autour de la technologie et de ses impacts métiers/organisationnels. C'est notamment le cas en matière de cybersécurité où le facteur humain est très important.
En lien avec la taille et le positionnement client sur ses marchés le niveau d'expertise métier de Data Engineer aura une importance dans ses missions et projets. Il se servira de sa connaissance de fonctionnement et de process du secteur de son client afin de proposer des processus et les traitements adaptés à celui-ci. Son degré de connaissance des sources de données sectorielles est également un atout.
Variété des ressources technologiques :
Selon le cas d'usage, le recours à des ressources externes (ex. : technologies Big Data, blockchain, IA du cloud comme l'IA générative) peut se révéler pertinent sur le plan technique et économique. Le développement des technologies et de la donnée sur les marchés du numérique influe sur ce métier qui doit arbitrer les choix des technologies et d'adaptation des méthodologies nécessaires à sa compétitivité, ainsi que la sécurité de l'information. Il reste en veille et se forme pour monter en compétences sur les nouvelles technologies de stockage, de sécurité et de traitement des données du marché.
Technologies mobilisées :
Les technologies et méthodologies sont différentes selon les besoins du client, mais aussi le métier cible. Il mobilise fréquemment des solutions existantes, qu'il adapte et complète par des briques qu'il conçoit seul ou avec son équipe afin de créer une solution spécifique pour répondre au besoin du client.
Culture client en lien avec la technologie :
Selon la maturité des acteurs impliqués dans le projet de transformation, il doit mener un travail variable sur la culture des acteurs clients autour de la technologie et de ses impacts métiers/organisationnels. C'est notamment le cas en matière de cybersécurité où le facteur humain est très important.
Contextes organisationnels
Type et taille d'entreprise :
En tant qu'indépendant, il intervient majoritairement sur des projets de plusieurs clients différents. Ses missions sont plus larges et son expertise est couplée avec les missions du Data Scientist et Data Analyst.
Dans une PME/TPE, chez un éditeur de logiciel, il joue un rôle clé dans la définition et l'évolution du produit/système. La demande de compétences sera ici plus variée et les projets de taille inférieure, en règle générale. Il sera aussi amené à travailler avec des partenaires extérieurs et ainsi maîtriser les règles de fonctionnement de ce type de relation. Dans les petites et moyennes entreprises, le métier est couplé avec celui de Data Scientist et Data Analyst.
Dans une grande Entreprise de Service Numérique, il apporte son expertise technique sur les infrastructures. Il sera ici focalisé sur son périmètre de projet et son expertise métier. Pour les clients et entreprises de taille internationale, l'hétérogénéité des données et infrastructures nécessite un Data engineering plus complexe.
Type et taille de projet :
Le Data engineer travaille dans des secteurs variés et sur des projets d'une grande diversité. Il collabore avec les autres métiers de la Data. Il peut intervenir sur des projets spécifiques (développement d'une application spécifique à l'entreprise) ou au contraire travailler sur des missions transversales, par exemple pour répondre à des besoins liés à l'analyse en continu d'un marché.
En tant qu'indépendant, il intervient majoritairement sur des projets de plusieurs clients différents. Ses missions sont plus larges et son expertise est couplée avec les missions du Data Scientist et Data Analyst.
Dans une PME/TPE, chez un éditeur de logiciel, il joue un rôle clé dans la définition et l'évolution du produit/système. La demande de compétences sera ici plus variée et les projets de taille inférieure, en règle générale. Il sera aussi amené à travailler avec des partenaires extérieurs et ainsi maîtriser les règles de fonctionnement de ce type de relation. Dans les petites et moyennes entreprises, le métier est couplé avec celui de Data Scientist et Data Analyst.
Dans une grande Entreprise de Service Numérique, il apporte son expertise technique sur les infrastructures. Il sera ici focalisé sur son périmètre de projet et son expertise métier. Pour les clients et entreprises de taille internationale, l'hétérogénéité des données et infrastructures nécessite un Data engineering plus complexe.
Type et taille de projet :
Le Data engineer travaille dans des secteurs variés et sur des projets d'une grande diversité. Il collabore avec les autres métiers de la Data. Il peut intervenir sur des projets spécifiques (développement d'une application spécifique à l'entreprise) ou au contraire travailler sur des missions transversales, par exemple pour répondre à des besoins liés à l'analyse en continu d'un marché.
Conditions de travail
Le rythme de travail
Les phases de charges de travail varient et sont plus importantes dans les phases d'analyse et de conception. Néanmoins, les cas d'usages nécessitant une mise à jour des infrastructures sur le long terme (ex. : voiture autonome) mobilisent régulièrement le Data Engineer sur le long terme, bien au-delà du mode projet.
Déplacements
Les déplacements sont rares. Les rendez-vous se déroulent en présentiel, en visioconférence ou par téléphone.
Les relations professionnelles
Relations internes
- Data Scientist
- Data Analyst
- Responsable Sécurité et Systèmes d'information
Relations externes
- Client
- Data Scientist
- Data Analyst
- Comité de direction
Compétences et niveaux attendus en 4 niveaux cumulés
Macro compétences
Niveaux et compétences attendues
Exemple concret d'activité pour le niveau attendu
Macro compétences :
Intégrer des outils IA/Data Science
Niveaux et compétences attendues :
1
Identifier les outils de Data Science applicables selon le contexte et les objectifs
2
Préconiser, concevoir ou intégrer un outil IA/Data Science adapté à la problématique métier
3
Anticiper l'intégration d'outils IA/Data Science dans l'organisation du travail
4
Déterminer l'opportunité de l'intégration d'outils IA/Data Science dans le modèle d'affaires
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Lors d'un nouveau projet, le Data Engineer définit et propose les outils et l'infrastructure pour la réalisation du projet.
Macro compétences :
Gérer une architecture technique
Niveaux et compétences attendues :
1
Analyser les besoins d'architecture issus des fonctionnalités attendues (ex : flux de données, stockage, puissance de calcul)
2
Anticiper plusieurs scénarios d'architecture technique en fonction des besoins, contraintes et coûts
3
Piloter le déploiement de l'architecture technique avec les acteurs internes/externes
4
Coordonner une vision de l'architecture SI à moyen terme et être référent expert du domaine
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de réponse à un appel d'offres, il définit et rédige plusieurs propositions en spécifiant les avantages et inconvénients et détaillant le coût de chacune.
Macro compétences :
Concevoir et déployer un algorithme
Niveaux et compétences attendues :
1
Identifier les usages d'une solution algorithmique et les technologies existantes (ex: IA générative, robotique)
2
Assembler des solutions algorithmiques existantes, les adapter et les tester
3
Créer et tester une nouvelle solution algorithmique sur mesure
4
S'assurer de l'usage conforme juridiquement (ex : RGPD) et éthique de la solution par tous les usagers
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Après le déploiement d'un projet de Data Science, il assure la maintenance préventive et les améliorations des infrastructures.
Macro compétences :
Écoconcevoir une solution ou un équipement
Niveaux et compétences attendues :
1
Maximiser la durée de vie d'une solution dans les conditions réelles d'usage et de maintenance
2
Concevoir une solution anticipant les évolutions probables de normes et réglementations (recyclabilité, réparabilité, durabilité, etc.)
3
Recourir aux solutions technologiques avec discernement sur leur potentiel et leurs impacts environnementaux
4
Coordonner et optimiser les processus de production et la consommation de ressources (matériaux, eau, énergie) avec toutes les parties prenantes
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Dans la phase d'analyse, il veille à respecter et intégrer les règlementations du RGPD, du client et de sécurité
Macro compétences :
Communiquer efficacement
Niveaux et compétences attendues :
1
Ecouter activement et partager une information pertinente
2
Adapter et rédiger un support de communication aux objectifs et au contexte
3
Synthétiser une présentation adaptée à l'objectif et au public cible
4
Coordonner une communication d'organisation en situation complexe (ex : message sensible, public difficile, situation imprévue…)
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans ses phases d'échanges avec le client et l'équipe de Data Scientist, il veille à rédiger et formuler ses propositions afin d'alimenter les échanges et la compréhension de toutes les parties.
Macro compétences :
Influencer et convaincre
Niveaux et compétences attendues :
1
Identifier et décrypter les positions des différents interlocuteurs et les relais d’influence
2
Adapter son discours, ses arguments et l'organisation des échanges aux interlocuteurs à convaincre
3
Synthétiser une argumentation percutante et anticiper les objections
4
Equilibrer un discours fidèle à la finalité partagée par les parties prenantes
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans la rédaction des propositions suite à l'analyse, il anticipe et prépare son argumentation afin de convaincre les parties de la solution la plus adaptée à la demande initiale
Macro compétences :
Utiliser l'anglais en contexte professionnel
Niveaux et compétences attendues :
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de son projet, il communique et lit des documents en anglais et développe des codes informatiques en anglais
Macro compétences :
Anticiper l'impact économique d'une solution technique
Niveaux et compétences attendues :
1
Repérer l'ensemble des postes de dépenses et intervenants d'une solution
2
Dimensionner les coûts de déploiement et d'exploitation de chaque étape du cycle de vie de la solution ou de l'équipement
3
Piloter une décision économique d'ensemble équilibrée et adapter les étapes
4
Donner du sens à une décision d'investissement sur son impact économique et le service rendu aux parties prenantes
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans toutes les phases de projet, il veille à intégrer des optimisations de production
Macro compétences :
Innover et animer un processus d'innovation
Niveaux et compétences attendues :
1
Analyser le besoin et participer à la recherche d’idées et de solutions innovantes
2
Adapter des solutions déjà éprouvées à des contextes de mêmes caractéristiques
3
Piloter le déploiement de solutions innovantes (pilote, déploiement etc.)
4
Donner du sens à l'innovation et coordonner les acteurs internes/externes impactés
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Dans le cadre du développement avec l'équipe de Data science, il contribue à promouvoir l'innovation et anticipe les futures évolutions technologiques et méthodologiques afin de faire évoluer l'outil
Macro compétences :
Maîtriser les échanges entre différents logiciels métiers
Niveaux et compétences attendues :
Exemple concret d'activité pour le niveau attendu :
Dans la phase d'analyse et de création de la solution, il manipule les données de différents outils et formats dans le but de pouvoir les analyser ensemble pour produire des résultats pertinents en respectant l'intégrité des données.
Macro compétences :
Animer une démarche agile et innovante
Niveaux et compétences attendues :
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de ses projets, il travaille avec la méthode agile et contribue à définir et faire vivre le projet
Macro compétences :
Participer et animer un travail d'équipe
Niveaux et compétences attendues :
1
Collaborer avec les membres d'une équipe, partager des informations et des avis
2
Animer les prises de paroles et reformulations selon les situations de travail
3
Animer une équipe complète sur l'ensemble d'un projet
4
Coordonner l'animation de plusieurs équipes partageant un objectif commun
Niveau attendu : 1
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de ses projets, le travail en équipe est une part importante, il contribue à une bonne communication entre les membres afin de partager l'expertise et l'expérience de tous pour mener à terme le projet.
Certifications
Liste des certifications
Hors branche
Proximité(s)/évolution(s) envisageables
La proximité des métiers
Axes de mobilité professionnelle
Sens d'évolution
Sélection de secteur
Numérique
Ingénierie
Études & Conseil
Évènement
Transverses
Autre
Cliquer sur un secteur pour afficher
uniquement les provenances et les
évolutions depuis et vers ce secteur
Cliquer sur les flèches pour accéder à la comparaison des métiers.
Provenances possibles
Evolutions envisageables
Autres provenances
Autres provenances
Provenances lointaines
Provenances lointaines
Provenances moyennes
Provenances moyennes
Proximité forte
Proximité forte
Evolutions moyennes
Evolutions moyennes
Evolutions lointaines
Evolutions lointaines
Autres évolutions
Autres évolutions
Data Engineer
Webdesigner
Spécialiste test et validation
Webmaster
Architecte IoT
Consultant architecte technique
Spécialiste blockchain
Spécialiste IA embarquée
Spécialiste e-santé
Expert en Intelligence Artificielle
Data Scientist
Data Scientist
UX - UI Designer
Ces mobilités sont données à titre indicatif, sans valeur d’obligation pour les entreprises et les salariés qui doivent les adapter à leur situation particulière.
