Présentation du métier

Contexte de travail

Conditions de travail

Compétences et niveaux attendus

Certifications

Proximité(s)/évolution(s) envisageables

Tendances nationales sur le métier

Pour en savoir plus

DATA ENGINEER

Famille : Architecture et conception de la solution

Autres appellations en français

Data Ingénieur
Ingénieur de données
Ingénieur Big Data

Autres appellations en anglais

Data Engineer

Tout déplier / tout replier

Présentation du métier : Data Engineer

Finalité du métier

Le Data Engineer conçoit et développe les infrastructures et outils nécessaires au traitement des données massives et au déploiement de solutions d'Intelligence Artificielle.

Missions principales

Analyser le besoin et concevoir l'infrastructure de traitement :
Le Data Engineer analyse et développe une solution permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci. Il préconise l'architecture technique nécessaire aux traitements des algorithmes conçus avec le Data Scientist (ex. : puissance de calcul, stockage, flux de données, utilisation des solutions cloud et développements spécifiques). Il co-anime l'équipe de traitement des données avec le Data Scientist et contribue tout au long du traitement des données.

Déployer et maintenir la solution sur son cycle de vie :
Il est le premier échelon de la chaîne de traitement de données et conçoit des solutions permettant le traitement de volumes importants de "pipelines" de données. Il veille à entretenir une solution permettant le traitement massif de données en utilisant ses diverses expertises. Il anticipe les évolutions dans les données (ex. : variations de volumes ou d'usages) et prépare l'architecture de la plateforme à y répondre techniquement.

Intégrer les technologies du Big Data dans son activité :
Il maîtrise les diverses technologies du Big Data permettant le traitement et la manipulation de données (Hadoop, Spark, Kafka…) ainsi que les langages (Javascript, Scala, Python...), des systèmes d'exploitation (UNIS, Linux, Solaris...) et des solutions de base de données (SQL, NO SQL).

Contexte de travail

Variables spécifiques au métier

Expertise(s) métier(s) ou sectorielle(s) :
En lien avec la taille et le positionnement client sur ses marchés le niveau d'expertise métier de Data Engineer aura une importance dans ses missions et projets. Il se servira de sa connaissance de fonctionnement et de process du secteur de son client afin de proposer des processus et les traitements adaptés à celui-ci. Son degré de connaissance des sources de données sectorielles est également un atout.

Variété des ressources technologiques :
Selon le cas d'usage, l'appel à des ressources externes (ex. : technologies Big Data et IA du cloud) peut se révéler pertinent sur le plan technique et économique. Le développement des technologies et de la donnée sur les marchés du numérique influe sur ce métier qui doit arbitrer les choix des technologies et d'adaptation des méthodologies nécessaires à sa compétitivité, ainsi que la sécurité de l'information. Il reste en veille et se forme pour monter en compétences sur les nouvelles technologies de stockage, de sécurité et de traitement des données du marché.

Technologies mobilisées :
Les technologies et méthodologies sont différentes selon les besoins du client, mais aussi le métier cible. Il mobilise fréquemment des solutions existantes, qu'il adapte et complète par des briques qu'il conçoit seul ou avec son équipe afin de créer une solution spécifique pour répondre au besoin du client.

Culture client en lien avec la technologie :
Selon la maturité des acteurs impliqués dans le projet de transformation, il doit mener un travail variable sur la culture des acteurs clients autour de la technologie et de ses impacts métiers/organisationnels

Contextes organisationnels

Type et taille de projet :
Selon la taille de projet, le Data Engineer interviendra sur un ou plusieurs projets avec des équipes projet de différentes tailles. Il travaille en équipe selon la taille du projet et de l'équipe et est lié aux autres métiers de la Data.

Type et taille d'entreprise :
En tant qu'indépendant, il intervient majoritairement sur des projets de plusieurs clients différents. Ses missions sont plus larges en indépendant, son expertise est couplée avec les missions du Data Scientist et Data Analyst.

Dans une PME / TPE, chez un éditeur de logiciel, il joue un rôle clé dans la définition et l'évolution du produit/système. La demande de compétences sera ici plus variée et les projets de taille inférieure, en règle générale. Il sera aussi amené à travailler avec des partenaires extérieurs et ainsi maîtriser les règles de fonctionnement de ce type de relation. Dans les petites et moyennes entreprises, le métier est couplé avec celui de Data Scientist et Data Analyst.

Dans une grande Entreprise de Service Numérique, il apporte son expertise technique sur les infrastructures. Il sera ici focalisé sur son périmètre de projet et son expertise métier, souvent de plus grande taille et interne. Le besoin d'expertise métier y sera équivalent dans une structure moyenne ou grande et va intervenir sur des missions en interne et externe.

Conditions de travail

Le rythme de travail

Les phases de charges de travail varient et sont plus importantes dans les phases d'analyse et de conception. Néanmoins, les cas d'usages nécessitant une mise à jour des infrastructures sur le long terme (ex. : voiture autonome) mobilisent régulièrement le Data Engineer sur le long terme, bien au-delà du mode projet.

Déplacements

Les déplacements sont rares. Les rendez-vous se déroulent en présentiel, en visioconférence ou par téléphone.

Les relations professionnelles

Relations internes

Data Scientist
Data Analyst
Responsable Sécurité et Systèmes d'information

Relations externes

Client
Data Scientist
Data Analyst
Comité de direction

Compétences et niveaux attendus en 4 niveaux cumulés

Macro compétences

Niveaux et compétences attendues

Exemple concret d'activité pour le niveau attendu

Macro compétences :

Intégrer des outils IA/Data Science

Niveaux et compétences attendues :

Identifier les outils de Data Science applicables selon le contexte et les objectifs

Préconiser, concevoir ou intégrer un outil IA/Data Science adapté à la problématique métier

Anticiper l'intégration d'outils IA/Data Science dans l'organisation du travail

Déterminer l'opportunité de l'intégration d'outils IA/Data Science dans le modèle d'affaires

Niveau attendu : 3

Exemple concret d'activité pour le niveau attendu :

Lors d'un nouveau projet, le Data Engineer définit et propose les outils et l'infrastructure pour la réalisation du projet.

Macro compétences :

Gérer une architecture technique

Niveaux et compétences attendues :

Analyser les besoins d'architecture issus des fonctionnalités attendues (ex : flux de données, stockage, puissance de calcul)

Anticiper plusieurs scénarios d'architecture technique en fonction des besoins, contraintes et coûts

Piloter le déploiement de l'architecture technique avec les acteurs internes/externes

Coordonner une vision de l'architecture SI à moyen terme et être référent expert du domaine

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans le cadre de réponse à un appel d'offres, il définit et rédige plusieurs propositions en spécifiant les avantages et inconvénients et détaillant le coût de chacune.

Macro compétences :

Assurer la maintenance d'un équipement

Niveaux et compétences attendues :

Identifier les usages et conditions d'utilisation sur la durée de vie de la solution ou de l'équipement

Rédiger un protocole de maintenance et la documentation technique (guide utilisateur, guide métier, schémas d'architecture...)

Piloter les opérations de tests, les processus de maintenance curative/préventive et anticiper leurs coûts

Mettre en cohérence les opérations de maintenance avec les évolutions techniques, organisationnelles et réglementaires

Niveau attendu : 3

Exemple concret d'activité pour le niveau attendu :

Après le déploiement d'un projet de Data Science, il assure la maintenance préventive et les améliorations des infrastructures.

Macro compétences :

Se conformer aux normes et à la règlementation

Niveaux et compétences attendues :

Cartographier les exigences normatives et règlementaires d'une entreprise

Adapter les processus de travail aux exigences normatives et réglementaires et informer les parties prenantes

Anticiper les conséquences des normes et de la règlementation et piloter leur bonne compréhension/application

Contribuer à la révision de la règlementation ou de la normalisation et proposer des adaptations

Niveau attendu : 3

Exemple concret d'activité pour le niveau attendu :

Dans la phase d'analyse, il veille à respecter et intégrer les règlementations du RGPD, du client et de sécurité

Macro compétences :

Communiquer efficacement

Niveaux et compétences attendues :

Ecouter activement et partager une information pertinente

Adapter et rédiger un support de communication aux objectifs et au contexte

Synthétiser une présentation adaptée à l'objectif et au public cible

Coordonner une communication d'organisation en situation complexe (ex : message sensible, public difficile, situation imprévue…)

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans ses phases d'échanges avec le client et l'équipe de Data Scientist, il veille à rédiger et formuler ses propositions afin d'alimenter les échanges et la compréhension de toutes les parties.

Macro compétences :

Influencer et convaincre

Niveaux et compétences attendues :

Identifier et décrypter les positions des différents interlocuteurs et les relais d’influence

Adapter son discours, ses arguments et l'organisation des échanges aux interlocuteurs à convaincre

Synthétiser une argumentation percutante et anticiper les objections

Equilibrer un discours fidèle à la finalité partagée par les parties prenantes

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans la rédaction des propositions suite à l'analyse, il anticipe et prépare son argumentation afin de convaincre les parties de la solution la plus adaptée à la demande initiale

Macro compétences :

Utiliser l'anglais en contexte professionnel

Niveaux et compétences attendues :

Utiliser de la documentation technique en anglais

Converser en anglais professionnel courant et écrire en anglais les livrables simples, notes, e-mails

Délivrer et soutenir des livrables ou propositions complexes

Diriger des débats techniques et un projet en anglais

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans le cadre de son projet, il communique et lit des documents en anglais et développe des codes informatiques en anglais

Macro compétences :

Intégrer des méthodes d'optimisation de production

Niveaux et compétences attendues :

Analyser les flux de valeur et hiérarchiser les points d'amélioration potentiel

Adapter des outils d'optimisation aux objectifs et au contexte (ex : tableaux, visuels, casiers, zones définies)

Piloter le déploiement et l'intégration d'outils d'optimisation au sein des processus métiers

Coordonner différents outils d'optimisation et former les équipes à leur déploiement

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans toutes les phases de projet, il veille à intégrer des optimisations de production

Macro compétences :

Innover et animer un processus d'innovation

Niveaux et compétences attendues :

Analyser le besoin et participer à la recherche d’idées et de solutions innovantes

Adapter des solutions déjà éprouvées à des contextes de mêmes caractéristiques

Piloter le déploiement de solutions innovantes (pilote, déploiement etc.)

Donner du sens à l'innovation et coordonner les acteurs internes/externes impactés

Niveau attendu : 3

Exemple concret d'activité pour le niveau attendu :

Dans le cadre du développement avec l'équipe de Data science, il contribue à promouvoir l'innovation et anticipe les futures évolutions technologiques et méthodologiques afin de faire évoluer l'outil

Macro compétences :

Maîtriser les échanges entre différents logiciels métiers

Niveaux et compétences attendues :

Identifier les besoins en logiciel des acteurs d'un projet

Concevoir et utiliser les formats d'échange de données

Paramétrer un logiciel métier et l'interfacer à d'autre applicatifs

Développer un complément (plug-in) pour augmenter les capacités d'un logiciel métier

Niveau attendu : 3

Exemple concret d'activité pour le niveau attendu :

Dans la phase d'analyse et de création de la solution, il manipule les données de différents outils et formats dans le but de pouvoir les analyser ensemble pour produire des résultats pertinents en respectant l'intégrité des données.

Macro compétences :

Animer une démarche agile et innovante

Niveaux et compétences attendues :

Suivre l'avancement d'un projet agile et innovant

Définir les rôles nécessaires aux objectifs et contraintes de projet

Piloter les étapes et livrables d'un projet agile et innovant

Intégrer un projet agile et innovant dans un ensemble multi-projets

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans le cadre de ses projets, il travaille avec la méthode agile et contribue à définir et faire vivre le projet

Macro compétences :

Participer et animer un travail d'équipe

Niveaux et compétences attendues :

Collaborer avec les membres d'une équipe, partager des informations et des avis

Animer les prises de paroles et reformulations selon les situations de travail

Animer une équipe complète sur l'ensemble d'un projet

Coordonner l'animation de plusieurs équipes partageant un objectif commun

Niveau attendu : 1

Exemple concret d'activité pour le niveau attendu :

Dans le cadre de ses projets, le travail en équipe est une part importante, il contribue à une bonne communication entre les membres afin de partager l'expertise et l'expérience de tous pour mener à terme le projet.