Que fait un Data Engineer ? Pipelines, entrepôts et données fiables

Un Data Engineer construit et tient l’infra data : ingestion, transformation, entrepôts/lacs, orchestration et qualité — pour que analystes et ML puissent se fier à ce qu’ils interrogent.

Je vous explique le métier concrètement : ce que la personne fait au quotidien, les compétences qui comptent, et quand vous avez intérêt à recruter — sans jargon creux.

Missions concrètes

Au quotidien, cela comprend :

• Concevoir des pipelines ETL/ELT et cadencer l’orchestration.
• Modéliser les schémas d’entrepôt et optimiser perf/coût des requêtes.
• Mettre en place tests de qualité, lignage et supervision.
• Brancher les sources : bases produit, événements, API SaaS, fichiers.
• Travailler avec l’analytique et le ML sur des jeux fiables et des SLA.

Les compétences qui font la différence

Les outils changent, les bases restent :

• SQL, Python, Spark ou équivalent ; dbt est courant
• Stacks data cloud (BigQuery/Snowflake/Redshift), Airflow etc.
• Modélisation, partitionnement, maîtrise des coûts
• Hygiène d’ingénierie : tests, CI, observabilité

Quand recruter ce profil

Quand tableurs et exports ad hoc cassent, que les pipelines meurent en silence, ou que chaque tableau de bord a sa définition d’« utilisateur actif ».

En résumé

Sans data engineering, les projets IA et analytique calent sur des entrées sales — pas sur la qualité du modèle.