¿Qué hace un Data Engineer? Pipelines, almacenes y datos de fiar

Un Data Engineer construye y mantiene la infra de datos: ingesta, transformación, almacenes/lagos, orquestación y calidad — para que analistas y ML puedan fiarse de lo que consultan.

Le explico el puesto con claridad: qué hace la persona de verdad, qué competencias importan y cuándo conviene contratarla, sin jerga vacía.

Qué hace en el día a día

En una semana típica, el puesto cubre:

• Diseñar pipelines ETL/ELT y programar la orquestación.
• Modelar esquemas de almacén y optimizar rendimiento/coste de consultas.
• Implantar tests de calidad, linaje y monitorización.
• Integrar fuentes: bases de producto, eventos, APIs SaaS, archivos.
• Aliarse con analítica/ML en conjuntos de fiar y SLA.

Competencias que de verdad importan

Las herramientas cambian; lo de fondo sigue valiendo:

• SQL, Python, Spark o similar; dbt es habitual
• Stacks de datos en cloud (BigQuery/Snowflake/Redshift), Airflow etc.
• Modelado de datos, particionado, control de coste
• Higiene de ingeniería: tests, CI, observabilidad

Cuándo merece la pena contratar

Cuando las hojas y los exports ad hoc se rompen, los pipelines fallan en silencio o cada panel define distinto a un «usuario activo».

En síntesis

Sin data engineering, los proyectos de IA y analítica se atascan en entradas sucias — no en la calidad del modelo.