Чим займається Data Engineer: конвеєри, сховища й дані, яким можна вірити

Data Engineer будує й тримає інфраструктуру даних: збір, перетворення, сховища/лейки, оркестрацію й якість — щоб аналітики та ML могли вірити тому, що запитують.

Тут я розкладаю роль по поличках: чим людина займається на практиці, які навички справді потрібні і коли бізнесу є сенс наймати — без порожнього жаргону.

Що входить у роботу

У типовому тижні ця людина:

• Проєктувати ETL/ELT-конвеєри й розклад оркестрації.
• Моделювати схеми сховища й оптимізувати швидкість/вартість запитів.
• Завести тести якості даних, лінедж і моніторинг.
• Підключати джерела: продуктові бази, події, SaaS API, файли.
• Разом з аналітикою й ML тримати надійні набори даних і SLA.

Що вміти насправді

Інструменти змінюються, фундамент — ні:

• SQL, Python, Spark або подібне; dbt — звична річ
• Хмарні data-стеки (BigQuery/Snowflake/Redshift), Airflow тощо
• Моделювання даних, партиціонування, контроль вартості
• Інженерна гігієна: тести, CI, спостережуваність

Коли є сенс наймати

Коли таблиці й разові експорти ламаються, конвеєри тихо падають, або кожен дашборд має своє визначення «активного користувача».

Наостанок

Без data engineering проєкти AI й аналітики буксують на брудному вході — а не на якості моделі.