Data Engineer: Middle
Middle Data Engineer
Надежные пайплайны, качество, модели данных, оркестрация.
Задачи и ответственность
- Проектировать пайплайны
- Делать модели данных
- Улучшать качество
- Автоматизировать проверки и алерты
Требования
- Airflow advanced
- dbt или слой моделей
- Kafka или стриминг базово
- Observability пайплайнов
Темы для интервью
- Backfills
- Partitioning
- Data contracts
- Late arriving data