Data Engineer

Data engineer

AGIMA

Москва

Требования

Уверенное знание MPP-баз данных — Greenplum (или аналогов: Redshift, Vertica).

Умение писать сложные SQL-запросы, понимание партиционирования, distribution keys, работы с большими объёмами данных. Знание PostgreSQL: индексы, транзакции, оконные функции, работа pg-драйверами.

Уверенное владение Python для задач обработки данных: pandas, psycopg2 / SQLAlchemy для работы с БД, boto3 для Object Storage, requests для работы с REST API. Умение писать читаемый, поддерживаемый код. ✅Опыт работы с Apache AirFlow: написание DAG-ов на Python, управление зависимостями, настройка расписаний, мониторинг и отладка. ✅Понимание принципов ETL. Опыт работы с Informatica (или аналогами: Talend, dbt, SSIS) будет плюсом. Умение реализовывать загрузку CSV и структурированных данных в БД. ✅Опыт работы с S3-совместимыми хранилищами (Yandex Object Storage, AWS S3 и пр.) — загрузка, хранение промежуточных и выходных данных.

Подробнее о вакансии🔎