FuriaHubAbout the role
Ищем Data Engineer
Формат: удаленно
Зарплата: от 200 000 ₽
Срок проекта: длительно
Задачи
- Сбор требований от бизнес-заказчиков и анализ источников данных;
- Разработка, реализация и сопровождение интеграционных потоков и витрин данных;
- Разработка решений на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
- Оперативное решение инцидентов и выполнение задач в зоне ответственности;
- Поддержка и актуализация технической документации по платформе больших данных;
- Подготовка отчетности по выполненным задачам.
Требования
Понимание архитектуры Lakehouse и принципов работы платформ больших данных;
Понимание отличий Big Data/Lakehouse от классических систем хранения данных;
Уверенное знание SQL (индексы, функции, оптимизация запросов, профилирование производительности);
Знание Python и/или Java;
Опыт работы с реляционными СУБД (Oracle, PostgreSQL, MySQL, MS SQL и др.);
Уверенное владение Git;
Опыт работы с DBT, Cosmos, Apache NiFi;
Опыт разработки на Apache Spark;
Понимание принципов работы Trino;
Знание форматов данных Iceberg, Parquet, Avro;
Опыт работы с S3-совместимыми хранилищами (MinIO или аналогами);
Опыт работы с системами управления проектами и технической документацией.
Стек
Greenplum • Trino • Apache Airflow • ClickHouse • Python • Spark • SQL (dbt) • S3 • Hadoop
