Senior-Lead Data Engineer

Роль: Senior-Lead Data Engineer

Компания: Finframe (финтех)

Формат: Удаленно по РФ

Ищем Lead/Senior Data Engineer, которому интересно не просто поддерживать существующие решения, а строить Data Platform с нуля. Будет много hands-on работы: запуск новых контуров, оптимизация производительности, развитие Lakehouse и аналитического DWH. При этом это роль с лидерской зоной - создание и развитие команды, внедрение best-practice разработки, процессов, артефактов.

Основные задачи

Архитектура и развитие платформы (совместно с Data Architect)

• Проектирование архитектуры Data Platform (DWH + Lakehouse)
• Выбор технологических решений и инструментов
• Участие в проработке подходов к Data Quality, lineage и monitoring

Разработка

• Проектирование, разработка и поддержка ETL/ELT-пайплайнов
• Разработка витрин данных
• Реализация ingestion и обработки данных в Lakehouse
• Настройка оркестрации и мониторинга в Airflow
• Поддержка и развитие LakeHouse, DWH
• Внедрение практик CI/CD для data-разработки
• Документирование разработки

Лидерство и развитие команды

• Создание команды Data Engineers
• Развитие компетенций, процессов разработки, code review и внедрение engineering best-практик
• Планирование roadmap развития платформы
• Взаимодействие с архитекторами, аналитиками и backend-командами

Технический стек

S3, Iceberg, Airflow, Spark, Python, Trino, ClickHouse, Greenplum, DBT, Superset (опыт со стеком обязателен)

Наши ожидания

• Опыт работы Data Engineering / DWH / Big Data от 6 лет
• Опыт работы с DBT / Airflow / Spark / объектными хранилищами
• Опыт проектирования Data Platform или ключевых её частей
• Опыт оптимизации производительности DWH или Big Data систем
• Опыт technical leadership (lead / tech lead / играющий тренер)
• Понимание принципов Data Governance и Data Quality
• Будет плюсом: опыт создания Data Platform с нуля, включая MVP

Вакансия: https://hh.ru/vacancy/133215284

Контакты: @olesyaaaassss