Команда развивает контур интеграции данных крупного банка.
Команда занимается построением и развитием Единого Интеграционного Слоя и пользовательских витрин данных , обеспечивающих работу аналитических систем, прикладных сервисов и внутренних продуктов банка.
Обязанности: - Разрабатывать ETL-процессы и интеграционные потоки данных.
- Проектировать и создавать типовые модули ETL-приложений.
- Участвовать в проектировании архитектуры потоков данных.
- Разрабатывать и внедрять корпоративные стандарты разработки.
- Проводить код-ревью и контролировать качество решений.
- Подготавливать техническую документацию.
- Участвовать в тестировании и сопровождении ETL-решений.
- Помогать команде сопровождения в расследовании и устранении дефектов на продуктивном контуре.
- Взаимодействовать с архитекторами, аналитиками и смежными командами.
Требования: - Коммерческий опыт разработки в Big Data от 3 лет.
- Уверенное знание Python и SQL.
- Опыт работы с Apache Spark / PySpark.
- Опыт разработки и сопровождения ETL-процессов.
- Практический опыт работы с Apache Airflow.
- Опыт работы с Hadoop/HDFS.
- Опыт работы с S3 или S3-compatible хранилищами.
- Знание форматов Parquet и ORC.
- Опыт работы с Git и CI/CD инструментами.
- Опыт использования Jira и Confluence либо аналогичных систем.
- Понимание принципов системного анализа и тестирования.
- Базовое понимание работы Kafka.
- Практический опыт работы с архитектурой Data Vault.
- Навык написания технической документации.
Будет преимуществом
- Опыт работы с Apache Kafka.
- Опыт работы с Apache Iceberg.
- Опыт работы в банковской сфере или крупных корпоративных проектах.
- Опыт наставничества и проведения код-ревью.
