Начинающий дата-инженер в команду инфраструктуры аналитики. Поддержка дата-платформы на основе LakeHouse архитектуры, мониторинг и оптимизация процессов обработки данных.
Задачи:
- Активно участвовать в командном чате: отслеживать запросы, оперативно реагировать на вопросы и задачи в рабочее время
- Мониторить системы и решать возникающие инциденты вместе с дежурными дата-инженерами
- Оптимизировать текущие процессы обработки данных
- Модернизировать текущую дата-платформу вместе с Core командой дата-инженеров
Требования:
- Опыт работы инженером данных от 1 года
- Знание Python и SQL (обязательно)
- Понимание принципов ETL/ELT процессов и опыт работы с инструментами
- Понимание распределенных вычислений
- Опыт работы со стеком Apache Spark, Apache Airflow, DBT, Trino будет плюсом
- Самостоятельность, ответственность, умение коммуницировать с разными командами
- Желание развиваться и выстраивать процессы
Условия:
- Работа из любой точки мира, оплата в долларах
- Без бюрократии: удобные процессы, горизонтальные коммуникации
- Компенсация ДМС, психотерапии или иностранных языков, занятий спортом и больничного
- Возможность работать на Пхукете
Навыки:
- Python
- SQL
- Apache Spark
- Apache Airflow
- DBT
- Trino
- AWS S3
- DeltaLake
- Kafka
- Airbyte
- DataHub
- Jenkins
- Terraform
- Kubernetes
- EKS