О нас
Data Never Lies — это команда из Великобритании, которая верит в силу фактов, а не догадок. Годами мы помогаем бизнесу копаться в самых темных уголках их данных (и да, у данных есть темные уголки — обычно там, где никто не удосуживается навести порядок), чтобы превратить полученные сведения в действия.
Описание вакансии
Это удаленная позиция.
Мы ищем Junior/Middle Data Engineer с сильным фокусом на Python, SQL и построении конвейеров данных (data pipelines).
Основная задача этой роли — подключение к различным источникам данных, извлечение данных через REST API, базы данных, файлы и сторонние платформы, их обработка и загрузка в хранилище данных для дальнейшей аналитики и BI-отчетности.
Мы ищем того, кто понимает, что конвейер данных — это не просто скрипт, а стабильный процесс с логированием, обработкой ошибок, повторными попытками, мониторингом и проверками качества данных.
Местоположение: Казахстан/Удаленно
Требования
Обязательные навыки и опыт
- Глубокое знание Python и практический опыт его использования в задачах инженерии данных.
- Опыт построения конвейеров данных для загрузки, обработки и трансформации данных.
- Опыт работы с различными источниками данных: REST API, базы данных, CSV/Excel/JSON файлы, облачные хранилища и сторонние платформы.
- Практический опыт интеграции с REST API: аутентификация, пагинация, лимиты запросов, повторные попытки, обработка таймаутов и ошибок.
- Понимание того, как строить отказоустойчивые конвейеры.
- Опыт настройки инкрементальной загрузки данных и обработки частичных загрузок.
- Умение работать с JSON и полуструктурированными данными.
- Глубокое знание SQL: JOINs, CTEs, агрегатные функции, оконные функции.
- Опыт загрузки данных в базы данных или хранилища данных, такие как PostgreSQL, BigQuery, Snowflake, Redshift, MS SQL или аналогичные системы.
- Понимание подходов ETL/ELT.
- Опыт логирования, мониторинга и базового устранения неполадок конвейеров.
- Опыт работы с Git.
Желательно
- Опыт работы с dbt: модели, источники, тесты, документация, инкрементальные модели.
- Опыт работы с Spark / PySpark.
- Опыт использования инструментов оркестрации, таких как Airflow, Prefect, Dagster или аналогичных.
- Опыт внедрения проверок качества данных: свежесть, дубликаты, полнота, согласованность.
- Опыт работы с облачными хранилищами: AWS S3, Google Cloud Storage, Azure Blob Storage.
- Опыт работы с Docker.
- Понимание принципов моделирования данных (dimensional modeling): таблицы фактов/измерений, star schema, data marts.
- Опыт оптимизации SQL-запросов и конвейеров.
Бонусные баллы
- Опыт работы с BI-инструментами, такими как Power BI, Tableau, Looker, QuickSight, Domo или аналогичными.
- Опыт подготовки наборов данных для BI-отчетности и аналитических витрин данных (data marts).
- Базовое понимание облачных платформ, таких как GCP, AWS или Azure.
- Опыт работы с CI/CD для проектов по работе с данными.
- Умение четко документировать логику конвейеров, источники данных и трансформации.
Преимущества
- Разнообразие проектов: поверьте, вам не будет скучно.
- Здоровый график: мы ориентируемся на задачи, а не на часы — но приходить к полудню каждый день не очень приветствуется.
- Команда, ценящая экспертизу и юмор: да, мы иногда шутим про SQL — не волнуйтесь, если не засмеетесь сразу.
- Выберите свое приключение: углубитесь в один масштабный проект или выберите режим «исследования», сотрудничая с несколькими глобальными клиентами в различных областях. Вы можете получить практический опыт работы с передовыми стеками данных для всего, от игр и знакомств до строительства небоскребов и ядерной энергетики. Если вы жаждете разнообразия, вы найдете его здесь.
