Lead Data инженер

KazanExpress — это федеральная компания, работающая в 120 городах России. Каждый день бы принимаем от 100 000 заказов в сутки и помогаем более 5 миллионам пользователей находить нужные вещи быстро и удобно.

Чтобы этот сложный механизм работал слаженно, мы собираем сильную IT-команду. У нас уже больше 200 разработчиков. Каждый день они улучшают платформу, тестируют новые фичи, разрабатывают решения для оптимизации, апгрейдятся, обмениваясь знаниями и оттачивая скиллы. Это сообщество — закрытое, но при этом оно лишено формальностей: каждый может подойти к каждому и попросить помощи или совета. Проактивность, четкая схема работы, постоянный обмен опытом между командами, индивидуальный подход к каждому специалисту и разнообразие проектов — вот что мы любим.

На данный момент нам нужны Data инженеры уровня middle, senior и lead в отдел анализа данных. Миссия нашего отдела — предоставлять качественные данные, которые легко использовать для создания выводов и продуктов. Команда разрабатывает системы получения, обработки, хранения и предоставления доступа к данным маркетплейса.

Наш стек:

Airflow, Clickhouse, Spark, PostgreSQL, Kafka Connect, Debezium, Kubernetes и многое другое. Этот стек помогает обрабатывать миллиарды событий, происходящих с нашими пользователями каждый день. Сейчас мы развиваем Data Lake House используя Hudi. Из языков программирования используем Python / Java / Scala.

У нас запущено несколько больших инициатив, которыми нужно будет заниматься:

• хранилище для классической аналитики и BI, а также ML продуктов;

• ETL-процессы и подготовка данных для аналитиков в сложных случаях;

• Data Governance — качество данных, их доступность и понятность.

В ближайшее время нам предстоит:

• улучшить CDC-процессы;

• ускорить продуктивизации пользовательских витрин;

• обеспечить высокое качество данных;

• внедрить DataMesh практики;

• построить Lake House с единой точкой входа для ad-hoc запросов.

Задачи:

• работа над хранилищем данных для аналитики;

• потоковая обработка данных;

• поддержка разных типов хранилищ: транзакционных, аналитических, горячих, холодных;

• предоставление данных пользователя сервисам персонализации;

• создать идеальные условия для проведения неограниченного числа экспериментов в продукте;

• мониторинг, работоспособность и масштабируемость продакшена.

Что мы от вас ожидаем:

• опыт работы с холодным хранилищем: Spark / DeltaLake / Presto / Trino;

• опыт работы с Airflow / Oozie или другими планировщиками и оркестраторами;

• опыт разработки на Python / Java / Scala;

• опыт работы с Kafka / ksqlDB / Apache Pulsar или другими распределенными платформами обработки потоков событий;

• понимание того, как можно структурировать хранилище данных: Kappa / Lambda / DWH / Data Vault / Data Anchor / hNhM.

Условия:

• сильная и энергичная команда, нацеленная на быстрый рост на конкурентном рынке;

• современные и интересные технологии, возможность тестировать новые фреймворки и паттерны;

• возможность брать много ответственности: наши инженеры самостоятельно драйвят большие и сложные истории внутри продукта;

• удаленная работа или комфортные офисы в Москва-Сити или Иннополисе;

• ДМС со стоматологией, частичная компенсация спортзала и полная обучений и конференций;

• ЗП: всегда отталкиваемся от ваших ожиданий ;).