Big Data МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

Кого мы ищем?

Команда центра Big Data в поиске Data Engineer на продукт Golden Record

Продукт Golden Record – мастер-система по управлению клиентскими данными в экосистеме МТС. Мы собираем все имеющиеся в экосистеме данные о клиенте (их десятки миллионов), очищаем от мусора, убираем дубли, проверяем, выбираем лучшие данные, добавляем связи и даём эти данные бизнесу для экосистемной аналитики, повышения эффективности маркетинговых компаний и лучшего обслуживания клиентов

Стек: Python, Pyspark, Hive, Hadoop, Gitlab, Docker, k8s, Cassandra, Liquibase

Обязательно:

• Знание и опыт работы с Python
• Знание и опыт работы с SQL
• Опыт работы с Spark, Hive, Hadoop
• Знание PostgeSQL
• Знание Git
• Желателен опыт работы с Kafka
• Будет плюсом опыт с Cassandra

Что предстоит делать?

• Процессить данные, собирать витрины с помощью pyspark на хадуп-кластере (постановка – от аналитиков)
• Выстраивать регламенты обработки данных (Airflow)
• Настраивать ETL процессы загрузки данных через стриминги (kafka)
• Решать проблемы с качеством данных: матчинг сущностей, дедупликации, нормализации
• Осуществлять работы по повышению отказоустойчивости и скорости работы дата части сервисов

Условия: каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16 MacBook Pro или Dell на выбор.

Есть ли обучение?

• Локальные конференции, митапы
• Корпоративный университет МТС и масштабная виртуальная библиотека
• А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы

Какой график?

Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.

Сколько этапов при отборе?

Не более трех:

1. HR + первое тех. интервью с лидом направления
2. Тестовое задание/второе интервью - по необходимости
3. Собеседование с PO и командой, выбор кандидатом проекта

Контактная информация доступна авторизованным пользователям