Если Вы заинтересованы найти отличных специалистов, профессионалов своего дела для работы в Вашей компании разместите вакансию на нашем сайте.


  |    |    | 

Data Engineer вакансия 109496059



Вакансия: Data EngineerSTARTRIBE LTD
Работодатель: STARTRIBE LTD
Обновлено: 28.10.2024 23:42:01
Регион: Москва
Опыт работы: От 3 до 6 лет
Оплата: ЗП не указана
Тип занятости: Полная занятость
Описание: Крупная продуктовая IT-компания находится в поисках опытного Data Engineer для разработки решений процессинга больших объемов данных (объем 3+ PB, прирост 1+ PB/year) в составе команды Data Platform Team.


Задачи:

  • Проектирование процессов хранения и процессинга данных (batch, stream);
  • Проектирование архитектуры реляционных и noSQL БД;
  • Разработка ELT для различных источников (Kafka, ELK, HDFS, S3, JDBC, API), процессинга данных (очистка, расчет показателей, материализация), сохранения данных в S3/HDFS (parquet, iceberg), ClickHouse, StarRocks DB;
  • Проектирование и создание структур хранения данных и витрин данных в PostgreSQL. Trino, StarRocks DB, ClickHouse для поддержки аналитической нагрузки с учетом требований к производительности и безопасности.

Обязательные требования:

  • Опыт работы от 2-х лет в области разработки pipeline процессинга на платформах больших данных;
  • Понимание принципов работы кластерных решений и способов достижения требуемой производительности;
  • Понимание назначения и различий форматов хранения данных;
  • Знания SQL на высоком уровне (ClickHouse, PostgreSQL);
  • Знание Python (PySpark);
  • Знания и опыт работы с Docker, Kubernetes (сборка образов, написание манифестов);
  • SPARK;

Будет большим преимуществом:

  • Релевантный опыт разработки решений объемом от 100 TB с учетом аспектов отказоустойчивости, производительности, безопасности;
  • Понимание архитектуры и практический опыт построения DWH (Inmon, Kimball, Data Vault, Data Lake, Delta Lake);
  • Опыт работы с Presto, Trino, Star Rocks DB;
  • Опыт работы с CI/CD (GitLab CI/CD, GitHub Actions);
  • Опыт работы с Data Lakehouse форматами данных;
  • Опыт разработки с использованием Flink.

Условия, предоствляемые с нашей стороны:

  • Полный релокационный пакет при переезде на Кипр, в г. Лимасол;
  • Помощь в поиске постоянного жилья на Кипре сотрудниками нашего hospitality отдела;
  • Оформление разрешения на работу для вас и ВНЖ для членов вашей семьи;
  • Возможность брать беспроцентную ссуду у компании в случае крупных покупок;
  • Гибкий рабочий график;
  • Творческая атмосфера в коллективе;
  • Завтраки и обеды в офисе - за счет компании;
  • Бонусы по результатам работы и годовой бонус по итогам работы за год;

  • Компенсация профессионального образования и уроков английского;

  • Достойный доход, соответствующий вашей квалификации;

  • Прекрасные корпоративные мероприятия с большим размахом;

  • Широкие возможности роста и развития.

Контактная информация доступна авторизованным пользователям






Вакансия:Э'лайт сервис
Работодатель:
Регион: Москва
Оплата:ЗП не указана




Комментарии(0)

Отзывы и оценки (0)

Ваша оценка:





Убедительно обращаем Ваше внимание на то, что вся информация, размещенная на данном интернет-сайте, носит сугубо информационный характер и не являются публичной офертой, определяемой положениями Статьи 437 (2) ГК РФ. Для получения точной информации о стоимости товаров, пожалуйста, обращайтесь в ближайший офис продаж.



© Разработка и дизайн "Мастер Сервис"

QR_Altasib
Разработано в АЛЬФА Системс