Описание: | Крупная продуктовая IT-компания находится в поисках опытного Data Engineer для разработки решений процессинга больших объемов данных (объем 3+ PB, прирост 1+ PB/year) в составе команды Data Platform Team. Задачи:
- Проектирование процессов хранения и процессинга данных (batch, stream);
- Проектирование архитектуры реляционных и noSQL БД;
- Разработка ELT для различных источников (Kafka, ELK, HDFS, S3, JDBC, API), процессинга данных (очистка, расчет показателей, материализация), сохранения данных в S3/HDFS (parquet, iceberg), ClickHouse, StarRocks DB;
- Проектирование и создание структур хранения данных и витрин данных в PostgreSQL. Trino, StarRocks DB, ClickHouse для поддержки аналитической нагрузки с учетом требований к производительности и безопасности.
Обязательные требования: - Опыт работы от 2-х лет в области разработки pipeline процессинга на платформах больших данных;
- Понимание принципов работы кластерных решений и способов достижения требуемой производительности;
- Понимание назначения и различий форматов хранения данных;
- Знания SQL на высоком уровне (ClickHouse, PostgreSQL);
- Знание Python (PySpark);
- Знания и опыт работы с Docker, Kubernetes (сборка образов, написание манифестов);
- SPARK;
Будет большим преимуществом: - Релевантный опыт разработки решений объемом от 100 TB с учетом аспектов отказоустойчивости, производительности, безопасности;
- Понимание архитектуры и практический опыт построения DWH (Inmon, Kimball, Data Vault, Data Lake, Delta Lake);
- Опыт работы с Presto, Trino, Star Rocks DB;
- Опыт работы с CI/CD (GitLab CI/CD, GitHub Actions);
- Опыт работы с Data Lakehouse форматами данных;
- Опыт разработки с использованием Flink.
Условия, предоствляемые с нашей стороны: - Полный релокационный пакет при переезде на Кипр, в г. Лимасол;
- Помощь в поиске постоянного жилья на Кипре сотрудниками нашего hospitality отдела;
- Оформление разрешения на работу для вас и ВНЖ для членов вашей семьи;
- Возможность брать беспроцентную ссуду у компании в случае крупных покупок;
- Гибкий рабочий график;
- Творческая атмосфера в коллективе;
- Завтраки и обеды в офисе - за счет компании;
Бонусы по результатам работы и годовой бонус по итогам работы за год; Компенсация профессионального образования и уроков английского; Достойный доход, соответствующий вашей квалификации; Прекрасные корпоративные мероприятия с большим размахом; Широкие возможности роста и развития.
|
Комментарии(0)