Разработчик распределённого сервиса хранения метаданных и координации в YT

MoscowC++SearchSpecialist

Платформа YT — это ключевой компонент инфраструктуры хранения и обработки данных в Яндексе. Мы:

  • храним эксабайты данных;
  • используем десятки тысяч серверов;
  • выполняем десятки миллионов распределённых задач в день.
Из-за большого объёма данных стандартные решения (например, стек Hadoop-технологий) не позволяют эффективно работать с задачами Яндекса. Поэтому мы разрабатываем своё решение: эффективное, удобное и масштабируемое.
Основная задача нашей команды — предоставлять разработчикам надёжный, удобный и гибкий инструмент для хранения и обработки больших данных, которых постоянно становится ещё больше. Платформа YT — главный инструмент для работы с большими данными в Яндексе, её использует большинство сервисов.
Мы ищем специалистов, которых интересует инфраструктурная разработка.

Мы ожидаем, что вы:

  • знаете C++;
  • знаете классические алгоритмы и структуры данных;
  • ответственны и аккуратны.

Кроме того, приветствуется:

  • опыт разработки сетевых, многопоточных и асинхронных приложений;
  • знание Linux, в том числе достаточно низкоуровневое;
  • умение программировать на скриптовых языках (например, Python).

Вам предстоит:

  • заниматься разработкой ключевых подсистем YT, таких как мастер-серверы и key-value хранилище;
  • развивать Java API платформы, поддерживая новые функциональные возможности и способы использования (асинхронность, альтернативные бэкенды и т. п.);
  • работать с большими данными (скорее с инженерной точки зрения, чем с математической);
  • заниматься системным программированием;
  • знакомиться с архитектурой и устройством распределённых систем хранения и обработки данных;
  • участвовать в разработке и эксплуатации высоконагруженной системы, аналоги которой есть только в самых крупных IT-компаниях мира.