Разработчик в команду поставки и обработки данных

Moscow, Saint PetersburgSelf-driving carsSpecialist
Яндекс создает беспилотный автомобиль — систему, состоящую из огромного числа компонентов, начиная с «железа» и заканчивая алгоритмами распознавания и принятия решений.
Для создания качественных алгоритмов необходимо работать с данными: собирать объемные датасеты для обучения ML-моделей, а также сообщения от различных систем беспилотных прототипов с проездов в реальных городских условиях. То есть аккумулировать, структурировать, хранить, анализировать и обрабатывать петабайты данных.

Вам предстоит:

  • создание и поддержка конвейера бесперебойной доставки данных беспилотников до потребителей;
  • оптимизация частей конвейера в условиях ограниченности ресурсов на обработку данных, растущего беспилотного флота и растущих потребностей по обработке;
  • поиск оптимальных архитектур, форматов, хранилищ;
  • унификация процессов разметки датасетов;
  • создание библиотек и инструментов для работы с данными, которыми будут пользоваться разработчики алгоритмов беспилотника.

Мы ждем, что вы:

  • отлично знаете классические алгоритмы и структуры данных;
  • имеете опыт написания программ на MapReduce;
  • имеете опыт поиска и оптимизации узких мест программы;
  • любите писать тесты и понимаете, зачем нужны мониторинги;
  • творчески подходите к поиску лучшего решения в заданных ограничениях;
  • ответственны и организованны.

Будет плюсом:

  • знание Python и/или C++;
  • опыт проектирования архитектуры отказоустойчивых сервисов;
  • опыт программирования под Linux;
  • знакомство с ML-проблематикой.