Разработчик в команду поставки и подготовки данных

Moscow, Saint PetersburgPython, C++, Go, JavaSearch portal, InfrastructureLeading specialist
Яндекс — одна из немногих компаний в мире, оперирующих сотнями петабайт данных, которые нужно уметь эффективно хранить, обрабатывать и передавать между различными системами. Для решения этих задач мы развиваем собственные инфраструктурные решения — распределенные системы хранения и обработки данных, такие как системы класса MapReduce и системы следующего поколения, а также сервисы, занимающиеся поставкой и обработкой данных в реальном времени.
Мы ищем разработчика в команду Data Transfer, который будет заниматься инфраструктурными задачами, связанными с вопросами транспортировки данных в компании Яндекс.
Наша цель — связать все возможные источники и приемники информации и обеспечить между ними стабильные процессы синхронизации данных, работающие с минимальными задержками и сохраняющие консистентность.
Источниками и приемниками информации в рамках нашего сервиса могут выступать приложения, которые генерируют события, логи сервисов, базы данных и их репликационные протоколы, персистентные очереди, NoSQL хранилища.
Связывая источники и приемники нашими трансферами, клиенты решают множество бизнес-задач: миграции из одной среды в другую, построения ETL процесса, создание асинхронной реплики в другом хранилище, change-data-capture и другие.
Мы предоставляем сервис тысячам внутренних пользователей и клиентам Яндекс.Облака и активно растем.
Если вы умеете доводить дело до конца, любите разбираться в новых технологиях, готовы проявлять инициативу, то наша вакансия для вас.

Вы нам подходите, если у вас есть:

  • опыт программирования на одном из языков (например, Go, C++, Python, Java);
  • знание алгоритмов и структур данных;
  • понимание основных принципов построения распределенных систем хранения и обработки данных.

Будет плюсом:

  • опыт работы с распределенными системами хранения и обработки данных (например, Hadoop, Spark и т. д.);
  • опыт управления проектами или продуктами, умение «говорить» с клиентом.

Вам предстоит:

  • создавать сервисы, которыми будут пользоваться все продуктовые команды в Яндексе;
  • участвовать в разработке новых решений и в совершенствовании уже существующих;
  • консультировать внутренних пользователей инфраструктуры компании и участвовать в формировании лучших практик использования инфраструктуры.