Яндекс — одна из немногих компаний в мире, оперирующих сотнями петабайт данных, которые нужно уметь эффективно хранить, обрабатывать и передавать между различными системами. Для решения этих задач мы развиваем собственные инфраструктурные решения — распределенные системы хранения и обработки данных, такие как системы класса MapReduce и системы следующего поколения, а также сервисы, занимающиеся поставкой и обработкой данных в реальном времени.

Мы ищем разработчика в команду Data Transfer, который будет заниматься инфраструктурными задачами, связанными с вопросами транспортировки данных в компании Яндекс.

Наша цель — связать все возможные источники и приемники информации и обеспечить между ними стабильные процессы синхронизации данных, работающие с минимальными задержками и сохраняющие консистентность. Источниками и приемниками информации в рамках нашего сервиса могут выступать приложения, которые генерируют события, логи сервисов, базы данных и их репликационные протоколы, персистентные очереди, NoSQL хранилища.

Связывая источники и приемники нашими трансферами, клиенты решают множество бизнес-задач: миграции из одной среды в другую, построения ETL процесса, создание асинхронной реплики в другом хранилище, change-data-capture и другие.

Мы предоставляем сервис тысячам внутренних пользователей и клиентам Яндекс.Облака и активно растем.

Если вы умеете доводить дело до конца, любите разбираться в новых технологиях, готовы проявлять инициативу, то наша вакансия для вас.

• создавать сервисы, которыми будут пользоваться все продуктовые команды в Яндексе;
• участвовать в разработке новых решений и в совершенствовании уже существующих;
• консультировать внутренних пользователей инфраструктуры компании и участвовать в формировании лучших практик использования инфраструктуры.

• имеете опыт программирования на одном из языков (например, Go, C++, Python, Java);
• знаете алгоритмы и структуры данных;
• понимаете основные принципы построения распределенных систем хранения и обработки данных.

• работали с распределенными системами хранения и обработки данных (например, Hadoop, Spark и т. д.);
• управляли проектами или продуктами, умеете «говорить» с клиентом.