Почти все сервисы Яндекса используют для своей работы огромные массивы данных. Обработка данных выстраивается в сложные графы регулярных расчетов. Например, на входе — сырые логи нескольких сервисов, на выходе — готовые ML-модели. Кроме того, поверх данных крутятся аналитические расчеты, которые требуют регуляризации.

Нам предстоит построить систему, которая позволит удобно отслеживать тысячи регулярных расчетов, используя лучшие доступные технологии. Существует несколько подсистем, построенных независимо разными командами. Их нужно объединить в одну стройную платформу обработки данных. Поэтому нам придется «переделывать двигатель самолета в полете, не теряя ничего в пути».

Мы ищем разработчика, который займется созданием и развитием платформы обработки данных для всех data-инженеров Яндекса.

• создать модуль планирования динамических зависимостей данных (demand’ов);
• реализовать автоматическую трансляцию пользовательских декларативных конфигураций процессов обработки данных в Python-код системы процессинга более низкого уровня;
• спроектировать и написать модуль автоматического сэмплирования данных согласно пользовательской конфигурации (для автотестирования).

• можете работать в команде, совместно конструктивно вырабатывать правильные решения;
• ответственны и аккуратны (разлом конвейера — это, как правило, инцидент);
• владеете Python 2 или 3 (желательно).

• проектировали отказоустойчивые веб-сервисы;
• работаете с базами данных (например, PostgreSQL или MySQL).

• программа релокации для иногородних сотрудников;
• высокий совокупный доход и премии каждые полгода при успешном прохождении ревью;
• отличная программа ДМС;
• скидки для сотрудников в языковых школах, фитнес-центрах и магазинах;
• корпоративное обучение, оплата курсов и конференций;
• оплата питания в кафе, столовых и ресторанах, расположенных в районе офиса;
• гибкий рабочий график;
• парковка.