Data Engineer

Any city, remote workPython, PostgreSQL, SQLPraktikumSpecialist
Яндекс.Практикум — это образовательный сервис, который делает цифровые профессии доступными и помогает освоить новое дело с нуля. Сейчас Практикум предлагает курсы по веб-разработке, анализу данных, бэкенд-разработке, машинному обучению и тестированию, интернет-маркетингу и другим направлениям.
Мы логируем все ключевые действия пользователей в продукте, и у нас очень много данных для построения глубокой и полезной продуктовой, маркетинговой и учебной аналитики. Главная задача — использовать и представлять эти данные с максимальной эффективностью для продукта и его пользователей.
Поскольку наш проект еще в самом начале своего развития и быстро растет, на аналитика ложится большая ответственность, а в его руках оказывается мощный ресурс, чтобы помочь бизнесу достичь самых амбициозных целей. Мы ищем человека, который поможет поднять на новый уровень сбор, обработку и хранение данных, а также аналитическую инфраструктуру в сервисе в целом.

Что нужно делать:

  • организовать контроль качества данных — спроектировать и настроить мониторинги, регламенты;
  • проектировать модели данных и архитектуру БД;
  • спланировать вместе с командой стратегию развития аналитической инфраструктуры с учетом потребностей бизнеса — выбор технологий и проектирование архитектуры;
  • анализировать текущие ETL-процессы и оптимизировать их с учетом возрастающей нагрузки;
  • наладить регулярные процессы подготовки и поставки данных для продуктовых команд и аналитиков;
  • поддерживать процессы взаимодействия с командами разработки, аналитики и продукта.

Мы ждем, что у вас есть:

  • навыки проектирования хранилища, настройки сбора данных и дата-пайплайнов:
  • опыт работы на позиции дата-инженера или руководителя команды от двух лет;
  • опыт развития аналитической инфраструктуры в продукте;
  • знание Python на прикладном уровне (с точки зрения разработчика и аналитика);
  • опыт работы с PostgreSQL, SQL на уровне сложных запросов;
  • опыт работы с аналитическими базами данных, например с ClickHouse;
  • опыт построения ETL-процессов;
  • знание базовых принципов работы продукта и продуктовой аналитики;
  • опыт решения новых задач: от декомпозиции и определения архитектуры до реализации.

Будет плюсом:

  • умение аргументированно отстаивать свою точку зрения, инициативность и самостоятельность;
  • умение видеть за числами физический смысл и находить причины явлений;
  • опыт решения задач в области анализа данных и машинного обучения;
  • интерес к работе в образовательном продукте;
  • умение работать от потребностей продукта и пользователя.