Оценить видео (классификация)

Проекты этого типа предназначены для классификации видео. Вы можете использовать их для:
  • модерации контента;
  • распределения видео по заданным категориям;
  • оценки, насколько видео нравится исполнителям;
  • оценки видео на наличие шумов и других визуальных недостатков.

Например, у вас есть много видеороликов, и нужно определить, какие из них более качественные. Для этого создайте задание, в котором исполнители посмотрят видео и оценят их качество.

  1. Перед началом
  2. Создайте проект
  3. Создайте пул
  4. Загрузите TSV-файл с заданиями
  5. Получите результаты

Перед началом

  • Чтобы использовать в проекте свои видео, вам нужно загрузить их в хранилище, из которого вы сможете получить ссылки на файлы. Например, ваш сервер, видеохостинг или облачное хранилище:

    • Инструкция по использованию файлов с Яндекс.Облака.
    • Инструкция по использованию файлов с Яндекс.Диска.
    • Если вы используете видео с YouTube, замените ссылки вида https://www.youtube.com/watch?v=example на https://www.youtube.com/embed/example.
  • Убедитесь, что видео отображаются одинаково в компьютерной и мобильной версиях Толоки. Видео может не воспроизводиться или воспроизводиться неверно в мобильной версии. В этом случае при создании пула ограничьте доступ исполнителям с мобильных устройств.

    Подробнее о настройке заданий для мобильных устройств.

    Примечание.

    Видеоплеер поддерживает только формат .mp4 с кодировкой H.264 или H.265.

  • Если у вас сложный проект, зарегистрируйтесь в песочнице и создайте проект там. В ней вы сможете:

    1. Протестировать настройки проекта в качестве исполнителя.
    2. Затем перенести их в основную версию Яндекс.Толоки.
    3. Запустить для реальных исполнителей.

    Так вы сможете избежать ошибок и напрасно потраченных средств, если окажется, что ваше задание не работает.

Создайте проект

  1. Нажмите кнопку + Создать проект.

  2. В открывшемся окне найдите шаблон Оценка видео и нажмите кнопку Выбрать.

  3. В открывшемся окне заполните параметры проекта:

    1. Заполните поля Название проекта и Описание. Название и описание должны быть краткими и понятными. Их увидят исполнители в списке доступных заданий.

    2. В поле Инструкция кратко опишите, что должен сделать исполнитель.

  4. В разделе Спецификации можно настроить поля входных и выходных данных.

    Что такое входные и выходные данные?

    Входные данные — это данные, которые нужны для ваших заданий. Например, ссылки на картинки, которые вы хотите показать исполнителям.

    Выходные данные — это данные, которые получаются в результате выполнения заданий. Например, ответы исполнителя на ваши вопросы.

    Подробнее о полях входных и выходных данных.

    В этом проекте вы можете оставить Спецификации без изменений.

    Если вы используете видео с YouTube
    Для входного поля video укажите тип данных строка.
  5. В разделе Интерфейс задания вы можете настроить внешний вид заданий для исполнителей.

    Подробнее об интерфейсе заданий.

    В этом проекте вы можете оставить Интерфейс задания без изменений.

    Если вы используете видео с YouTube
    Добавьте в интерфейс элемент Встроенный фрейм:
    <iframe src={{video}} width="560" height="315" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
  6. Нажмите кнопку Предпросмотр.

    Совет.

    Если в режиме предпросмотра задание не отображается, отключите расширения, дополнения и блокировщики рекламы в браузере.

  7. В открывшемся окне проверьте работу опций задания:

    1. Ответьте на вопрос.

    2. В правом нижнем углу нажмите кнопку Отправить.

    3. Выйдите из режима предпросмотра.

  8. В открывшемся окне нажмите кнопку Завершить редактирование.

Подробнее о работе с проектом читайте в разделе Проект.

Создайте пул

Пул — это набор оплачиваемых заданий, которые одновременно выдаются исполнителям.

  1. Откройте страницу проекта по оценке качества видео.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Укажите приватное описание:

    1. Включите опцию Добавить приватное описание.

    2. В поле Приватное описание введите описание пула. Эта информация доступна только вам.

  5. В разделе Цена за страницу заданий в поле Цена в долларах США укажите цену. Например, 0.01.

    Что такое страница заданий?

    На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя.

    Исполнитель получит оплату, только если выполнил все задания на странице.

    Количество заданий на странице вы определите при загрузке заданий.

    Как определить справедливую цену?

    Общее правило формирования цены — чем больше времени исполнитель тратит на выполнение, тем выше цена.

    Вы можете зарегистрироваться в Яндекс.Толоке как исполнитель и узнать, сколько платят другие заказчики за задания.

  6. В разделе Исполнители отфильтруйте исполнителей.

    • Чтобы задание было доступно только исполнителям, владеющим русским языком:

      1. Нажмите Добавить фильтр.

      2. Найдите в списке блок Готовые наборы аудиторий и выберите фильтр Русскоязычные исполнители.

    • Если задание не подходит для исполнителей с мобильными устройствами:

      1. Ограничьте доступ из мобильного браузера. Добавьте фильтр Тип клиентского приложения.

      2. Установите следующие значения: Тип клиентского приложения Мобильный браузер.

      3. Ограничьте доступ со смартфонов и планшетов. Добавьте фильтр Категория устройства.

      4. Установите следующие значения: Категория устройства Смартфон или Планшет.

  7. Правила контроля качества позволяют отсеивать невнимательных исполнителей. В разделе Контроль качества добавьте следующие блоки контроля качества:

    • Контрольные задания — отсеивает исполнителей, которые часто ошибаются в контрольных заданиях.

      1. Нажмите Добавить блок контроля качества.

      2. Найдите в списке блок Правила и выберите пункт Контрольные задания.

      3. Задайте правило для контрольного задания: если количество ответов на контрольные вопросы ≥ 3 и процент правильных ответов на контрольные вопросы < 60, то заблокировать исполнителя на проекте на 10 дней. В качестве причины укажите Контрольное задание.



        Это означает, что если исполнитель выполнил более трех контрольных заданий и дал неправильные ответы более чем в 60% из них, он будет заблокирован и не сможет выполнять задания на этом проекте в течение 10 дней.

    • Быстрые ответы — отсеивает исполнителей, которые отвечают слишком быстро.

      1. В поле Сколько последних значений учитывать введите количество последних страниц заданий, выполненных исполнителем. Например, 5.
      2. В поле Минимальное время на страницу заданий укажите время в секундах. Например, 20.
      3. Задайте правило для быстрого ответа: если количество быстрых ответов ≥ 1, то заблокировать у меня на 10 дней. В поле Причина введите Быстрые ответы.



        Это означает, что если исполнитель выполнит хотя бы одну страницу заданий быстрее, чем за 20 секунд, он не сможет выполнять ваши задания 10 дней.

    • Мнение большинства — контроль на основе ответов большинства исполнителей.

      1. В поле Считать большинством укажите 2.

      2. Задайте правило: если количество ответов ≥ 5 и процент правильных ответов < 50, то заблокировать исполнителя на проекте на 10 дней. В качестве причины укажите Не совпадает с большинством.



        Это означает, что если исполнитель выполнил более десяти заданий, и его ответы не совпали с мнением большинства других исполнителей, он не сможет выполнять задания на этом проекте в течение 10 дней.

        Примечание.

        Правило начинает действовать, когда количество ответов на задание равно перекрытию. Чтобы быстрее получить нужное число ответов, включите опцию Сохранять порядок заданий в настройках пула.

    • Капча — предотвращает выполнение заданий роботами.

      1. В поле Сколько последних значений учитывать введите количество последних страниц заданий, выполненных исполнителем. Например, 10.
      2. Задайте правило для капчи: если количество ответов ≥ 5 и процент правильных ответов< 65, то заблокировать на проекте на 10 дней. В поле Причина введите Капча.



        Это означает, что если исполнитель верно вводит капчу менее чем в 65% случаев, он не сможет выполнять задания на проекте в течение 10 дней.

    Примечание.

    Вы можете скопировать настройки контроля качества из другого пула. Для этого в разделе Исполнители нажмите кнопку Скопировать настройки из....

  8. Установите перекрытие — количество исполнителей, которые должны выполнить задание. В разделе Перекрытие укажите значение поля Перекрытие. Для заданий этого типа, как правило, 3-5.

  9. (опционально) В разделе Соотношение скорость/качество укажите, какому проценту пользователей с лучшим рейтингом будет доступен указанный пул. Подробнее об этом читайте в разделе Соотношение скорости и качества.

  10. Настройте Параметры пула:

    1. Укажите значение поля Время на страницу заданий в секундах. Времени должно быть достаточно для чтения инструкции, загрузки задания, просмотра видео и ответа. Например, 1200 секунд.
    2. Включите опцию Сохранять порядок заданий.
  11. Нажмите кнопку Сохранить.

Загрузите TSV-файл с заданиями

Подготовьте собственный файл с заданиями. Ознакомьтесь c примером в демонстрационном TSV-файле.

  1. На странице пула нажмите кнопку Загрузить.

  2. В открывшемся окне настройте параметры загрузки файла:

    1. Выберите Умное смешивание.

    2. В поле Основных заданий укажите 9.

    3. В поле Обучающих заданий укажите 0.

    4. В поле Контрольных заданий укажите 1.

    5. Нажмите кнопку Загрузить.

    6. В открывшемся окне выберите TSV-файл с заданиями для загрузки и нажмите кнопку Открыть.

    7. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

  3. Создайте контрольное задание:

    1. Нажмите кнопку Разметить.

    2. В открывшемся окне нажмите кнопку Создать контрольные.

    3. В открывшемся окне в разделе Создать контрольное задание слева отметьте пункт result.

    4. Выберите правильный ответ на вопрос.

    5. Нажмите кнопку Сохранить и перейти к следующему.

    6. Нажмите Оцените качество видео, чтобы выйти из режима разметки заданий.

    Примечание.

    В небольших пулах контрольные задания должны составлять около 10% от всех заданий. Включайте разные варианты правильных ответов в равных количествах. Посмотрите распределение ответов на странице Разметить задания на вкладке Контрольные.

  4. Нажмите кнопку , чтобы запустить пул.

Получите результаты

  1. Рядом с кнопкой Скачать результаты нажмите кнопку .

  2. Выберите пункт списка Агрегация результатов по методу Дэвида-Скина. Подробнее об Агрегации результатов по методу Дэвида—Скина.

  3. В открывшемся окне нажмите Да.

  4. Наверху страницы нажмите Перейти к списку операций.

  5. Когда операция завершится, скачайте TSV-файл с результатами. Для этого в столбце Файлы нажмите Скачать.