Классификация

Проекты с типом классификация предназначены для заданий с конечным количеством вариантов ответа. Например, модерация контента или распределение изображений по заданным категориям.

Предположим, у вас есть много фотографий с изображением котов и вы хотите распределить их по группам в соответствии с настроением кота. Для этого создадим задание: исполнитель видит картинку и он должен выбрать один из трех вариантов ответа. Также может отметить, понравилось ли ему изображение.

Пример готового задания

Чтобы запустить задания и получить ответы:

Создайте проект

Проект определяет, как будет выглядеть задание у исполнителя.

  1. Нажмите кнопку + Создать проект и выберите шаблон Категоризация изображений.

  2. Дайте проекту понятное название и краткое описание. Их увидят исполнители в списке доступных заданий.

  3. Напишите краткую и ясную инструкцию (см. советы).
  4. Определите, какие объекты будете передавать исполнителю и получать от него в ответ. Для этого необходимо создать поля входных и выходных данных в блоке Спецификации.
    Что такое входные и выходные данные?

    Входные данные — типы объектов, которые будут подаваться исполнителю для выполнения задания. Например, текст, картинка, географические координаты.

    Выходные данные — типы объектов, которые будут получены после выполнения задания. Например, один из нескольких вариантов ответа, введенный текст или загруженный файл.

    Подробнее о полях входных и выходных данных.

    В данном случае:

    • Поле входных данных — ссылка image для загрузки картинки.
    • Поля выходных данных:
      • логическая переменная like, в которую будет записан результат флажка (checkbox);
      • строка result, в которую будет записан выбранный вариант ответа.
  5. Создайте интерфейс задания в блоке HTML. Он описывает, как будут расположены элементы задания.

    В HTML-интерфейсе можно использовать стандартные теги HTML и специальные выражения в двойных фигурных скобках для полей входных и выходных данных.

    {{img src=image width="100%" height="400px"}}
    
    {{field type="radio" name="result" value="OK" label="Хорошее" hotkey="1"}}
    {{field type="radio" name="result" value="BAD" label="Плохое" hotkey="2"}}
    {{field type="radio" name="result" value="404" label="Ошибка загрузки" hotkey="3"}}
    <br>
    {{field type="checkbox" name="like" label="Понравилось фото" hotkey="q"}}
    Эта запись означает, что задание будет выглядеть так:
    • картинка по ссылке image;
    • три кнопки переключателя, выбранное значение будет записано в поле result;
    • флажок, значение которого — true или false — будет записано в поле like.

    Блоки CSS и JavaScript оставьте без изменений.

  6. Нажмите кнопку Предпросмотр, чтобы увидеть получившееся задание.
    Примечание. В предварительном просмотре проекта отображается одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.
  7. Сохраните проект.

Добавьте пул заданий

Пул — это набор оплачиваемых заданий, которые одновременно выдаются исполнителям.

  1. Откройте проект и нажмите Добавить пул.
  2. Дайте пулу любое удобное название и описание. Они доступны только вам, исполнитель будет видеть только название и описание проекта.
  3. Установите цену за страницу заданий, например $0.02.
    Что такое страница заданий?

    На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя.

    Исполнитель получит оплату, только если выполнил все задания на странице.

    Количество заданий на странице вы определите при загрузке заданий.

    Как определить справедливую цену?

    Общее правило формирования цены — чем больше времени исполнитель тратит на выполнение, тем выше цена.

    Вы можете зарегистрироваться в Яндекс.Толоке как исполнитель и узнать, сколько платят другие заказчики за задания.

  4. Укажите Время на выполнение страницы заданий. Его должно быть достаточно, в том числе для чтения инструкции и загрузки задания. Например, 600 секунд.
  5. Установите Перекрытие — количество исполнителей, которые должны выполнить задание. Для заданий классификации достаточно перекрытия — 3.
  6. Добавьте Фильтры для отбора исполнителей. Чтобы ваше задание было доступно только исполнителям, владеющим русским языком, установите язык и страну по номеру телефона.
  7. Сохраните пул.

Загрузите задания

  1. Скачайте Пример загрузочного файла (tsv) в пуле.
    Что такое TSV?
    TSV-файл — это представление электронной таблицы в виде текстового файла, в котором столбцы разделены знаком табуляции.
    Вы можете работать с ним как в редакторе электронных таблиц, так и в текстовом редакторе, а затем сохранить в нужный формат. Подробнее о работе с TSV-файлом.
    Примечание. Перед загрузкой файла убедитесь, что он сохранен в кодировке UTF-8.
  2. Добавьте в него входные данные. Заголовок столбца с входными данными содержит слово INPUT. Остальные столбцы оставьте пустыми.
  3. Загрузите задания, выбрав Умное смешивание и указав количество заданий на странице. Например: 9 основных и 1 контрольное.
    Что такое умное смешивание?
    Умное смешивание случайным образом формирует страницы с заданиями так, чтобы задания не повторялись для каждого исполнителя.
  4. Добавьте контрольные задания. Для этого нажмите Разметить и укажите правильные ответы у нескольких заданий.
    Что такое контрольные задания?

    Контрольные задания — это задания с заранее известным ответом. Они нужны, чтобы следить за качеством ответов исполнителя. Заданный вами ответ сравнивается с ответом исполнителя, и если они не совпадают, значит исполнитель ответил неверно.

    Контрольных заданий должно быть не менее 1% от общего числа заданий, то есть на 1000 заданий нужно добавить минимум 10 контрольных.

    Подробнее о контрольных заданиях.

Настройте контроль качества

Блоки контроля качества позволяют отсеивать невнимательных исполнителей. Контроль качества можно настраивать как в проекте, так и в пуле.

Внимание.

Настройки контроля качества в проекте будут действовать во всех пулах проекта, и изменить их настройку в одном из пулов будет невозможно.

При клонировании проекта настройки контроля качества проекта не переносятся.

  1. Пул

    Перейдите к редактированию пула (кнопка Редактировать в верхнем правом углу страницы) и нажмите Добавить блок контроля качества.

    Вы можете скопировать настройки контроля качества из другого пула. Для этого в разделе Исполнители нажмите кнопку Скопировать настройки из....

    Проект

    Откройте страницу проекта, перейдите на вкладку Контроль качества и нажмите кнопку Настроить контроль качества. Далее нажмите + Добавить блок контроля качества.

    Правила будут действовать во всех пулах проекта, и изменить их настройку в одном из пулов будет невозможно.

    Ограничение.

    При клонировании проекта настройки контроля качества не переносятся.

  2. Добавьте блок Контрольные задания и укажите следующие значения:

    Это означает, что если исполнитель даст больше 40% неправильных ответов на контрольные вопросы, то он будет заблокирован и не сможет больше выполнять задания этого проекта в течение пяти дней.

  3. Добавьте блок Быстрые ответы и укажите следующие значения:

    Это означает, что если исполнитель выполнит хотя бы одну страницу заданий быстрее чем за 20 секунд, он будет заблокирован и не сможет больше выполнять ваши задания 10 дней.

Добавьте обучение

Обучение — это пул бесплатных заданий, на которых исполнитель учится правильно отвечать. Тренировочные задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.

  1. Откройте страницу проекта, перейдите на вкладку Обучения и нажмите кнопку Добавить обучение.

  2. Дайте название обучающему пулу и укажите время на выполнение страницы заданий.
  3. Сохраните пул.
  4. Скачайте Пример загрузочного файла или отредактируйте тот, в котором загружали основные задания.
    Примечание. TSV-файлы для всех пулов одного проекта имеют одинаковую структуру.
  5. Добавьте в TSV-файл ссылки на картинки для обучающих заданий.
  6. Загрузите файл, указав количество заданий на странице. Например, 10. Это число не должно превышать количество заданий на странице в основном пуле.
  7. Нажмите Загрузить и укажите количество обучающих заданий на странице.
  8. Нажмите Добавить.
  9. Нажмите кнопку Разметить, а затем кнопку Создать обучающие. Далее добавьте правильный ответ и подсказку для всех загруженных заданий.
  10. После успешной загрузки откройте Предпросмотр и проверьте, что задания отображаются корректно.
  11. Откройте пул основных заданий, привяжите Обучение и установите Уровень прохождения 55. Тогда пул будет доступен исполнителям, допустившим не более 45% ошибок при обучении.

    Чтобы выполнить привязку, зайдите в режим редактирования основного пула и в выпадающем списке параметра Обучение выберите ваш обучающий пул.

Подробнее о создании пула с обучением.

Запустите пул и получите результаты

  1. Запустите пул, нажав кнопку .
  2. Следите за выполнением в блоке Статистика пула.
  3. Запустите агрегацию результатов, когда пул будет полностью выполнен. Для этого около кнопки Скачать результаты нажмите  → Агрегация результатов по методу Дэвида—Скина.

    Агрегация ответов нужна для того, чтобы у вас была полная картина по всем результатам. Подробнее об агрегации.

  4. Отслеживайте ход агрегации на странице Операции. По завершении нажмите кнопку Скачать.