Классификация

Проекты с типом классификация предназначены для заданий с конечным количеством вариантов ответа. Например, модерация контента или распределение изображений по заданным категориям.

Предположим, у вас есть много фотографий с изображением котов и вы хотите распределить их по группам в соответствии с настроением кота. Для этого создадим задание: пользователь видит картинку и он должен выбрать один из трех вариантов ответа. Также может отметить, понравилось ли ему изображение.

Пример готового задания

Чтобы запустить задания и получить ответы:

Создайте проект

Проект определяет, какие объекты вы будете передавать пользователю и получать от него, также как будет выглядеть задание.

  1. Нажмите кнопку + Создать проект и выберите шаблон Категоризация изображений.

  2. Дайте проекту понятное название и краткое описание. Их увидят пользователи в списке доступных заданий.

  3. Напишите краткую и ясную инструкцию (см. советы).
  4. Определите, какие объекты будете передавать пользователю и получать в ответ от него. Для этого необходимо создать поля входных и выходных данных в блоке Спецификации.
    Что такое входные и выходные данные?

    Входные данные — типы объектов, которые будут подаваться пользователю для выполнения задания. Например, текст, картинка, географические координаты.

    Выходные данные — типы объектов, которые будут получены после выполнения задания. Например, один из нескольких вариантов ответа, введенный текст или загруженный файл.

    Подробнее о полях входных и выходных данных.

    В данном случае:

    • Поле входных данных — ссылка image для загрузки картинки.
    • Поля выходных данных:
      • логическая переменная like, в которую будет записан результат флажка;
      • строка result, в которую будет записан выбранный вариант ответа.
  5. Создайте интерфейс задания в блоке HTML. Он описывает, как будут расположены элементы задания.

    В HTML-интерфейсе можно использовать стандартные теги HTML и специальные выражения в двойных фигурных скобках для полей входных и выходных данных.

    {{img src=image width="100%" height="400px"}}
    
    {{field type="radio" name="result" value="OK" label="Хорошее" hotkey="1"}}
    {{field type="radio" name="result" value="BAD" label="Плохое" hotkey="2"}}
    {{field type="radio" name="result" value="404" label="Ошибка загрузки" hotkey="3"}}
    <br>
    {{field type="checkbox" name="like" label="Понравилось фото" hotkey="q"}}
    Эта запись означает, что задание будет выглядеть так:
    • картинка по ссылке image;
    • три кнопки переключателя, выбранное значение будет записано в поле result;
    • флажок, значение которого — true или false — будет записано в поле like.

    Блоки CSS и JavaScript оставьте без изменений.

  6. Нажмите кнопку Предпросмотр, чтобы увидеть получившееся задание.
    Примечание. В предварительном просмотре проекта отображается четыре задания со стандартными данными. Количество заданий на странице вы сможете настроить далее.
  7. Сохраните проект.

Добавьте пул заданий

Пул — это набор оплачиваемых заданий, которые одновременно выдаются исполнителям.

  1. Откройте проект и нажмите Добавить пул → Добавить пул.
  2. Дайте пулу любое удобное название и описание. Они доступны только вам, пользователь будет видеть только название и описание проекта.
  3. Установите цену за страницу заданий, например $0.02.
    Что такое страница заданий?

    На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у пользователя.

    Пользователь получит оплату, только если выполнил все задания на странице.

    Количество заданий на странице вы определите при загрузке заданий.

    Как определить справедливую цену?

    Общее правило формирования цены — чем больше времени исполнитель тратит на выполнение, тем выше цена.

    Вы можете зарегистрироваться в Толоке как исполнитель и узнать, сколько платят другие заказчики за задания.

  4. Укажите Время на выполнение страницы заданий. Его должно быть достаточно, в том числе для чтения инструкции и загрузки задания. Например, 600 секунд.
  5. Установите Перекрытие — количество пользователей, которые должны выполнитьзадание. Для заданий классификации достаточно перекрытия — 3.
  6. Добавьте Фильтры для отбора пользователей. Чтобы ваше задание было доступно только исполнителям, владеющим русским языком, установите язык и страну по номеру телефона.
  7. Сохраните пул.

Загрузите задания

  1. Скачайте Пример загрузочного файла (tsv) в пуле.
    Что такое TSV?
    TSV-файл — это представление электронной таблицы в виде текстового файла, в котором столбцы разделены знаком табуляции.
    Вы можете работать с ним как в редакторе электронных таблиц, так и в текстовом редакторе, а затем сохранить в нужный формат. Подробнее о работе с TSV-файлом.
    Примечание. Перед загрузкой файла убедитесь, что он сохранен в кодировке UTF-8.
  2. Добавьте в него входные данные. Заголовок столбца с входными данными содержит слово INPUT. Остальные столбцы оставьте пустыми.
  3. Загрузите задания, выбрав Умное смешивание и указав количество заданий на странице. Например: 9 основных и 1 контрольное.
    Что такое умное смешивание?
    Умное смешивание случайным образом формирует страницы с заданиями так, чтобы задания не повторялись для каждого пользователя.
  4. Добавьте контрольные задания. Для этого нажмите Разметить и укажите правильные ответы у нескольких заданий.
    Что такое контрольные задания?

    Контрольные задания — это задания с заранее известным ответом. Они нужны, чтобы следить за качеством ответов пользователя. Заданный вами ответ сравнивается с ответом пользователя, и если они не совпадают, значит пользователь ответил неверно.

    Контрольных заданий должно быть не менее 1% от общего числа заданий, то есть на 1000 заданий нужно добавить минимум 10 контрольных.

    Подробнее о контрольных заданиях.

Настройте контроль качества

Блоки контроля качества позволяют отсеивать невнимательных исполнителей. Контроль качества можно настраивать как в проекте, так и в пуле.

  1. Перейдите в проект и нажмите Действия над проектомНастроить контроль качества.
  2. Добавьте блок Контрольный набор и укажите следующие значения:

    Это означает, что если пользователь даст меньше 60% правильных ответов на контрольные вопросы, то он будет заблокирован и не сможет больше выполнять задания этого проекта.

  3. Добавьте блок Быстрые ответы и укажите следующие значения:

    Это означает, что если пользователь выполнит хотя бы одну страницу заданий быстрее чем за 20 секунд, он будет заблокирован и не сможет больше выполнять ваши задания 10 дней.

Добавьте обучение

Обучение — это пул бесплатных заданий, на которых пользователь учится правильно отвечать. Тренировочные задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.

  1. Откройте проект и нажмите Добавить пулДобавить обучение.
  2. Дайте название обучающему пулу и укажите время на выполнение страницы заданий.
  3. Сохраните пул.
  4. Скачайте Пример загрузочного файла или отредактируйте тот, в котором загружали основные задания.
    Примечание. TSV-файлы для всех пулов одного проекта имеют одинаковую структуру.
  5. Добавьте в TSV-файл ссылки на картинки для обучающих заданий.
  6. Загрузите файл, указав количество заданий на странице. Например, 10. Это число не должно превышать количество заданий на странице в основном пуле.
  7. Нажмите Загрузить и укажите количество обучающих заданий на странице.
  8. Нажмите Разметить и добавьте правильный ответ и подсказку для всех загруженных заданий.
  9. После успешной загрузки откройте Предпросмотр и проверьте, что задания отображаются корректно.
  10. Откройте пул основных заданий, привяжите Обучение и установите Уровень прохождения 55. Тогда пул будет доступен пользователям, допустившим не более 45% ошибок при обучении.

Запустите пул и получите результаты

  1. Запустите пул, нажав кнопку .
  2. Следите за выполнением в блоке Статистика пула.
  3. Запустите агрегацию результатов, когда пул будет полностью выполнен, . Для этого около кнопки Скачать результаты нажмите  → Агрегация результатов.
  4. Отслеживайте ход агрегации на странице Операции. По завершении нажмите кнопку Скачать.