Разметка заданий

Разметка позволяет добавлять правильные ответы и подсказки в задания, а также изменять типы заданий. Так, вы можете сделать основное задание контрольным, указав правильный ответ, или обучающим, добавив правильный ответ и подсказку.

Разметка заданий доступна только для обучающих пулов и пулов, загруженных при помощи «умного смешивания» .

  1. Добавить ответы или подсказки
  2. Повысить надежность контрольных заданий
  3. Что дальше
  4. Решение проблем

Добавить ответы или подсказки

Чтобы разметить задания:

  1. Убедитесь, что пул не запущен.
  2. Нажмите кнопку Разметить в блоке Задания пула.
  3. Перейдите на вкладку Основные, Контрольные или Обучающие. Создайте контрольное или обучающее задание из задания другого типа.
  4. Отметьте ответы, которые нужно учитывать при проверке. (Справа приведен список полей с выходными данными.)
  5. Нажмите кнопку Сохранить и перейти к следующему.
Пример разметки задания

В примере добавлен правильный ответ для контрольного задания. При проверке будет учитываться только выбор в поле result (Хорошее / Плохое / Ошибка загрузки).

Повысить надежность контрольных заданий

После того, как вы создали контрольные задания, убедитесь, что различные варианты правильных ответов встречаются в равной степени. Это поможет избежать случайное угадывание ответов со стороны исполнителей.

  1. Перейдите на страницу разметки задания.
  2. Откройте вкладку Контрольные → Распределение ответов на контрольные задания.

    Распределение ответов указано в процентах.

Совет. При составлении контрольных заданий в качестве правильных указывайте только ответы по существу. Так, для задания, в котором нужно распределить изображения по категориям, вариант Ошибка загрузки изображения не будет считаться ответом по существу.
Пример распределения ответов

Решение проблем

Сколько заданий должно быть на странице?

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в основной пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольный набор . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как засчитываются правильные ответы на контрольные вопросы?

Правило контрольного набора начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, Яндекс.Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Помнить значений. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.