Toloka

Блоки контроля качества

Чтобы получить более точные ответы, настройте блоки контроля качества в пуле. Блоки контроля качества помогают регулировать доступ к пулу: вы можете отсеивать пользователей, которые дают неправильные ответы в контрольных заданиях, пропускают много заданий подряд и т. д. Задания, выполненные такими пользователями, можно выдать заново. Для этого настройте восстановление перекрытия.

Блоки контроля качества настраиваются на странице редактирования пула (кнопка Добавить блок контроля качества). Вы можете отслеживать следующие показатели выполнения заданий:

Контрольный набор заданий
Правильные и неправильные ответы в контрольных заданиях. Подробнее о настройке блока см. раздел Контрольный набор заданий.
Мнение большинства

Совпадение ответов пользователя с ответами других пользователей. Подробнее о настройке блока см. раздел Мнение большинства.

Быстрые ответы

Время ответа в заданиях. Пример:

Поля:

  • Помнить значений — количество последних ответов пользователя, которое нужно учитывать для подсчета.
  • Ограничение быстрых ответов — ответы, которые считаются «быстрыми» (время в секундах).
  • Кол-во быстрых ответов — допустимое число быстрых ответов.
  • Кол-во последних ответов — количество последних ответов пользователя (меньше или равно количеству в поле Помнить значений).
Пропуск заданий

Количество наборов заданий, пропущенных подряд. Пример:

Заработок

Заработок пользователя в пуле за последние сутки.

Капча

Правильные и неправильные ответы на капчу.

Поля:

  • Помнить значений — количество капч, которых надо учитывать для подсчета.
  • % правильных ответов — доля правильных ответов.
  • % неправильных ответов — доля неправильных ответов.
Выполненные задания

Количество наборов заданий в пуле, выполненных пользователем.

Отложенная приемка

Доля заданий в пуле, принятых или отклоненных в ходе отложенной приемки.

Блок состоит из двух частей: условие (Если) и действие, которое нужно выполнить при выполнении условия (то). Условий может быть несколько, тогда они объединяются с помощью «ИЛИ».

Проверив условие, можно выполнить одно из действий:

  • «Установить навык из поля» — сохранить долю правильных ответов пользователя в контрольных заданиях или заданиях с мнением большинства. Для сохранения доли (число от 1 до 100) используется навык — характеристика работы пользователя, которая имеет название и значение. Например, вы можете создать навык «Выполнение контрольных заданий в моем пуле» и сохранять в нем долю правильных ответов каждого пользователя. Затем можно настроить фильтр по навыку, чтобы регулировать доступ пользователей к пулу.

  • «Установить навык» — присвоить навыку фиксированное значение N (от 1 до 100).

  • «Приостановить» — приостановить доступ пользователя к пулу на указанное количество дней. Причина паузы отображается только заказчику.

  • «Заблокировать» — закрыть доступ к проекту или всем проектам заказчика на указанное количество дней. Причина блокировки отображается только заказчику.