Toloka

Контрольный набор заданий

Контрольные задания содержат правильные ответы и используются, чтобы отслеживать точность ответов пользователя.

Добавьте в пул контрольные задания и настройте блок контроля качества, например: «Если пользователь ответил правильно, начислить ему баллы навыка». Полученные баллы навыка можно использовать для отбора пользователей: например, раздавать задания только пользователям, у которых не менее 60% правильных ответов. Фильтр по навыку начинает действовать после того как пользователь выполнил N контрольных заданий пула (число определяется заказчиком, см. ниже). По мере выполнения заданий навык пересчитывается и снова сравнивается с пороговым значением.

Для надежной проверки качества контрольные задания должны составлять не менее 10% от объема пула. Контрольные задания можно создать, используя выполненные задания из завершенных пулов или задания, получившие абсолютное большинство.

Навык рассчитывается по формуле:

,

где:

 — количество правильных ответов на выполненные контрольные задания.

 — количество выполненных контрольных заданий.

Если доступ к заданиям блокируется на ограниченный срок (например, на 7 дней), после снятия блокировки история ответов пользователя не сохраняется. Навык насчитывается на основании новых ответов.

Настройка блока контроля качества

Чтобы использовать контрольные задания для проверки:

  1. Создайте навык на странице Навыки боевой версии Толоки.

  2. Настройте блок контроля качества на странице пула (кнопка Добавить блок контроля качестваКонтрольный набор). Заполните поля:

    Поле/ группа полей

    Описание

    Помнить значений

    Количество последних ответов в контрольных заданиях в рамках проекта, по которому рассчитывается навык.

    Если поле не заполнено, навык рассчитывается по ответам в контрольных заданиях пула.

    Если

    Условие, при котором выполняется действие в поле то. Например: «Количество ответов ≥ 10».

    то

    Действие, выполняемое при условии:

    • «Установить навык из поля» — сохранить долю правильных ответов пользователя в контрольных заданиях или заданиях с мнением большинства. Для сохранения доли (число от 1 до 100) используется навык — характеристика работы пользователя, которая имеет название и значение. Например, вы можете создать навык «Выполнение контрольных заданий в моем пуле» и сохранять в нем долю правильных ответов каждого пользователя. Затем можно настроить фильтр по навыку, чтобы регулировать доступ пользователей к пулу.

    • «Установить навык» — присвоить навыку фиксированное значение N (от 1 до 100).

    • «Приостановить» — приостановить доступ пользователя к пулу на указанное количество дней. Причина паузы отображается только заказчику.

    • «Заблокировать» — закрыть доступ к проекту или всем проектам заказчика на указанное количество дней. Причина блокировки отображается только заказчику.

  3. Добавьте фильтр по навыку на странице пула (блок Требования к пользователям). Например: «Навык myskill отсутствует или ≥ 60».