Toloka

Мнение большинства

Проверка мнением большинства (Majority vote) определяет, насколько ответы пользователя совпадают с ответами других пользователей. Например, если в задании с перекрытием 5 три пользователя выбрали одинаковый ответ, это считается косвенным признаком правильности ответа.

Навык рассчитывается по формуле:

,

где:

 — количество ответов пользователя, совпавших с большинством.

 — количество заданий пользователя, где большинство ответило одинаково.

Настройка проверки мнением большинства

Чтобы использовать проверку большинством:

  1. Создайте навык на странице Навыки боевой версии Толоки.

  2. Настройте блок контроля качества на странице пула (кнопка Добавить блок контроля качестваМнение большинства).

    Поле/ группа полей

    Описание

    Порог ответов

    Количество совпавших ответов, которое считается «мнением большинства» (например, 3). Порог должен быть меньше или равен перекрытию.

    Если

    Условие, при котором выполняется действие в поле то. Например: «Количество ответов ≥ 10».

    то

    Действие, выполняемое при условии:

    • «Установить навык из поля» — сохранить долю правильных ответов пользователя в контрольных заданиях или заданиях с мнением большинства. Для сохранения доли (число от 1 до 100) используется навык — характеристика работы пользователя, которая имеет название и значение. Например, вы можете создать навык «Выполнение контрольных заданий в моем пуле» и сохранять в нем долю правильных ответов каждого пользователя. Затем можно настроить фильтр по навыку, чтобы регулировать доступ пользователей к пулу.

    • «Установить навык» — присвоить навыку фиксированное значение N (от 1 до 100).

    • «Приостановить» — приостановить доступ пользователя к пулу на указанное количество дней. Причина паузы отображается только заказчику.

    • «Заблокировать» — закрыть доступ к проекту или всем проектам заказчика на указанное количество дней. Причина блокировки отображается только заказчику.

  3. Добавьте фильтр по навыку на странице пула (блок Требования к пользователям). Например: «Навык myskill отсутствует или ≥ 60».