Мнение большинства

Проверка мнением большинства (Majority vote) определяет, насколько ответы пользователя совпадают с ответами других пользователей. Например, если в задании с перекрытием «5» три пользователя выбрали одинаковый ответ, это считается косвенным признаком правильности ответа.

Навык рассчитывается по формуле:

,

где:

 — количество ответов пользователя, совпавших с большинством.

 — количество заданий пользователя, где большинство ответило одинаково.

Проверка мнением большинства

Чтобы использовать проверку большинством:

  1. Создайте навык на странице Навыки боевой версии Толоки.

  2. Настройте блок контроля качества на странице пула (кнопка Добавить блок контроля качества → Мнение большинства).

    Поле/ группа полей

    Описание

    Порог ответов

    Количество совпавших ответов, которое считается «мнением большинства» (например, 3). Порог должен быть меньше или равен перекрытию.

    Помнить значений

    Количество последних ответов пользователя в рамках проекта, которое учитывается в расчете.

    Если поле не заполнено, в расчете учитываются все ответы пользователя в пуле.

    то

    Действие, выполняемое при условии:

    •  — сохранить долю правильных ответов пользователя в контрольных заданиях или заданиях с мнением большинства. Для сохранения доли (число от 1 до 100) используется навык — характеристика работы пользователя, которая имеет название и значение. Например, вы можете создать навык «Выполнение контрольных заданий в моем пуле» и сохранять в нем долю правильных ответов каждого пользователя. Затем можно настроить фильтр по навыку, чтобы регулировать доступ пользователей к пулу.

    • «Установить навык» — присвоить навыку фиксированное значение N (от 1 до 100).

    • «Приостановить» — приостановить доступ пользователя к пулу на указанное количество дней. Причина паузы отображается только заказчику.

    • «Заблокировать» — закрыть доступ к проекту или всем проектам заказчика на указанное количество дней. Причина блокировки отображается только заказчику.

  3. Добавьте фильтр по навыку на странице пула (блок Требования к пользователям). Например: «Навык myskill отсутствует или ≥ 60».

Выборочная проверка мнением большинства

Вы можете настроить проверку мнением большинства только для некоторых заданиях. Это позволяет экономить средства и ускорить выполнение пула. Можно сокращать частоту проверок по мере выполнения заданий пользователем. Для этого установите интервалы в настройках пула.

Чтобы добавить выборочную проверку мнением большинства:

  1. Загрузите задания в пул при помощи умного смешивания.

  2. Перейдите в режим редактирования пула.

  3. Под заголовком Количество заданий на странице нажмите кнопку .

  4. Укажите, за какое количество дней учитывать ответы, перекрытие для заданий с выборочной проверкой большинства.

  5. Установите интервалы выполненных заданий и количество проверочных заданий для каждого интервала.

Пример настройки выборочной проверки мнением большинства