Мнение большинства

Мнение большинства — это способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание. Например, если в задании с перекрытием «5» три исполнителя выбрали одинаковый ответ, это считается косвенным признаком правильности ответа. В зависимости от доли правильных ответов вы можете изменять значение навыка у исполнителя, либо блокировать ему доступ к заданиям.

Правило начинает действовать с того момента, когда у задания набралось полное перекрытие.
Пример

Допустим, мы настроили такое правило в пуле с перекрытием=5.



Оно сработает только когда минимум три задания из тех, что сделал исполнитель, наберут полное перекрытие. Получив ответы всех пяти исполнителей на задание, система определит, какой ответ выбрало большинство. Если ответы исполнителя на два задания из трех отличаются от ответов остальных, он потеряет доступ к проекту на 10 дней. Чтобы быстрее собрать все ответы для работы правила, включите опцию Сохранять порядок заданий в параметрах пула.



Количество заданий на странице не влияет на работу правила. На каждое задание ответы оцениваются отдельно. Может измениться только скорость получения результатов — чем больше заданий на странице, тем дольше исполнитель их делает.

Когда использовать

Используйте правило Мнение большинства, если:
  • у вас нет возможности регулярно создавать и добавлять контрольные задания;
  • вы хотите, чтобы ответы исполнителей проходили дополнительную проверку.
Не используйте, если:
  • много вариантов ответа;
  • к ответу нужно прикрепить файл;
  • требуется расшифровка текста;
  • требуется выделение объектов на фото;
  • присутствуют задания, в которых нет правильного или неправильного ответа. Например: «Какой образ вам больше нравится?» или «Выберите вариант дизайна страницы, который вам нравится больше».

Рекомендации по использованию

Не делать много вариантов ответа и много вопросов в задании.

Чем больше у вас вариантов ответа, тем ниже вероятность, что Мнение большинства рассчитается правильно.

Чтобы для задания рассчиталось Мнение большинства, должны совпадать все ответы на все вопросы внутри задания. Если в задании несколько вопросов и/или на вопросы много вариантов ответа, то меньше вероятность, что наберется нужное для расчета навыка количество одинаковых комбинаций ответов на задание у разных исполнителей. Следовательно, это задание не будет участвовать в расчете навыка. Если Мнение большинства для задания не рассчиталось, то исполнителя не накажут за то, что его мнение не совпало с остальными.

Пример
Исполнитель 1 Исполнитель 2 Исполнитель 3 Исполнитель 4 Исполнитель 5
Задание 1 OK BAD OK BAD OK
Задание 2 BAD OK OK BAD 404
Задание 3 404 OK 404 OK OK
Задание 4 OK BAD OK 404 404
Задание 5 OK BAD OK 404 OK

У заказчика есть пять заданий, которые выполнили пять исполнителей. В каждом задании одно поле выходных данных с тремя вариантами ответа. Перекрытие = 3. В таком случае, задания 1, 3 и 5 попали под выставленный порог, а остальные задания не будут учитываться при подсчете Мнение большинства.

Навык по Мнению большинства у исполнителей будет такой:
Исполнитель 1 (1+0+1)/3=66% правильных
Исполнитель 2 (0+1+0)/3=33% правильных
Исполнитель 3 (1+0+1)/3= 66% правильных
Исполнитель 4 (0+1+0)/3=33% правильных
Исполнитель 5 (1+1+1)/3=100% правильных

Например, в задании нужно выбрать минимум три подходящие категории из двадцати или отметить, что картинка не отображается. Поскольку комбинаций категорий может быть много, в расчёт правила попадут в основном те задания, где все исполнители ответили Не отображается. Это могут быть как правильные ответы, так и ответы недобросовестных исполнителей, которые «прокликали» таким образом задания. В любом случае, навык, рассчитанный по таким ответам, будет недостоверным.

Попробуйте Декомпозировать задание или использовать Контрольные задания. Это обеспечит более точную оценку качества исполнителей.

Не выставлять порог Считать большинством меньше 50% от перекрытия или равным перекрытию.

Если порог ответов равен перекрытию, то в расчет правило будет брать только те задания, где все исполнители дали одинаковые ответы, а те, где мнения разошлись, учитывать не будет.

Пример
Допустим, в пуле перекрытие=5 и считать большинством=2. Исполнители выполнили задание.
Ответ на задание
Исполнитель 1 OK
Исполнитель 2 OK
Исполнитель 3 BAD
Исполнитель 4 BAD
Исполнитель 5 404

В этом случае исполнители 1, 2, 3 и 4 ответили правильно, а исполнитель 5 — нет. При этом невозможно понять, какой из ответов правильный.

Не использовать Мнение большинства там, где:
  • много вариантов ответа;
  • к ответу нужно прикрепить файл;
  • требуется расшифровка текста или выделение объектов на фото, и других заданиях, где исполнители не смогут дать одинаковый ответ.

Настройка правила

Внимание. В этом правиле все поля, кроме Сколько последних значений учитывать, обязательные. Если вы не заполните хотя бы одно из них, сохранить правило не получится.

Поле

Описание

Считать большинством

Количество совпавших ответов, которое считается «мнением большинства» (например, 3).

Сколько последних значений учитывать

Количество последних ответов исполнителя.

Чтобы в расчет попали ответы на задания из всех пулов проекта, поле должно быть заполнено в правиле каждого пула.

Если поле не заполнено, в расчете учитываются только ответы на задания того пула, к которому применяется правило.

Если

Условие, при котором выполняется действие в поле то:
  • количество ответов — количество выполненных заданий.

  • процент правильных ответов — доля правильных ответов, т.е. совпавших с мнением большинства (от 0 до 100).

  • процент неправильных ответов — доля неправильных ответов, т.е. не совпавших с мнением большинства (от 0 до 100).

Чтобы добавить несколько условий, нажмите .

то

Действие, выполняемое при условии:

  • установить значение навыка — присвоить навыку фиксированное значение.

  • принять ответы пользователя в пуле — требует настройки отложенной приемки.

    Пригодится, если исполнитель выполняет большинство заданий качественно. Пример: толокер выполнил больше 80% заданий правильно и вас устраивает такой результат. Правило сработает автоматически — все ответы в пуле будут приняты.

  • отклонить ответы пользователя в пуле — требует настройки отложенной приемки.

    Пригодится, если вам нужно несколько ответов исполнителя, чтобы судить о качестве результатов. Пример: спустя десять ответов стало понятно, что исполнитель выполняет задания некачественно. Сработает настроенное действие — все ответы в пуле будут отклонены.

  • приостановить — приостановить доступ исполнителя к пулу на указанное количество дней. Причина отображается только заказчику.

  • установить значение навыка из поля — сохранить долю правильных ответов исполнителя на задания как значение навыка.

  • заблокировать — закрыть доступ к проекту или всем проектам заказчика на указанное количество дней. Причина блокировки отображается только заказчику.

    Если доступ к заданиям блокируется на ограниченный срок (например, на 7 дней), после снятия блокировки история ответов исполнителя не сохраняется. Навык рассчитывается на основании новых ответов.

Примеры правил

Примеры приведены для простой классификации. Количество заданий на странице — 10.

Подсчет навыка и блокировка за неправильные ответы




Оба правила работают независимо:

  1. Если исполнитель дал не меньше 3 ответов на задания, то доля правильных ответов будет записана как значение навыка.
  2. Если исполнитель дал не меньше 3 ответов на задания и доля правильных ответов меньше 65%, то он будет заблокирован на проекте.

В расчете используется не более 10 последних ответов исполнителя на задания в рамках проекта.

Установка навыка


Если исполнитель ответит на 3 задания, ему будет установлен навык, соответствующий проценту правильных ответов.

Используйте значение навыка для доступа к другому пулу с помощью фильтра.

Пример установки фильтра


Блокировка за неправильные ответы


Если доля правильных ответов на задания меньше 40%, то исполнитель будет заблокирован на проекте на 30 дней.

Решение проблем

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

  • Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

    • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

    • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

    Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Сколько последних значений учитывать.

  • Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

    Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Сколько последних значений учитывать в блоках контроля качества в пулах.

Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?

Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

В каком формате нужно подавать результаты обработки, чтобы отфильтровать лишних пользователей по «Мнению большинства»?

Чтобы выполнять действия с пользователями (назначение навыка, блокировка), основываясь на мнении большинства, нужно добавить в пул соответствующее правило.

Не забудьте включить опцию Сохранять порядок заданий в параметрах пула. Мнение большинства применяется на проектах с заданными значениями (с радиобаттонами или чекбоксами). Для полей со свободным вводом или файлов это правило работать не будет.

В пуле установлено перекрытие и настроено мнение большинства, и какой-то нехороший исполнитель открывает страницу с заданиями, ничего не делает и отправляет их. Может ли он получить еще задания из пула до того, как у этих же заданий будут известные результаты от других исполнителей,и быстро скликать много страниц заданий, пока неизвестно мнение большинства, которое приведет его к блокировке?

К сожалению, да, может. Поэтому мы рекомендуем перед боевым заданием делать обучение или экзамен, чтобы до боевого пула добирались только те, кто хорошо прошел предыдущий этап отбора.

В задании нужно заполнить форму из нескольких полей. В случае перекрытия и настройки контроля качества «Мнение большинства» учитывается каждое поле или если в одном из полей значение указано неверно по мнению большинства, то задание считается неправильно выполненным?

Считаются все ответы в задании. Если на какой-то вопрос ответ отличается, результат всего задания засчитывается как несовпадающий с ответами других исполнителей.