Правила контроля качества

Контроль качества позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из правил. Все правила работают независимо друг от друга.

Список правил

  • Чтобы следить за тем, как часто ошибаются исполнители:
    • Контрольные задания — позволяет устанавливать исполнителю навык на основе его ответов на контрольные задания и блокировать доступ исполнителям, которые дают неправильные ответы.
    • Мнение большинства — способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание.
    • Результаты проверки — позволяет оценивать исполнителей по количеству принятых и отклоненных заданий.
  • Для защиты от роботов и недобросовестных исполнителей:
    • Быстрые ответы — позволяет следить за минимальным временем на выполнение страницы заданий.
    • Капча — позволяет периодически показывать капчу, чтобы избежать выполнения заданий роботами.
    • Пропуск заданий — позволяет ограничить доступ к заданиям исполнителям, которые пропускают несколько страниц заданий подряд.
  • Чтобы привлечь разных исполнителей:
    • Заработок — позволяет ограничить заработок исполнителя в пуле в течение суток.
    • Выполненные задания — позволяет ограничивать количество заданий, которое может выполнить исполнитель в пуле в течение суток.
  • Для повторного выполнения некоторых заданий:

Как настроить контроль качества

Контроль качества можно настроить в пуле и в проекте.

Пул

Перейдите к редактированию пула (кнопка Редактировать в верхнем правом углу страницы) и нажмите Добавить блок контроля качества.

Вы можете скопировать настройки контроля качества из другого пула. Для этого в разделе Исполнители нажмите кнопку Скопировать настройки из....

Проект

Откройте страницу проекта, перейдите на вкладку Контроль качества и нажмите кнопку Настроить контроль качества. Далее нажмите + Добавить блок контроля качества.

Правила будут действовать во всех пулах проекта, и изменить их настройку в одном из пулов будет невозможно.

Ограничение.

При клонировании проекта настройки контроля качества не переносятся.

Решение проблем

Вопросы про настройку контроля качества
Как правильно настроить контроль качества в пуле?

Настройка блоков контроля качества зависит от типа заданий. Ниже приводятся общие рекомендации:

  • Обязательно используйте один или несколько способов контроля качества.

  • Подсчет быстрых ответов имеет смысл для большинства заданий.

  • Если в задании нужно выбрать вариант ответа (например, в флажка), его лучше проверить с помощью мнения большинства или контрольных заданий.

  • Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.

  • Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. Составьте контрольные задания с искусственно созданными примерами, где выбор более очевиден.

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в основной пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольный набор . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как засчитываются правильные ответы на контрольные вопросы?

Правило контрольного набора начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, Яндекс.Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Помнить значений. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

  • Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

    • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

    • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

    Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Помнить значений.

  • Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

    Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Помнить значений в блоках контроля качества в пулах.

Можно ли использовать один навык в разных проектах?

Этого делать не стоит. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

Какое перекрытие лучше установить?

Перекрытие определяет, сколько исполнителей будут выполнять задание в пуле.

Оптимальное перекрытие — это перекрытие, по результатам которого заказчик получает устраивающее его качество ответов. Для большинства заданий без отложенной приемки достаточно перекрытия от «3» до «5». Если у вас простое задание, скорее всего, вам хватит перекрытия «3». Для заданий с отложенной приемкой установите перекрытие «1».

Можно ли изменить перекрытие после запуска пула?

Да. Откройте режим редактирования пула и установите новое значение перекрытия. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.