Настройка контроля качества
Контроль качества позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из правил. Все правила работают независимо друг от друга.
Настройки контроля качества в проекте будут действовать во всех пулах проекта, и изменить их настройку в одном из пулов будет невозможно.
При клонировании проекта настройки контроля качества проекта не переносятся.
- Откройте страницу проекта.
- Перейдите на вкладку Контроль качества.
- Нажмите кнопку Настроить контроль качества.
- Нажмите + Добавить блок контроля качества.
В появившемся списке выберите правила, которые вам нужны.
Если вы не уверены, какие правила контроля качества вам нужны, выберите готовый набор защиты — это несколько правил с настройками по умолчанию.- Задайте настройки для добавленных правил. Ниже представлен список правил со ссылками на подробную информацию о настройках правила.
Список правил
- Чтобы следить за тем, как часто ошибаются исполнители:
- Контрольные задания — позволяет устанавливать исполнителю навык на основе его ответов на контрольные задания и блокировать доступ исполнителям, которые дают неправильные ответы.
- Мнение большинства — способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание.
- Результаты проверки — позволяет оценивать исполнителей по количеству принятых и отклоненных заданий.
- Для защиты от роботов и недобросовестных исполнителей:
- Быстрые ответы — позволяет следить за минимальным временем на выполнение страницы заданий.
- Капча — позволяет периодически показывать капчу, чтобы избежать выполнения заданий роботами.
- Пропуск заданий — позволяет ограничить доступ к заданиям исполнителям, которые пропускают несколько страниц заданий подряд.
- Чтобы привлечь разных исполнителей:
- Заработок — позволяет ограничить заработок исполнителя в пуле в течение суток.
- Выполненные задания — позволяет ограничивать количество заданий, которое может выполнить исполнитель в пуле в течение суток.
- Для повторного выполнения некоторых заданий:
- Повторное выполнение заданий после блокировки исполнителя — если исполнитель был заблокирован, то выполненные задания можно отправить другим исполнителям с помощью этого правила.
- Обработка отклоненных и принятых заданий — задает правила отправки отклоненных заданий другим исполнителям.
Решение проблем
Обязательно используйте один или несколько способов контроля качества.
Подсчет быстрых ответов имеет смысл для большинства заданий.
Если в задании нужно выбрать вариант ответа (например, в флажка), его лучше проверить с помощью мнения большинства или контрольных заданий.
Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.
Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. Составьте контрольные задания с искусственно созданными примерами, где выбор более очевиден.
Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:
Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).
Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.
Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Помнить значений.
Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.
Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Помнить значений в блоках контроля качества в пулах.
Настройка блоков контроля качества зависит от типа заданий. Ниже приводятся общие рекомендации:
Рекомендуем добавлять не менее 1% контрольных заданий в основной пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольный набор . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.
Правило контрольного набора начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).
Как только нужное количество ответов набрано, Яндекс.Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Помнить значений. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.
Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:
Этого делать не стоит. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.
Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.
