Настройка контроля качества

• Чтобы следить за тем, как часто ошибаются исполнители:

  • Контрольные задания — позволяет устанавливать исполнителю навык на основе его ответов на контрольные задания и блокировать доступ исполнителям, которые дают неправильные ответы.
  • Мнение большинства — способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание.
  • Результаты проверки — позволяет оценивать исполнителей по количеству принятых и отклоненных заданий.
• Для защиты от роботов и недобросовестных исполнителей:

  • Быстрые ответы — позволяет следить за минимальным временем на выполнение страницы заданий.
  • Капча — позволяет периодически показывать капчу, чтобы избежать выполнения заданий роботами.
  • Пропуск заданий — позволяет ограничить доступ к заданиям исполнителям, которые пропускают несколько страниц заданий подряд.
• Чтобы привлечь разных исполнителей:

  • Заработок — позволяет ограничить заработок исполнителя в пуле в течение суток.
  • Выполненные задания — позволяет ограничивать количество заданий, которое может выполнить исполнитель в пуле в течение суток.
• Для повторного выполнения некоторых заданий:

  • Повторное выполнение заданий после блокировки исполнителя — если исполнитель был заблокирован, то выполненные задания можно отправить другим исполнителям с помощью этого правила.
  • Обработка отклоненных и принятых заданий — задает правила отправки отклоненных заданий другим исполнителям.

Как правильно настроить контроль качества в пуле?

Настройка блоков контроля качества зависит от типа заданий. Ниже приводятся общие рекомендации:

• Обязательно используйте один или несколько способов контроля качества.

• Подсчет быстрых ответов имеет смысл для большинства заданий.

• Если в задании нужно выбрать вариант ответа (например, в флажка), его лучше проверить с помощью мнения большинства или контрольных заданий.

• Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.

• Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. Составьте контрольные задания с искусственно созданными примерами, где выбор более очевиден.

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как засчитываются правильные ответы на контрольные вопросы?

Правило контрольных заданий начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Сколько последних значений учитывать. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

• Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

  • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

  • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

  Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Сколько последних значений учитывать.

• Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

  Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Сколько последних значений учитывать в блоках контроля качества в пулах.

Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?

Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

Можно ли отключать задания для исполнителей, которые выполняют его некачественно?

Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.

• Создайте пул заданий в проекте.
• Узнайте больше про настройку проекта:

  • Написание инструкции.
  • Входные и выходные данные.
  • Интерфейс задания.
  • Адаптировать задание для мобильных устройств.
  • Статья в блоге Яндекс.Толоки.

Написать в службу поддержки