Настройка контроля качества
Контроль качества позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из правил. Все правила работают независимо друг от друга.
Правила контроля качества, которые вы задали в проекте, будут действовать во всех пулах проекта, и изменить их настройку в одном из пулов невозможно.
- Перейдите к редактированию пула
- Если у вас уже есть пул с подходящими настройками качества, вы можете скопировать их вместе с настройками аудитории. Для этого перейдите в Требования к пользователям и нажмите кнопку Скопировать настройки из..., а затем нажмите Добавить блок контроля качества.
В блоке Контроль качества выберите правила, которые вам нужны.
Если вы не уверены, какие правила контроля качества вам нужны, выберите готовый набор защиты — это несколько правил с настройками по умолчанию.- Задайте настройки для добавленных правил. Ниже представлен список правил со ссылками на подробную информацию о настройках правила.
- Сохраните пул.
Список правил
- Чтобы следить за тем, как часто ошибаются исполнители:
- Контрольные задания — позволяет устанавливать исполнителю навык на основе его ответов на контрольные задания и блокировать доступ исполнителям, которые дают неправильные ответы.
- Мнение большинства — способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание.
- Результаты проверки — позволяет оценивать исполнителей по количеству принятых и отклоненных заданий.
- Для защиты от роботов и недобросовестных исполнителей:
- Быстрые ответы — позволяет следить за минимальным временем на выполнение страницы заданий.
- Капча — позволяет периодически показывать капчу, чтобы избежать выполнения заданий роботами.
- Пропуск заданий — позволяет ограничить доступ к заданиям исполнителям, которые пропускают несколько страниц заданий подряд.
- Чтобы привлечь разных исполнителей:
- Выполненные задания — позволяет ограничивать количество заданий, которое может выполнить исполнитель в пуле в течение суток.
- Для повторного выполнения некоторых заданий:
- Повторное выполнение заданий после блокировки исполнителя — если исполнитель был заблокирован, то выполненные задания можно отправить другим исполнителям с помощью этого правила.
- Обработка отклоненных и принятых заданий — задает правила отправки отклоненных заданий другим исполнителям.
Что дальше
- Узнайте больше про настройку пула:
Решение проблем
Обязательно используйте один или несколько способов контроля качества.
Подсчет быстрых ответов имеет смысл для большинства заданий.
Если в задании нужно выбрать вариант ответа (например, в флажка), его лучше проверить с помощью мнения большинства или контрольных заданий.
Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.
Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. Составьте контрольные задания с искусственно созданными примерами, где выбор более очевиден.
Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:
Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).
Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.
Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Сколько последних значений учитывать.
Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.
Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Сколько последних значений учитывать в блоках контроля качества в пулах.
- Нет
- Не показывать капчу.
- Низкая
- Показывать капчу каждые 20 страниц заданий.
- Средняя / Высокая
- Показывать капчу каждые 10 страниц заданий.
- Нет
- Не показывать капчу.
- Низкая
- Показывать капчу каждые 20 страниц заданий.
- Средняя / Высокая
- Показывать капчу каждые 10 страниц заданий.
Вы остановили обучающий пул, и тем самым ограничили количество исполнителей имеющих доступ к заданиям. Запустите обучающий пул снова. Исполнителей, которым доступны задания, станет больше.
- Установлены слишком жесткие фильтры, например строгое ограничение по навыку, которого нет у большинства пользователей.
- Слишком много пользователей заблокированы. Сделайте правила контроля качества мягче.
- Мотивируйте исполнителей, назначив публичный навык и динамическое ценообразование.
- Постарайтесь повысить рейтинг проекта, чтобы ваше задание оказалось выше в списке заданий у исполнителей.
- Отрегулируйте соотношение скорости и качества.
- Установите более высокий приоритет пула среди всех пулов проекта.
Настройка блоков контроля качества зависит от типа заданий. Ниже приводятся общие рекомендации:
Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:
Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.
Действительно, при копировании настроек фильтров и контроля качества уже добавленные вручную настройки заменяются. Мы предупреждаем об этом в окне копирования настроек.
Да, может, если оба пула ему доступны. Чтобы ограничить доступ исполнителя к следующим заданиям, используйте правило Выполненные задания — выберите блокировку на проекте.
Нет, при такой настройке каждый раз, когда будет выполняться условие правила, исполнителю будет устанавливаться навык = 1
. Чтобы изменять значения по мере проверки заданий, понадобится «ступенчатое» правило (несколько одинаковых правил) с разным значением параметра Количество проверенных ответов.
Да, в настройках быстрых ответов указывается время за выполнение 1 страницы с заданиями.
Вы можете добавить обучающий пул, чтобы протестировать исполнителей. По результатам прохождения тестирования выдавайте навыки исполнителям в соответствии с тем, что они хорошо выполняют.
Затем откройте пулы только для пользователей, имеющих определенный навык — для этого используйте фильтры.
Рейтинг исполнителей не ухудшится: даже если вы будете устанавливать блокировку пользователей на проекте по результатам тестирования, это не повлияет на рейтинг толокера.
Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном. Для этого текст нужно нормализовать с помощью JavaScript: удалить пробелы, знаки препинания, специальные символы и заглавные буквы, а результат записать в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.
Другой вариант отбора исполнителей для проекта такого типа - отложенная приемка.
В поле Сколько последних значений учитывать указывается количество последних ответов исполнителя. Если у вас задание с отложенной приемкой, то, чтобы настроить правило по вашей логике, необходимо указать 3
в параметре Количество проверенных ответов.
Если вы передаете тексты во входные данные, то достаточно загрузить в пул 2 разных задания: в одном из них в поле INPUT:<имя входного поля>
вы передадите текст № 1, в другом — текст № 2. А если текст в самом шаблоне задания в блоке HTML, то да, нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания . Можно назначить навык или заблокировать исполнителя после того, как он отправит один ответ.
Рекомендуем добавлять не менее 1% контрольных заданий в пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.
Правило контрольных заданий начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).
Как только нужное количество ответов набрано, Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Сколько последних значений учитывать. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.
Обучающие и контрольные задания будут иметь спецификацию проекта. Но вы можете сделать отдельный проект и разместить в нем необходимые задания, а потом по ответам из них назначить навык, по которому вы будете допускать исполнителей к основному проекту.
Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Он обычно делается небольшим и служит для проверки того, как пользователи научились выполнять задание после чтения инструкции и прохождения обучения. В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой.
По результатам ответов на контрольные задания вы можете назначить пользователям навык и далее указать его в основном пуле в качестве фильтра. Например, МойНавык = 80 или = отсутствует
. Составление экзамена не обязательно — в простых заданиях достаточно тренировки, но многие заказчики используют также и экзамен.
При загрузке заданий используйте умное смешивание, тогда экзамен будет с бесконечным перекрытием.
Однако это чревато тем, что вы будете тратить на экзамен много денег. Возможно, его стоит открывать тогда, когда открывается боевой пул, и закрывать, когда разметка боевого пула завершается.
Вы можете загрузить боевые и контрольные задания по отдельности, разными файлами.
Да, можно. В этом случае первый обучающий пул нужно сделать на базе тренировочного пула, а второй — экзамен — на базе основного пула. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.
В экзаменационном пуле можно назначить навык, который будет определять результат сдачи экзамена и служить допуском в основной пул. Например: если количество ответов ≥ 10, то установить навык из поля <экзаменационный навык> % правильных ответов
. В требованиях к пользователям экзаменационного пула укажите: <экзаменационный навык> < 80 или = отсутствует>
. Установите в основном пуле фильтр: <экзаменационный навык> >= 80 и (<основной навык> >= 70 или = отсутствует)
. Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо пользователи справляются с вашим заданием.
Технически с одним заданием в обучении — никак. Навык будет или 0
, или 100
. Рекомендуем добавить несколько задний, хотя бы 2: на первом исполнитель потренируется, а второе сможет уже выполнить верно. Тогда можно начать допускать к основному пулу со значением навыка 50
.
Также вы можете создать обучающий пул на основе обычного. Назначайте навык правилом Контрольные задания — тогда к основному пулу вы можете допустить пользователей с любым уровнем навыка, даже нулевым. Но мы бы не советовали допускать к разметке тех, кто не справился с обучением.
Это количество любых ответов на контрольные вопросы.
Нет. Но вы можете создать обучающий пул с тренировочными заданиями на базе обычного пула и выставить там отложенную приемку.
Нет, не видят.
Сами задания не переносятся, только конфигурация проекта и настройки выбранного пула. Но вы можете скачать размеченные задания из пула в Песочнице и загрузить их в созданный пул. Чтобы скачать только контрольные задания (если вы размечали их в интерфейсе), зайдите в Разметчик, затем во вкладку Контрольные задания и нажмите Скачать.
Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.
Действительно, такое правило выглядит слишком строго. Даже самый внимательный пользователь может ошибиться — правило лучше сделать менее строгим. Помимо блокировки у отдельных заказчиков, у нас есть системные процессы, которые блокируют в Толоке пользователей, которые систематически проваливают проверку капчей.
Если пользователю уже начислены деньги за задания, то обратно их не вернуть.
Нет, пользователи не знают о блокировке.
Нет, ответы такого исполнителя автоматически не исключаются из итогового файла.
Но вы можете это сделать самостоятельно. Для этого при скачивании результатов поставьте галочку Не учитывать ответы заблокированных пользователей. Также вы можете отправить все ответы заблокированных пользователей на повторное выполнение другим толокерам — для этого используйте правило.
Вы можете создать пул заданий для всех исполнителей и выделить в нем навыки, присвоенные исполнителям. Тогда вы сможете открывать задания только для тех исполнителей, которые имеют нужные навыки. Это не должно повлиять на их рейтинг.
Даже если вы остановите работу исполнителя, наложив запрет на проект, это также не отразится на его рейтинге.
Капча используется обычно в простых проектах с автоприемкой: классификация, категоризация, поиск информации; то есть там, где мало вариантов ответов, не нужно загружать файлы или писать тексты. Она позволяет отсеивать ботов и исполнителей, которые размечают очень небрежно.
Процент правильных ответов определяется исходя из общего количества обработанных исполнителем капч в пределах «окна», указанного в поле Сколько последних значений учитывать. Если значение в поле не указано, то в расчет попадают все капчи, которые появляются при выполнении заданий пула, использующего данное правило.
К сожалению, да, может. Поэтому мы рекомендуем перед боевым заданием делать обучение или экзамен, чтобы до боевого пула добирались только те, кто хорошо прошел предыдущий этап отбора.
Считаются все ответы в задании. Если на какой-то вопрос ответ отличается, результат всего задания засчитывается как несовпадающий с ответами других исполнителей.
Чтобы выполнять действия с пользователями (назначение навыка, блокировка), основываясь на мнении большинства, нужно добавить в пул соответствующее правило.
Не забудьте включить опцию Сохранять порядок заданий в параметрах пула. Мнение большинства применяется на проектах с заданными значениями (с радиобаттонами или чекбоксами). Для полей со свободным вводом или файлов это правило работать не будет.