Настройка контроля качества

• Чтобы следить за тем, как часто ошибаются исполнители:

  • Контрольные задания — позволяет устанавливать исполнителю навык на основе его ответов на контрольные задания и блокировать доступ исполнителям, которые дают неправильные ответы.
  • Мнение большинства — способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание.
  • Результаты проверки — позволяет оценивать исполнителей по количеству принятых и отклоненных заданий.
• Для защиты от роботов и недобросовестных исполнителей:

  • Быстрые ответы — позволяет следить за минимальным временем на выполнение страницы заданий.
  • Капча — позволяет периодически показывать капчу, чтобы избежать выполнения заданий роботами.
  • Пропуск заданий — позволяет ограничить доступ к заданиям исполнителям, которые пропускают несколько страниц заданий подряд.
• Чтобы привлечь разных исполнителей:

  • Заработок — позволяет ограничить заработок исполнителя в пуле в течение суток.
  • Выполненные задания — позволяет ограничивать количество заданий, которое может выполнить исполнитель в пуле в течение суток.
• Для повторного выполнения некоторых заданий:

  • Повторное выполнение заданий после блокировки исполнителя — если исполнитель был заблокирован, то выполненные задания можно отправить другим исполнителям с помощью этого правила.
  • Обработка отклоненных и принятых заданий — задает правила отправки отклоненных заданий другим исполнителям.

• Добавьте задания в пул.
• Узнайте больше про настройку пула:

  • Настройка ценообразования.
  • Динамическое перекрытие.
  • Выборочная проверка мнением большинства.
  • Фильтры.
  • Соотношение скорости и качества.
  • Отложенная приемка.
  • Статья в блоге Яндекс.Толоки.

Настройка контроля качества

Как правильно настроить контроль качества в пуле?

Настройка блоков контроля качества зависит от типа заданий. Ниже приводятся общие рекомендации:

• Обязательно используйте один или несколько способов контроля качества.

• Подсчет быстрых ответов имеет смысл для большинства заданий.

• Если в задании нужно выбрать вариант ответа (например, в флажка), его лучше проверить с помощью мнения большинства или контрольных заданий.

• Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.

• Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. Составьте контрольные задания с искусственно созданными примерами, где выбор более очевиден.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

• Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

  • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

  • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

  Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Сколько последних значений учитывать.

• Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

  Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Сколько последних значений учитывать в блоках контроля качества в пулах.

Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?

Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

Настраивал контроль качества, затем скопировал требования к пользователям, и все мои настройки контроля качества удалились, а вместо них появились скопированные. Так и должно быть?

Действительно, при копировании настроек фильтров и контроля качества уже добавленные вручную настройки заменяются. Мы предупреждаем об этом в окне копирования настроек.

Может ли один работник попасть в два пула одного проекта? Можно ли этого избежать?

Да, может, если оба пула ему доступны. Чтобы ограничить доступ исполнителя к следующим заданиям, используйте правило Выполненные задания — выберите блокировку на проекте.

Правильно ли я понимаю, что если настроить установку значения навыка = 1, когда процент принятых ответов >= 75 и учитываются 10 последних значений, то пользователю на каждые 8 правильно выполненных заданий из 10 будет прибавляться 1 очко навыка?

Нет, при такой настройке каждый раз, когда будет выполняться условие правила, исполнителю будет устанавливаться навык = 1. Чтобы изменять значения по мере проверки заданий, понадобится «ступенчатое» правило (несколько одинаковых правил) с разным значением параметра Количество проверенных ответов.

В быстрых ответах время указывается за одну страницу заданий?

Да, в настройках быстрых ответов указывается время за выполнение 1 страницы с заданиями.

Как можно протестировать пользователей, чтобы определить, какие задачи они выполняют лучше, и на основе этого выдавать им подходящие задачи? Не хотелось бы, чтобы тестирование как-то негативно влияло на рейтинг.

Вы можете добавить обучающий пул, чтобы протестировать исполнителей. По результатам прохождения тестирования выдавайте навыки исполнителям в соответствии с тем, что они хорошо выполняют.

Затем откройте пулы только для пользователей, имеющих определенный навык — для этого используйте фильтры.

Рейтинг исполнителей не ухудшится: даже если вы будете устанавливать блокировку пользователей на проекте по результатам тестирования, это не повлияет на рейтинг толокера.

Я хочу сделать тренировку и экзамен, где бы проверялось равенство вводимого текста с эталоном, но они не всегда правильно сравниваются. Как это можно реализовать?

Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном. Для этого текст нужно нормализовать с помощью JavaScript: удалить пробелы, знаки препинания, специальные символы и заглавные буквы, а результат записать в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.

Другой вариант отбора исполнителей для проекта такого типа - отложенная приемка.

Я хочу сделать экзамен размером в три задания. Если человек выполняет два из трех правильно, то получает навык. Для этого в поле «Сколько последних значений учитывать» я хочу поставить 3, но система ругается, что значение слишком маленькое. Можно ли это побороть, не увеличивая количества заданий до пяти?

В поле Сколько последних значений учитывать указывается количество последних ответов исполнителя. Если у вас задание с отложенной приемкой, то, чтобы настроить правило по вашей логике, необходимо указать 3 в параметре Количество проверенных ответов.

У меня есть два варианта текста, который мне надо показывать респондентам: половине один вариант, половине другой (типа A/B-тестирования). Это возможно сделать в Толоке или надо создавать два отдельных проекта?

Если вы передаете тексты во входные данные, то достаточно загрузить в пул 2 разных задания: в одном из них в поле INPUT:<имя входного поля> вы передадите текст № 1, в другом — текст № 2. А если текст в самом шаблоне задания в блоке HTML, то да, нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания . Можно назначить навык или заблокировать исполнителя после того, как он отправит один ответ.

Контрольные задания

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как засчитываются правильные ответы на контрольные вопросы?

Правило контрольных заданий начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Сколько последних значений учитывать. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.

Можно ли сделать так, чтобы обучающие или контрольные задания были бы совсем другого рода, нежели основные задания?

Обучающие и контрольные задания будут иметь спецификацию проекта. Но вы можете сделать отдельный проект и разместить в нем необходимые задания, а потом по ответам из них назначить навык, по которому вы будете допускать исполнителей к основному проекту.

Экзамен — это простой пул, который я оплачиваю? Чем он отличается об обычного пула?

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Он обычно делается небольшим и служит для проверки того, как пользователи научились выполнять задание после чтения инструкции и прохождения обучения. В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой.

По результатам ответов на контрольные задания вы можете назначить пользователям навык и далее указать его в основном пуле в качестве фильтра. Например, МойНавык = 80 или = отсутствует. Составление экзамена не обязательно — в простых заданиях достаточно тренировки, но многие заказчики используют также и экзамен.

Как настроить экзамен, чтобы его могли проходить разные люди, а задания в нем не кончались?

При загрузке заданий используйте умное смешивание, тогда экзамен будет с бесконечным перекрытием.

Однако это чревато тем, что вы будете тратить на экзамен много денег. Возможно, его стоит открывать тогда, когда открывается боевой пул, и закрывать, когда разметка боевого пула завершается.

Если мы загружаем задания через Умное смешивание, то в одном файле должны быть и контрольные, и обычные задания?

Вы можете загрузить боевые и контрольные задания по отдельности, разными файлами.

Можно ли сделать 2 активных обучающих пула: один будет для тренировки, а по прохождению второго уже будет определяться доступ к рабочему пулу? То есть, условно говоря, один пул учит, другой пул экзаменует.

Да, можно. В этом случае первый обучающий пул нужно сделать на базе тренировочного пула, а второй — экзамен — на базе основного пула. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.

В экзаменационном пуле можно назначить навык, который будет определять результат сдачи экзамена и служить допуском в основной пул. Например: если количество ответов ≥ 10, то установить навык из поля <экзаменационный навык> % правильных ответов. В требованиях к пользователям экзаменационного пула укажите: <экзаменационный навык> < 80 или = отсутствует>. Установите в основном пуле фильтр: <экзаменационный навык> >= 80 и (<основной навык> >= 70 или = отсутствует). Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо пользователи справляются с вашим заданием.

Я создал обучение, в котором одно задание с подсказкой. Пользователю не удается выполнить задание с первой попытки, но в итоге он его выполняет. Он получает навык 0. Как мне сделать так, чтобы он был допущен к заданиям? Минимальный уровень прохождения, который можно установить, равен 10.

Технически с одним заданием в обучении — никак. Навык будет или 0, или 100. Рекомендуем добавить несколько задний, хотя бы 2: на первом исполнитель потренируется, а второе сможет уже выполнить верно. Тогда можно начать допускать к основному пулу со значением навыка 50.

Также вы можете создать обучающий пул на основе обычного. Назначайте навык правилом Контрольные задания — тогда к основному пулу вы можете допустить пользователей с любым уровнем навыка, даже нулевым. Но мы бы не советовали допускать к разметке тех, кто не справился с обучением.

В разделе условий на контрольные вопросы Количество контрольных ответов - это количество ответов на контрольные вопросы (даже если отвечено неверно) или количество верных ответов на контрольные вопросы?

Это количество любых ответов на контрольные вопросы.

В обучающем пуле возможна отложенная приемка?

Нет. Но вы можете создать обучающий пул с тренировочными заданиями на базе обычного пула и выставить там отложенную приемку.

Толокеры видят, что какой-то вопрос является контрольным?

Нет, не видят.

Так и задумано, что при экспорте проекта из Песочницы файлы с заданиями не переносятся? Я неожиданно потерял разметку контрольных заданий, которые сделал в песочнице.

Сами задания не переносятся, только конфигурация проекта и настройки выбранного пула. Но вы можете скачать размеченные задания из пула в Песочнице и загрузить их в созданный пул. Чтобы скачать только контрольные задания (если вы размечали их в интерфейсе), зайдите в Разметчик, затем во вкладку Контрольные задания и нажмите Скачать.

Блокировка

Можно ли отключать задания для исполнителей, которые выполняют его некачественно?

Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.

Я настроил правило отправления в бан при первой же неправильно введенной капче, чтобы максимально исключить ботов. Такое правило не слишком строгое? Как бывает на практике?

Действительно, такое правило выглядит слишком строго. Даже самый внимательный пользователь может ошибиться — правило лучше сделать менее строгим. Помимо блокировки у отдельных заказчиков, у нас есть системные процессы, которые блокируют в Толоке пользователей, которые систематически проваливают проверку капчей.

Если недобросовестный исполнитель дает много неправильных ответов, а спустя время система его блокирует за ошибки в контрольных заданиях, деньги за уже данные ответы все равно снимаются?

Если пользователю уже начислены деньги за задания, то обратно их не вернуть.

Если я блокирую пользователей на проекте, чтобы каждый мог выполнить максимум одно задание, то сообщают ли пользователям о блокировке?

Нет, пользователи не знают о блокировке.

Если мы блокируем исполнителя за то, что он выполняет задания слишком быстро, удалятся ли все его ответы, и будут ли они отданы на разметку другим исполнителям?

Нет, ответы такого исполнителя автоматически не исключаются из итогового файла.

Но вы можете это сделать самостоятельно. Для этого при скачивании результатов поставьте галочку Не учитывать ответы заблокированных пользователей. Также вы можете отправить все ответы заблокированных пользователей на повторное выполнение другим толокерам — для этого используйте правило.

Как прямо в процессе выполнения заданий разделять исполнителей на тех, кто справляется хорошо, и тех, кто справляется плохо, и остановить работу плохих исполнителей, не влияя на их рейтинг?

Вы можете создать пул заданий для всех исполнителей и выделить в нем навыки, присвоенные исполнителям. Тогда вы сможете открывать задания только для тех исполнителей, которые имеют нужные навыки. Это не должно повлиять на их рейтинг.

Даже если вы остановите работу исполнителя, наложив запрет на проект, это также не отразится на его рейтинге.

Капча

Частоту выдачи капчи работникам можно как-то регулировать? Некоторых работников это несколько демотивирует.

Частота показа капчи настраивается в пуле.

Нет

Не показывать капчу.

Низкая

Показывать капчу каждые 20 страниц заданий.

Средняя / Высокая

Показывать капчу каждые 10 страниц заданий.

Есть ли какое-то подробное описание, как лучше использовать капчу: для какого типа проектов ее лучше использовать и насколько интенсивно?

Капча используется обычно в простых проектах с автоприемкой: классификация, категоризация, поиск информации; то есть там, где мало вариантов ответов, не нужно загружать файлы или писать тексты. Она позволяет отсеивать ботов и исполнителей, которые размечают очень небрежно.

Частота показа капчи настраивается в пуле.

Нет

Не показывать капчу.

Низкая

Показывать капчу каждые 20 страниц заданий.

Средняя / Высокая

Показывать капчу каждые 10 страниц заданий.

В справке есть понятия для капчи: «Доля правильных ответов» и «Доля неправильных ответов» — они определяются из контрольной выборки?

Процент правильных ответов определяется исходя из общего количества обработанных исполнителем капч в пределах «окна», указанного в поле Сколько последних значений учитывать. Если значение в поле не указано, то в расчет попадают все капчи, которые появляются при выполнении заданий пула, использующего данное правило.

Мнение большинства

В пуле установлено перекрытие и настроено мнение большинства, и какой-то нехороший исполнитель открывает страницу с заданиями, ничего не делает и отправляет их. Может ли он получить еще задания из пула до того, как у этих же заданий будут известные результаты от других исполнителей,и быстро скликать много страниц заданий, пока неизвестно мнение большинства, которое приведет его к блокировке?

К сожалению, да, может. Поэтому мы рекомендуем перед боевым заданием делать обучение или экзамен, чтобы до боевого пула добирались только те, кто хорошо прошел предыдущий этап отбора.

В задании нужно заполнить форму из нескольких полей. В случае перекрытия и настройки контроля качества «Мнение большинства» учитывается каждое поле или если в одном из полей значение указано неверно по мнению большинства, то задание считается неправильно выполненным?

Считаются все ответы в задании. Если на какой-то вопрос ответ отличается, результат всего задания засчитывается как несовпадающий с ответами других исполнителей.

В каком формате нужно подавать результаты обработки, чтобы отфильтровать лишних пользователей по «Мнению большинства»?

Чтобы выполнять действия с пользователями (назначение навыка, блокировка), основываясь на мнении большинства, нужно добавить в пул соответствующее правило.

Не забудьте включить опцию Сохранять порядок заданий в параметрах пула. Мнение большинства применяется на проектах с заданными значениями (с радиобаттонами или чекбоксами). Для полей со свободным вводом или файлов это правило работать не будет.

Скорость выполнения заданий

Почему упала скорость выполнения пула?

Возможные причины:

• Вы остановили обучающий пул, и тем самым ограничили количество исполнителей имеющих доступ к заданиям. Запустите обучающий пул снова. Исполнителей, которым доступны задания, станет больше.

• Установлены слишком жесткие фильтры, например строгое ограничение по навыку, которого нет у большинства пользователей.
• Слишком много пользователей заблокированы. Сделайте правила контроля качества мягче.

Как ускорить выполнение заданий пула?

• Мотивируйте исполнителей, назначив публичный навык и динамическое ценообразование.
• Постарайтесь повысить рейтинг проекта, чтобы ваше задание оказалось выше в списке заданий у исполнителей.
• Отрегулируйте соотношение скорости и качества.
• Установите более высокий приоритет пула среди всех пулов проекта.

Написать в службу поддержки