Контрольные задания
Контрольные задания — это задания для проверки результатов работы исполнителей. Проверочные маркеры. По ним судят о правильности всех ответов на задания, не проверяя их полностью. помогают автоматизировать и упростить проверку. Экономит ваше время.
Когда использовать
Добавьте правило, чтобы устанавливать исполнителю навык на основе его ответов на контрольные задания и блокировать доступ исполнителям, которые дают неправильные ответы.
Используйте это правило, если: вы хотите отсеивать исполнителей, которые часто ошибаются
- Не используйте, если:
-
- много вариантов ответа;
- к ответу нужно прикрепить файл;
- требуется расшифровка текста;
- требуется выделение объектов на фото;
- присутствуют задания, в которых нет правильного или неправильного ответа. Например: «Какой образ вам больше нравится?» или «Выберите вариант дизайна страницы, который вам нравится больше».
Настройка правила
Поля Если и то в этом правиле — обязательные. Если не заполнить хотя бы одно, правило сохранить не получится.
| Поле | Описание |
|---|---|
| Сколько последних значений учитывать | Количество последних ответов исполнителя на контрольные задания. Чтобы в расчет попали ответы на контрольные задания из всех пулов проекта, поле должно быть заполнено в правиле каждого пула. Если поле не заполнено, в расчете учитываются ответы на контрольные задания только того пула, к которому применяется правило. |
| Если | Условие, при котором выполняется действие в поле то:
Чтобы добавить несколько условий, нажмите |
| то | Действие, выполняемое при условии:
|
.| Поле | Описание |
|---|---|
| Сколько последних значений учитывать | Количество последних ответов исполнителя на контрольные задания. Чтобы в расчет попали ответы на контрольные задания из всех пулов проекта, поле должно быть заполнено в правиле каждого пула. Если поле не заполнено, в расчете учитываются ответы на контрольные задания только того пула, к которому применяется правило. |
| Если | Условие, при котором выполняется действие в поле то:
Чтобы добавить несколько условий, нажмите |
| то | Действие, выполняемое при условии:
|
Примеры правил
Задача: отсеять исполнителей, которые часто ошибаются.
- Подсчет навыка и блокировка за неправильные ответы
-
Оба правила работают независимо:
- Если исполнитель дал не меньше 3 ответов на контрольные задания, то доля правильных ответов будет записана как значение навыка. Это будет полезно в том случае, если вы хотите запретить исполнителям с низким навыком выполнять ваши задания.
- Если исполнитель дал не меньше 3 ответов на контрольные задания и доля правильных ответов, меньше 60%, то он будет заблокирован на проекте.
В расчете используется не более 10 последних ответов исполнителя на контрольные задания в рамках проекта.
Исполнитель будет заблокирован, когда даст первый неправильный ответ на первое, второе или третье контрольное задание. При этом навык не будет установлен. Поскольку причина блокировки не указана, будет невозможно выяснить, почему исполнитель заблокирован.
Все правила действуют независимо:- Если исполнитель дал не меньше 3 ответов на контрольные и обучающие задания, то доля правильных ответов будет записана как значение навыка.
- Если исполнитель дал 2 неправильных ответа на 3 контрольных задания, то он будет заблокирован в пуле на 10 дней.
- Если исполнитель дал 2 неправильных ответа на 4 контрольных задания, то он будет заблокирован в пуле на 10 дней.
- Если исполнитель дал 5 или больше ответов на контрольные задания и доля правильных ответов меньше 80%, то он будет заблокирован в пуле на 10 дней.
Такой набор правил позволяет не блокировать исполнителей за один неправильный ответ и поддерживать высокую точность.
-
Навык помогает определять, насколько хорошо исполнитель справляется с заданиями. Если у исполнителя низкий навык, ему можно запретить выполнять задания в вашем пуле или проекте.
Если исполнитель ответит на 3 контрольных или обучающих задания, ему будет установлен навык. Используйте значение навыка для доступа к другому пулу с помощью фильтра.
Пример установки фильтра
Это правило никогда не начнет действовать, потому что количество учитываемых ответов (Сколько последних значений учитывать) меньше числа ответов в правиле (количество контрольных ответов).
- Блокировка за неправильные ответы
-
Если доля правильных ответов на контрольные задания меньше 40%, то исполнитель будет заблокирован на проекте на 30 дней.
Это правило не учитывает ответы на обучающие задания для блокировки.
Если доля правильных ответов на контрольные задания меньше 40%, то исполнитель будет заблокирован на проекте на 30 дней. Правило cработает один раз — сразу после пятого ответа на контрольное задание.
Решение проблем
Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:
Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).
Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.
Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Сколько последних значений учитывать.
Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.
Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Сколько последних значений учитывать в блоках контроля качества в пулах.
Рекомендуем добавлять не менее 1% контрольных заданий в пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.
Правило контрольных заданий начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).
Как только нужное количество ответов набрано, Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Сколько последних значений учитывать. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.
Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:
Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.
Сами задания не переносятся, только конфигурация проекта и настройки выбранного пула. Вы можете скачать размеченные задания из пула в Песочнице и загрузить их в экспортированный пул.
Чтобы скачать только контрольные задания (если вы размечали в интерфейсе), зайдите в Разметчик, затем на вкладку Контрольные задания и нажмите Скачать.
Вы можете загрузить боевые и контрольные задания по отдельности, разными файлами.
Если пользователю уже начислены деньги за задания, то обратно их не вернуть.
Сами задания не переносятся, только конфигурация проекта и настройки выбранного пула. Но вы можете скачать размеченные задания из пула в Песочнице и загрузить их в созданный пул. Чтобы скачать только контрольные задания (если вы размечали их в интерфейсе), зайдите в Разметчик, затем во вкладку Контрольные задания и нажмите Скачать.
Умное смешивание задается при загрузке заданий в пул. После создания пула нажмите Загрузить и выбираете соответствующий способ формирования страниц с заданиями. При этом вы можете загрузить их отдельными файлами, либо одним файлом, расположив в любом порядке.
