Динамическое перекрытие
Перекрытие — это количество исполнителей, которые должны выполнить каждое задание пула. Чтобы сэкономить, вы можете настроить динамическое перекрытие.
- насколько хорошо исполнители справляются с заданием;
- насколько согласованы ответы исполнителей.
Механизм динамического перекрытия
- Максимальное перекрытие
- Максимальное количество исполнителей, которым будет выдано задание.
- Навык
-
Навык, который определяет уровень доверия к ответам исполнителя. Для корректной настройки динамического перекрытия используйте навык, рассчитываемый как доля правильных ответов на контрольные задания.
- Уверенность в ответе
-
Уверенность в ответе исполнителя зависит от значения навыка.
Уверенность в агрегированном ответе на задание рассчитывается на основе уверенности в каждом ответе при помощи вероятностного алгоритма.
- Выходные данные для агрегации
- Поля выходных данных, ответы на которые будут агрегированы. Такие поля должны иметь фиксированные значения.
Сначала задание будет выдано с минимальным перекрытием. Если после этого уверенность в агрегированном ответе не достигла установленного значения, то перекрытие будет увеличиваться, пока:
- либо не достигнет максимального;
- либо уверенность в агрегированном ответе не достигнет установленного значения.
Подготовка полей выходных данных
Чтобы ответы исполнителей можно было сравнивать, укажите фиксированные значения для полей выходных данных, ответы на которые нужно агрегировать.
- Строки и числа с допустимыми значениями.
- Логический тип.
- Целые числа с минимальным и максимальным значениями. Разница между ними не должна превышать 32.
Чтобы добавить набор фиксированных значений для полей выходных данных:
- Перейдите к редактированию проекта и пролистайте до блока Спецификации.
- Наведите курсор на поле выходных данных и нажмите кнопку
.
- Добавьте допустимые значения.Пример
- Сохраните поле.
Сохраните проект.
Внимание. Если вы редактируете обязательные поля, изменения применятся только к новым пулам. Существующие пулы будут работать в соответствии со старой версией проекта.
Настройка динамического перекрытия
- Создайте пул и заполните параметры.
- Установите минимальное перекрытие в поле Перекрытие.
- Включите опцию Динамическое перекрытие.
- Установите Максимальное перекрытие.
- Укажите Уверенность в агрегированном ответе. Чем выше значение, тем более согласованным будет агрегированный ответ. Не устанавливайте значение меньше 70.
- Выберите Навык для взвешивания ответов исполнителей. Он определяет вес ответа исполнителя.
- Отметьте Выходные данные для агрегации.
- Сохраните пул.
- Загрузите задания через « умное смешивание », иначе задания пула будут выданы с минимальным перекрытием.
- После завершения пула запустите Агрегацию результатов по навыку.
Пример
Настройка динамического перекрытия для простой классификации.

Поле result
имеет 3 допустимых значения — OK
, BAD
и 404
.
- Задание 1
-
Исполнитель А со значением навыка 70 ответил
OK
.Исполнитель Б со значением навыка 90 тоже ответил
OK
.Уверенность в агрегированном ответе
OK
— 97,7. Задание считается завершенным. - Задание 2
-
Исполнитель А со значением навыка 70 ответил
OK
.Исполнитель Б со значением навыка 90 ответил
BAD
.Уверенность в агрегированном ответе
BAD
— 76,1. Перекрытие увеличивается на 1.Исполнитель В со значением навыка 80 ответил
BAD
.
Что дальше
- Узнайте больше про настройку перекрытия:
Решение проблем
Перекрытие определяет, сколько исполнителей будут выполнять задание в пуле.
Оптимальное перекрытие — это перекрытие, по результатам которого заказчик получает устраивающее его качество ответов. Для большинства заданий без отложенной приемки достаточно перекрытия от «3» до «5». Если у вас простое задание, скорее всего, вам хватит перекрытия «3». Для заданий с отложенной приемкой установите перекрытие «1».
Да. Откройте режим редактирования пула и установите новое значение перекрытия. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.
Да, такое может произойти. Необходимо установить достаточный интервал закрытия пула.
В этом случае, если у вас не наберется 3 одинаковых ответа для задания (порог ответов), то ни один из пользователей не будет считаться ни плохим, ни хорошим, потому что система не будет знать, кто из этих пользователей ошибся.
А если вы установите порог ответов = 2
при перекрытии = 3
, то два пользователя, у которых совпали ответы, будут считаться хорошими, а третий пользователь, ответ которого отличается, будет плохим.
Да, можно. Настройте динамическое перекрытие.
Чтобы одно и то же задание выполнило несколько разных исполнителей, используется перекрытие. Его значение устанавливается в настройках пула.
В прогресс-баре указано количество страниц заданий с учетом перекрытия. Если перекрытие больше единицы, то количество страниц заданий будет отличаться от общего количества заданий.