Динамическое перекрытие

  1. Механизм динамического перекрытия
  2. Подготовка полей выходных данных
  3. Настройка динамического перекрытия
  4. Пример
  5. Что дальше
  6. Решение проблем

Перекрытие — это количество исполнителей, которые должны выполнить каждое задание пула. Чтобы сэкономить, вы можете настроить динамическое перекрытие.

Динамическое перекрытие позволяет изменять перекрытие в зависимости от того:
  • насколько хорошо исполнители справляются с заданием;
  • насколько согласованы ответы исполнителей.
Совет. Вместе с динамическим перекрытием не используйте правило контроля качества Повторное выполнение заданий после блокировки пользователя. Это правило увеличит значение максимального перекрытия.

Механизм динамического перекрытия

Для настройки динамического перекрытия используется:
Максимальное перекрытие
Максимальное количество исполнителей, которым будет выдано задание.
Навык

Навык, который определяет уровень доверия к ответам исполнителя. Для корректной настройки динамического перекрытия используйте навык, рассчитываемый как доля правильных ответов на контрольные задания.

Уверенность в ответе

Уверенность в ответе исполнителя зависит от значения навыка.

Уверенность в агрегированном ответе на задание рассчитывается на основе уверенности в каждом ответе при помощи вероятностного алгоритма.

Выходные данные для агрегации
Поля выходных данных, ответы на которые будут агрегированы. Такие поля должны иметь фиксированные значения.

Сначала задание будет выдано с минимальным перекрытием. Если после этого уверенность в агрегированном ответе не достигла установленного значения, то перекрытие будет увеличиваться, пока:

  • либо не достигнет максимального;
  • либо уверенность в агрегированном ответе не достигнет установленного значения.

Подготовка полей выходных данных

Чтобы ответы исполнителей можно было сравнивать, укажите фиксированные значения для полей выходных данных, ответы на которые нужно агрегировать.

Поля выходных данных, которые можно агрегировать:
  • Строки и числа с допустимыми значениями.
  • Логический тип.
  • Целые числа с минимальным и максимальным значениями. Разница между ними не должна превышать 32.
Примечание. Массивы агрегировать нельзя.

Чтобы добавить набор фиксированных значений для полей выходных данных:

  1. Перейдите к редактированию проекта и пролистайте до блока Спецификации.
  2. Наведите курсор на поле выходных данных и нажмите кнопку .
  3. Добавьте допустимые значения.
    Пример
  4. Сохраните поле.

  5. Сохраните проект.

    Внимание. Если вы редактируете обязательные поля, изменения применятся только к новым пулам. Существующие пулы будут работать в соответствии со старой версией проекта.

Настройка динамического перекрытия

  1. Создайте пул и заполните параметры.
  2. Установите минимальное перекрытие в поле Перекрытие.
  3. Включите опцию Динамическое перекрытие.
  4. Установите Максимальное перекрытие.
  5. Укажите Уверенность в агрегированном ответе. Чем выше значение, тем более согласованным будет агрегированный ответ. Не устанавливайте значение меньше 70.
  6. Выберите Навык для взвешивания ответов исполнителей. Он определяет вес ответа исполнителя.
  7. Отметьте Выходные данные для агрегации.
  8. Сохраните пул.
  9. Загрузите задания через « умное смешивание », иначе задания пула будут выданы с минимальным перекрытием.
  10. После завершения пула запустите Агрегацию результатов по навыку.
Примечание. Приблизительный бюджет в статистике пула будет рассчитан на основе минимального перекрытия.

Пример

Настройка динамического перекрытия для простой классификации.

Поле result имеет 3 допустимых значения — OK, BAD и 404.

Задание 1

Исполнитель А со значением навыка 70 ответил OK.

Исполнитель Б со значением навыка 90 тоже ответил OK.

Уверенность в агрегированном ответе OK — 97,7. Задание считается завершенным.

Задание 2

Исполнитель А со значением навыка 70 ответил OK.

Исполнитель Б со значением навыка 90 ответил BAD.

Уверенность в агрегированном ответе BAD — 76,1. Перекрытие увеличивается на 1.

Исполнитель В со значением навыка 80 ответил BAD.

Уверенность в агрегированном ответе BAD — 96,2. Задание считается завершенным.

Решение проблем

Какое перекрытие лучше установить?

Перекрытие определяет, сколько исполнителей будут выполнять задание в пуле.

Оптимальное перекрытие — это перекрытие, по результатам которого заказчик получает устраивающее его качество ответов. Для большинства заданий без отложенной приемки достаточно перекрытия от «3» до «5». Если у вас простое задание, скорее всего, вам хватит перекрытия «3». Для заданий с отложенной приемкой установите перекрытие «1».

Можно ли изменить перекрытие после запуска пула?

Да. Откройте режим редактирования пула и установите новое значение перекрытия. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.

Может ли быть такое, что при динамическом перекрытии пул закрывается раньше времени, когда закончились задания для минимального перекрытия? Перекрытие увеличилось, а пул закрылся, и надо его запускать вручную.

Да, такое может произойти. Необходимо установить достаточный интервал закрытия пула.

Как будет работает подсчет, если в пуле я поставлю перекрытие = 3, а во мнении большинства — порог ответов = 3?

В этом случае, если у вас не наберется 3 одинаковых ответа для задания (порог ответов), то ни один из пользователей не будет считаться ни плохим, ни хорошим, потому что система не будет знать, кто из этих пользователей ошибся.

А если вы установите порог ответов = 2 при перекрытии = 3, то два пользователя, у которых совпали ответы, будут считаться хорошими, а третий пользователь, ответ которого отличается, будет плохим.

Можно ли сделать так: установить базовое перекрытие в 2 человека, и если оба исполнителя выбрали один ответ, то закрыть пул, а если разные, то показать задание еще одному?

Да, можно. Настройте динамическое перекрытие.

Есть ли функция функция Cross-check для заданий?

Чтобы одно и то же задание выполнило несколько разных исполнителей, используется перекрытие. Его значение устанавливается в настройках пула.

Почему в прогресс-баре максимум выполненных заданий меньше, чем общее загруженное количество?

В прогресс-баре указано количество страниц заданий с учетом перекрытия. Если перекрытие больше единицы, то количество страниц заданий будет отличаться от общего количества заданий.