Динамическое перекрытие

  1. Механизм динамического перекрытия
  2. Подготовка полей выходных данных
  3. Настройка динамического перекрытия
  4. Пример
  5. Что дальше
  6. Решение проблем

Перекрытие — это количество исполнителей, которые должны выполнить каждое задание пула. Чтобы сэкономить, вы можете настроить динамическое перекрытие.

Динамическое перекрытие позволяет изменять перекрытие в зависимости от того:
  • насколько хорошо исполнители справляются с заданием;
  • насколько согласованы ответы исполнителей.
Совет. Вместе с динамическим перекрытием не используйте правило контроля качества Повторное выполнение заданий после блокировки пользователя. Это правило увеличит значение максимального перекрытия.

Механизм динамического перекрытия

Для настройки динамического перекрытия используется:
Максимальное перекрытие
Максимальное количество исполнителей, которым будет выдано задание.
Навык

Навык, который определяет уровень доверия к ответам исполнителя. Для корректной настройки динамического перекрытия используйте навык, рассчитываемый как доля правильных ответов на контрольные задания.

Уверенность в ответе

Уверенность в ответе исполнителя зависит от значения навыка.

Уверенность в агрегированном ответе на задание рассчитывается на основе уверенности в каждом ответе при помощи вероятностного алгоритма.

Выходные данные для агрегации
Поля выходных данных, ответы на которые будут агрегированы. Такие поля должны иметь фиксированные значения.

Сначала задание будет выдано с минимальным перекрытием. Если после этого уверенность в агрегированном ответе не достигла установленного значения, то перекрытие будет увеличиваться, пока:

  • либо не достигнет максимального;
  • либо уверенность в агрегированном ответе не достигнет установленного значения.

Подготовка полей выходных данных

Чтобы ответы исполнителей можно было сравнивать, укажите фиксированные значения для полей выходных данных, ответы на которые нужно агрегировать.

Поля выходных данных, которые можно агрегировать:
  • Строки и числа с допустимыми значениями.
  • Логический тип.
  • Целые числа с минимальным и максимальным значениями. Разница между ними не должна превышать 32.
Примечание. Массивы агрегировать нельзя.

Чтобы добавить набор фиксированных значений для полей выходных данных:

  1. Перейдите к редактированию проекта и пролистайте до блока Спецификации.
  2. Наведите курсор на поле выходных данных и нажмите кнопку .
  3. Добавьте допустимые значения.
    Пример
  4. Сохраните поле.

  5. Сохраните проект.

    Внимание. Если вы редактируете обязательные поля, изменения применятся только к новым пулам. Существующие пулы будут работать в соответствии со старой версией проекта.

Настройка динамического перекрытия

  1. Создайте пул и заполните параметры.
  2. Установите минимальное перекрытие в поле Перекрытие.
  3. Включите опцию Динамическое перекрытие.
  4. Установите Максимальное перекрытие.
  5. Укажите Уверенность в агрегированном ответе. Чем выше значение, тем более согласованным будет агрегированный ответ. Не устанавливайте значение меньше 70.
  6. Выберите Навык для взвешивания ответов исполнителей. Он определяет вес ответа исполнителя.
  7. Отметьте Выходные данные для агрегации.
  8. Сохраните пул.
  9. Загрузите задания через « умное смешивание », иначе задания пула будут выданы с минимальным перекрытием.
  10. После завершения пула запустите Агрегацию результатов по навыку.
Примечание. Приблизительный бюджет в статистике пула будет рассчитан на основе минимального перекрытия.

Пример

Настройка динамического перекрытия для простой классификации.

Поле result имеет 3 допустимых значения — OK, BAD и 404.

Задание 1

Исполнитель А со значением навыка 70 ответил OK.

Исполнитель Б со значением навыка 90 тоже ответил OK.

Уверенность в агрегированном ответе OK — 97,7. Задание считается завершенным.

Задание 2

Исполнитель А со значением навыка 70 ответил OK.

Исполнитель Б со значением навыка 90 ответил BAD.

Уверенность в агрегированном ответе BAD — 76,1. Перекрытие увеличивается на 1.

Исполнитель В со значением навыка 80 ответил BAD.

Уверенность в агрегированном ответе BAD — 96,2. Задание считается завершенным.

Решение проблем

Какое перекрытие лучше установить?

Перекрытие определяет, сколько исполнителей будут выполнять задание в пуле.

Оптимальное перекрытие — это перекрытие, по результатам которого заказчик получает устраивающее его качество ответов. Для большинства заданий без отложенной приемки достаточно перекрытия от «3» до «5». Если у вас простое задание, скорее всего, вам хватит перекрытия «3». Для заданий с отложенной приемкой установите перекрытие «1».

Можно ли изменить перекрытие после запуска пула?

Да. Откройте режим редактирования пула и установите новое значение перекрытия. Перезапускать пул не требуется. Обновление настроек обычно происходит быстро, но если заданий много, то может занять несколько минут.