Динамическое перекрытие

Динамическое перекрытие позволяет изменять перекрытие в зависимости от того:
  • насколько хорошо исполнители справляются с заданием;
  • насколько согласованы ответы исполнителей.
Динамическое перекрытие позволяет экономить деньги, не устанавливая фиксированное перекрытие для всех заданий в пуле. Подойдет для заданий с конечным набором ответов и перекрытием 2–5 (например, классификация).
  1. Механизм динамического перекрытия
  2. Подготовка полей выходных данных
  3. Настройка динамического перекрытия
  4. Пример

Механизм динамического перекрытия

Для настройки динамического перекрытия используется:
Минимальное перекрытие
Минимальное количество исполнителей, которым будет выдано задание.
Максимальное перекрытие
Максимальное количество исполнителей, которым будет выдано задание.
Навык
Навык, который определяет уровень доверия к ответам исполнителя. Например, навык, рассчитываемый как доля:
Уверенность в ответе

Уверенность в ответе исполнителя зависит от значения навыка.

Уверенность в агрегированном ответе на задание рассчитывается на основе уверенности в каждом ответе при помощи вероятностного алгоритма.

Выходные поля для агрегации
Поля выходных данных, ответы на которые будут агрегированы. Такие поля должны иметь фиксированные значения.

Сначала задание будет выдано с минимальным перекрытием. Если после этого уверенность в агрегированном ответе не достигла установленного значения, то перекрытие будет увеличиваться, пока:

  • либо не достигнет максимального;
  • либо уверенность в агрегированном ответе не достигнет установленного значения.

Подготовка полей выходных данных

Чтобы ответы исполнителей можно было сравнивать, укажите фиксированные значения для полей выходных данных, ответы на которые нужно агрегировать.

Поля выходных данных, которые можно агрегировать:
  • Строки и числа с допустимыми значениями.
  • Логический тип.
  • Целые числа с минимальным и максимальным значениями. Разница между ними не должна превышать 32.
Примечание. Массивы агрегировать нельзя.

Чтобы добавить набор фиксированных значений для полей выходных данных:

  1. Перейдите к редактирования проекта и пролистайте до блока Спецификации.
  2. Наведите курсор на поле выходных данных и нажмите кнопку .
  3. Добавьте допустимые значения.
    Пример
  4. Сохраните поле.
  5. Сохраните проект.
    Внимание. Если вы редактируете обязательные поля, изменения применятся только к новым пулам. Существующие пулы будут работать в соответствии со старой версией проекта.

Настройка динамического перекрытия

  1. Создайте пул и заполните параметры.
  2. Установите минимальное перекрытие в поле Перекрытие.
  3. Включите опцию Динамическое перекрытие.
  4. Установите Максимальное перекрытие.
  5. Укажите Уверенность в агрегированном ответе. Чем выше значение, тем более согласованным будет агрегированный ответ. Не устанавливайте значение меньше 70.
  6. Выберите Навык для скоринга исполнителей. Он определяет вес ответа исполнителя.
  7. Отметьте Выходные поля для агрегации.
  8. Сохраните пул.
  9. Загрузите задания через «умное смешивание», иначе задания пула будут выданы с минимальным перекрытием.
  10. После завершения пула запустите Агрегацию результатов по навыку.
Примечание. Приблизительный бюджет в статистике пула будет рассчитан на основе минимального перекрытия.

Пример

Настройка динамического перекрытия для простой классификации.

Поле result имеет 3 допустимых значения — OK, BAD и 404.

Задание 1

Исполнитель А со значением навыка 70 ответил OK.

Исполнитель Б со значением навыка 90 тоже ответил OK.

Уверенность в агрегированном ответе OK — 97,7. Задание считается завершенным.

Задание 2

Исполнитель А со значением навыка 70 ответил OK.

Исполнитель Б со значением навыка 90 ответил BAD.

Уверенность в агрегированном ответе BAD — 76,1. Перекрытие увеличивается на 1.

Исполнитель В со значением навыка 80 ответил BAD.

Уверенность в агрегированном ответе BAD — 96,2. Задание считается завершенным.