Агрегация результатов

  1. Агрегация результатов по методу Дэвида — Скина
  2. Агрегация результатов по навыку
Если задания выданы с перекрытием 2 и больше, запустите агрегацию результатов. Яндекс.Толока обработает все ответы исполнителей на задание и выдаст итоговый ответ и степень его достоверности.
Примечание. Если вы запускали пул с отложенной приемкой, убедитесь, что все ответы приняты.
  1. Откройте пул.
  2. Нажмите рядом с кнопкой Скачать результаты.

Агрегация займет от нескольких минут до нескольких часов. Следите за процессом на странице Операции. После завершения агрегации скачайте TSV-файл с результатами.

Чтобы получать уведомления и письма о завершении агрегации результатов, настройте оповещения:

  1. Войдите в аккаунт.
  2. Перейдите в Профиль → Уведомления  → Выполнение пула или агрегации.
  3. Выберите способ оповещения:
    • Почта — письма придут на вашу электронную почту.
    • Сообщения — уведомления придут в Сообщения вашего аккаунта. Кроме вас их увидят те, у кого настроен совместный доступ к вашему аккаунту.
    • Браузер — уведомления придут на устройства, с которых вы вошли в свой аккаунт.

Агрегация результатов по методу Дэвида — Скина

Анализирует все ответы исполнителей и возвращает итоговый ответ и его статистическую значимость.
Примечание. Описание метода Дэвида — Скина на английском.

Агрегация возможна не для всех полей выходных данных:

Поля, которые можно агрегировать
  • Поля с допустимыми значениями.
    Как добавить допустимые значения
    1. Перейдите к редактированию проекта и пролистайте до блока Спецификации.
    2. Наведите курсор на поле выходных данных и нажмите кнопку .
    3. Добавьте допустимые значения.
      Пример
    4. Сохраните поле.
    5. Сохраните проект.

      Внимание. Если вы редактируете обязательные поля, изменения применятся только к новым пулам. Существующие пулы будут работать в соответствии со старой версией проекта.
  • Поля с набором значений в интерфейсе задания.
    Пример

    Поле result имеет тип строка.

    Интерфейс задания:

    {{field type="radio" name="result" value="OK" label="Хорошее" hotkey="1"}}
    {{field type="radio" name="result" value="BAD" label="Плохое" hotkey="2"}}
    {{field type="radio" name="result" value="404" label="Ошибка загрузки" hotkey="3"}}
Поля, которые нельзя агрегировать
  • Массив.
  • Файл.
  • Географические координаты.
  • Объект JSON.

TSV-файл с агрегированными ответами содержит поля CONFIDENCE: <название поля выходных данных> — значимость ответа в процентах.

Агрегация результатов по навыку

Агрегирует ответы на основе уровня доверия к исполнителю. Уровень доверия определяется значением навыка у исполнителя.

Используйте этот способ агрегации для:

Пула с динамическим перекрытием

Выберите поля и навык, установленные в динамическом перекрытии.

Пула без динамического перекрытия

Агрегацию по навыку можно запустить, если:

  • У вас есть навык, который определяет уровень доверия к ответам исполнителя.
  • В проекте поля выходных данных, которые вы хотите агрегировать, имеют допустимые значения.
    Поля выходных данных, которые можно агрегировать
    • Строки и числа с допустимыми значениями.
    • Логический тип.
    • Целые числа с минимальным и максимальным значениями. Разница между ними не должна превышать 32.
    Как добавить допустимые значения
    1. Перейдите к редактированию проекта и пролистайте до блока Спецификации.
    2. Наведите курсор на поле выходных данных и нажмите кнопку .
    3. Добавьте допустимые значения.
      Пример
    4. Сохраните поле.
    5. Сохраните проект.

      Внимание. Если вы редактируете обязательные поля, изменения применятся только к новым пулам. Существующие пулы будут работать в соответствии со старой версией проекта.
  • Задания в пул были загружены при помощи «умного смешивания» .

TSV-файл с агрегированными ответами содержит поля CONFIDENCE: <название поля выходных данных> — уверенность в агрегированном ответе.

Решение проблем

Как работает агрегация результатов по методу Дэвида — Скина?
Модель агрегации Dawid-Skene анализирует ответы исполнителей и создает матрицу ошибок каждого толокера. Так вычисляется статистическая значимость толокера для каждого ответа. Подробнее о модели.
Где можно увидеть ход агрегации?

На странице пула есть кнопка К списку операций .

Почему может быть недоступна агрегация по навыку исполнителя?

Невозможно агрегировать поля проекта, которые не имеют допустимых значений. Необходимо указывать возможные значения для всех полей всех типов.

Агрегация по навыку недоступна. При запуске по API, код ошибки — ONLY_FOR_POOL_WITH_MIXER. Почему?

Необходимо использовать «умное смешивание» .