Результаты

Ответы исполнителей можно скачать в TSV-файле по мере выполнения заданий. Если задания выданы с перекрытием (например, каждое задание выполняют 5 исполнителей), вы можете агрегировать ответы. Толока проанализирует ответы исполнителей в задании выберет один из них. Агрегация невозможна для полей, которые содержат файл, координаты, JSON-объект или строку с произвольным вводом.

Файлы, отправленные исполнителями в ответах, нужно скачать отдельно (например, если в задании нужно приложить фото).

Получение TSV-файла с ответами

Чтобы получить TSV-файл с ответами всех исполнителей, нажмите кнопку Скачать результаты на странице пула.

Поля в TSV-файле с ответами:

  • INPUT:<идентификатор объекта в описании входных данных> — входные данные заданий.

  • OUTPUT:<идентификатор поля описании выходных данных> — ответы исполнителей. Для обучающих заданий приводятся ответы, которые были даны при первой попытке выполнить задание.

  • GOLDEN:<идентификатор поля в описании выходных данных> — ответы для контрольных заданий.

  • HINT:text — подсказки для обучающих заданий.

  • Информация о выполнении задания (дублируется для всех заданий на старнице):

    • ASSIGNMENT:link — ссылка на просмотр страницы заданий.

    • ASSIGNMENT:assignment_id — идентификатор выданной страницы заданий.

    • ASSIGNMENT:worker_id — идентификатор исполнителя, который выполнил задание.

    • ASSIGNMENT:started — дата и время выдачи страницы задания.

    • ASSIGNMENT:status — статус задания («SUBMITTED» — выполнено, «APPROVED» — принято, «REJECTED» — отклонено).

Пример TSV-файла:

Агрегация ответов

Чтобы скачать TSV-файл с агрегацией ответов:

  1. Запустите процесс анализа данных: нажмите кнопку Скачать результаты → Агрегация результатов на странице пула.

    Агрегация может занять некоторое время (от 10 минут до нескольких часов). Отслеживать готовность TSV-файла можно на странице Операции.

  2. Cкачайте готовый TSV-файл: нажмите ссылку Скачать на странице Операции.

TSV-файл с агрегированными ответами содержит поля CONFIDENCE: <идентификатор поля выходных данных>. В полях CONFIDENCE приведена значимость ответа в процентах (см. Статистическая значимость).

Получение файлов

Если в заданиях требовалось отправить файл, TSV-файл с ответами будет содержать идентификаторы файлов, полученных от исполнителей. Чтобы скачать файлы на свой компьютер, нажмите кнопку Скачать результаты → Скачать вложения на странице пула.