Toloka

Отложенная приемка

Вы можете проверить задания вручную и отклонить их, если задание выполнено неудовлетворительно. Отклоненные задания не оплачиваются.

Проверка заданий может занимать от 1 до 21 дня (срок устанавливается заказчиком). По истечении срока непроверенные задания одобряются автоматически. Пользователь может оспорить результат проверки в переписке с заказчиком. Изменить решение можно в течение 30 дней с момента отправки задания на проверку.

Настройка отложенной приемки пула

Чтобы использовать отложенную приемку, задайте настройки перед запуском пула:

  1. Выберите параметр Пост-приемка заданий на странице пула в режиме редактирования.

  2. Укажите Дедлайн — количество дней на проверку (от 1 до 21 дня). Пользователь увидит срок проверки в информации о задании на главной странице Толоки.

  3. Сохраните настройки.

Ответы пользователей будут доступны для проверки по мере выполнения заданий.

Примечание. 

Изложите критерии приемки в инструкции для пользователей.

Настройка повторной отправки заданий

Если вы отклонили задание, Толока может отправить его на повторное выполнение другим пользователям. Чтобы задания отправлялись на повторное выполнение автоматически, добавьте в пул блок контроля качества Дооценка после приемки:

Выполнение отложенной приемки

Чтобы перейти к списку непроверенных заданий, нажмите кнопку Проверить задания на странице пула. Вы можете проверить задания онлайн или в TSV-файле.

Чтобы проверить задания онлайн:

  1. Выберите задание, проверьте его.

  2. Нажмите Принять или Отказать. Для отклоненных заданий введите комментарий (укажите причину).

Вы также можете принять или отклонить сразу несколько заданий: выберите задания в списке и нажмите кнопку Принять или Отказать.

Чтобы использовать TSV-файл для приемки:

  1. Нажмите кнопку Импорт/ Экспорт на странице проверки заданий.

  2. Выберите «Непроверенные», чтобы скачать ответы, которые вы еще не проверяли.

  3. Откройте файл с ответами. Заполните поля (содержимое полей для заданий в каждом наборе должно совпадать):

    • ASSIGNMENT:assignment_id — идентификатор выданного набора заданий.

    • ACCEPT:verdict — результат проверки:

      • «+», если ответы приняты;

      • «-», если ответы отклонены.

    • ACCEPT:comment — комментарий для пользователя в случае отклоненения ответов (например, укажите несоблюденный пункт инструкции).

  4. Загрузите отредактированный TSV-файл в Толоку (Импорт/ Экспорт Загрузить результаты).