Toloka

Отложенная приемка

Вы можете проверить задания вручную и отклонить их, если задание выполнено неудовлетворительно. Отклоненные задания не оплачиваются.

Проверка заданий может занимать от 1 до 21 дня (срок устанавливается заказчиком). По истечении срока непроверенные задания одобряются автоматически. Пользователь может оспорить результат проверки в переписке с заказчиком. Изменить решение можно в течение 30 дней с момента отправки задания на проверку.

Настройка отложенной приемки пула

Чтобы использовать отложенную приемку, задайте настройки перед запуском пула:

  1. Выберите параметр Пост-приемка заданий на странице пула в режиме редактирования.

  2. Укажите Дедлайн — количество дней на проверку (от 1 до 21 дня). Пользователь увидит срок проверки в информации о задании на главной странице Толоки.

  3. Сохраните настройки.

Ответы пользователей будут доступны для проверки по мере выполнения заданий.

Примечание. 

Изложите критерии приемки в инструкции для пользователей.

Настройка повторной отправки заданий

Если вы отклонили задание, Толока может отправить его на повторное выполнение другим пользователям. Чтобы задания отправлялись на повторное выполнение автоматически, добавьте в пул блок контроля качества Дооценка после приемки:

Выполнение отложенной приемки

Вы можете проверить задания онлайн или загрузить результаты проверки в TSV-файле.

Чтобы принять или отклонить одно задание:

  1. Нажмите кнопку Проверить задания на странице пула.

  2. Выберите задание.

    Если в ответах содержатся файлы, отправленные пользователями, нажмите ДействияСкачать вложения, чтобы скачать их. Чтобы скачать все файлы в непроверенных заданиях в ZIP-архиве, нажмите Скачать результатыСкачать вложения на странице проверки заданий.

  3. Проверьте задание, нажмите Принять или Отказать. Для отклоненных заданий введите комментарий (укажите причину).

Чтобы принять или отклонить несколько заданий, выберите задания в списке и нажмите кнопку Принять или Отказать.

Чтобы принять или отклонить задания:

  1. Нажмите кнопку Проверить задания на странице пула.

  2. Нажмите кнопку Импорт/ Экспорт и выберите «Непроверенные», чтобы скачать ответы, которые вы еще не проверяли.

  3. Откройте файл с ответами. Заполните поля (содержимое полей для заданий в каждом наборе должно совпадать):

    • ASSIGNMENT:assignment_id — идентификатор выданного набора заданий.

    • ACCEPT:verdict — результат проверки:

      • «+», если ответы приняты;

      • «-», если ответы отклонены.

    • ACCEPT:comment — комментарий для пользователя в случае отклоненения ответов (например, укажите несоблюденный пункт инструкции).

  4. Загрузите отредактированный TSV-файл в Толоку (Импорт/ Экспорт Загрузить результаты).