Проверка ответов исполнителей

Вы запустили пул с отложенной приемкой, а исполнители завершили все ваши задания. Что теперь?

  • Проверяйте ответы исполнителей до конца указанного (вами) Срока проверки. По его окончанию непроверенные ответы принимаются автоматически.
  • Если исполнитель плохо выполнил задание — отклоните его ответ.
  • Исполнитель может оспорить ваше решение, подав апелляцию.

Как проверить задания

В интерфейсе Яндекс.Толоки — этот вариант подходит для небольшого количества заданий.

Чтобы принять или отклонить ответы:

Если в настройках пула вы указали отложенную приемку, то вам нужно проверить ответы исполнителей в течение срока, установленного в поле Срок проверки. Исполнитель может оспорить отклонение своего ответа, подав апелляцию.

Вы можете проверить задания онлайн или загрузить результаты проверки в TSV-файле.

Примечание. Учтите, нельзя изменить статус задания, если пул заданий был отправлен в архив.
Проверка онлайн для одного задания.

Чтобы принять или отклонить одно задание:

  1. Нажмите кнопку Проверить задания на странице пула.

  2. Выберите задание.

    Если в ответах содержатся файлы, отправленные исполнителями, нажмите Действия → Скачать вложения, чтобы скачать их. Чтобы скачать все файлы из непроверенных ответов в ZIP-архиве, нажмите Скачать результаты → Скачать вложения на странице проверки заданий.

  3. Проверьте ответы, нажмите Принять или Отказать. Для отклоненных ответов введите комментарий (укажите причину).

В TSV-файле с результатами — он понадобится для фильтрации результатов и их программной обработки.
Примечание.

Ещё этот способ проверки подойдет, когда результат не отображается в интерфейсе.

Пример 1: в задании используется JS-код, а ответ вводится в изначально скрытые поля.

Пример 2: задание, где для проверки ответов нужно скачать файлы, приложенные толокером (например, записи видео или аудио).

Чтобы принять или отклонить ответы:

  1. Нажмите кнопку Проверить задания на странице пула.

  2. Чтобы скачать ответы, которые вы еще не проверяли: на странице пула нажмите кнопку Скачать результаты. В открывшемся окне:

    1. В блоке Статус оставьте включенной только опцию Не проверенные.

    2. В блоке Поля оставьте включенной только опцию id ответа.

    3. Отключите опцию Разделять ответы пустой строкой.

    4. Нажмите кнопку Скачать результаты.

  3. Если по условию задания толокеры должны были отправить вам картинки/видео/аудио, скачайте их для проверки отдельным архивом следующим образом.

    Нажмите Скачать результаты → Скачать вложения.

    Примечание.

    Что содержит архив с ответами?

    Система автоматически присваивает имена файлам в процессе их загрузки исполнителем. Вы можете переименовывать файлы вручную или скриптом, если нужно.

    • Архив с ответами

      • Папка1_ID_ответов

        • Файл1_ID_вложения

        • Файл2_ID_вложения

      • Папка2_ID_ответов

    По ID ответа и ID вложения можно понимать, что к чему относится в результатах. ID вложения содержится в TSV-файле в столбце с выходным полем, куда был загружен файл.

    • TSV-файл

      • Столбец1_с_выходным_полем

        • ID_вложения

      • Столбец2_с_выходным_полем

        • ID_вложения

  4. Откройте файл с ответами.

    Для одного ID ответа вердикт и комментарий надо заполнять только по одному разу. Остальные следует оставлять пустыми или удалять.

    • Если на странице одно задание, то к каждому ID ответа добавляйте вердикт и комментарий (если есть отклонение).
    • Если на странице больше одного задания, то у разных заданий на странице будет один и тот же ID ответа.

    Расшифровка

    • ASSIGNMENT:assignment_id — идентификатор выданной страницы заданий.

    • ACCEPT:verdict — результат проверки:

      • «+», если ответы приняты;

      • «-», если ответы отклонены.

    • ACCEPT:comment — комментарий для исполнителя в случае отклонения ответов (например, укажите несоблюденный пункт инструкции).

  5. Загрузите отредактированный TSV-файл в Яндекс.Толоку (Импорт/ Экспорт  → Загрузить результаты).

Делегировать проверку ответов толокерам.

Разместите отдельное задание с проверкой ответов исполнителей. Чтобы научиться этому, пройдите туториал Выделение области на изображении — в нем в последнем проекте выполняется проверка ответов с помощью исполнителей.

Примечание. Учтите, нельзя изменить статус задания, если пул заданий был отправлен в архив.

Апелляция

В течение 7 дней проверки исполнитель имеет возможность оспорить результат — подать апелляцию.

Вы получите от него сообщение, в котором будут:

  • Идентификатор толокера (assignment_id) в теме.
  • Объяснение, почему ответы нужно принять (опционально).

Для того, чтобы рассмотреть апелляцию, вам понадобится ID ответа. Если исполнитель написал вам со страницы отклоненного ответа, ID ответа автоматически прикрепляется к сообщению толокера в виде ссылки. Если ID нет, запросите его у толокера.

Что вам нужно делать:

  • Если ответы были ошибочно отклонены, примите их.
  • Рассматривайте все обращения и отвечайте в срок — в течение 9 дней (с момента отклонения задания).

Решение проблем

Можно ли попросить исполнителя переделать задание, если он допустил в нем ошибки?

Нет, после отправки задания исполнитель уже не может внести в него изменения. Неверно выполненные задания можно добавить в новый пул.

Могу ли я самостоятельно исправить что-то в выполненном задании?

Нет, в самом задании ничего исправить нельзя. Но это можно сделать вручную при обработке файла с результатами.

Что делать, если я хочу принять задание, а пул уже заархивирован или исполнитель написал мне позже допускаемого срока?

Просто начислите толокеру бонус без изменения статуса задания. Изменить статус задания в пуле в этой ситуации уже невозможно.

Что делать, если я не указал в инструкции того, за что отклонил задание?

Примите задание и скорректируйте инструкцию. Иначе вы нарушаете Соглашение с заказчиком , согласно которому нужно четко прописывать требования к выполнению задания и ожидаемым от пользователя результатам.

Могу ли я отклонить часть ответов на странице, а часть принять?

Нет. Например, на странице 10 заданий стоимостью 0.1$, а исполнитель сделал только 2 из них неправильно.

Вы не можете принять правильные ответы и заплатить ему часть стоимости - 0.08$. Страницы с ответами принимаются либо отклоняются только целиком.