Получение результатов

Ответы исполнителей можно скачать в TSV-файле по мере выполнения заданий.

Если задания выданы с перекрытием больше 2, запустите агрегацию. Яндекс.Толока обработает все ответы исполнителей на задание и сформирует итоговый ответ.

  1. Получение TSV-файла с ответами
  2. Получение файлов
  3. Решение проблем

Получение TSV-файла с ответами

Чтобы получить TSV-файл с ответами всех исполнителей, нажмите кнопку Скачать результаты на странице пула.

Поля в TSV-файле с ответами
  • INPUT:<название поля входных данных> — входные данные заданий.

  • OUTPUT:<название поля выходных данных> — ответы исполнителей. Для обучающих заданий приводятся ответы, которые были даны при первой попытке выполнить задание.

  • GOLDEN:<название поля выходных данных> — ответы для контрольных заданий.

  • HINT:text — подсказки для обучающих заданий.

  • Информация о выполнении задания (дублируется для всех заданий на странице):

    • ASSIGNMENT:link — ссылка на просмотр страницы заданий.

    • ASSIGNMENT:assignment_id — идентификатор выданной страницы заданий.

    • ASSIGNMENT:worker_id — идентификатор исполнителя, который выполнил задание.

    • ASSIGNMENT:started — дата и время выдачи страницы задания.

    • ASSIGNMENT:status — статус задания: SUBMITTED — выполнено, APPROVED — принято, REJECTED — отклонено.

Пример TSV-файла

Получение файлов

Если в заданиях требовалось отправить файл, TSV-файл с ответами будет содержать идентификаторы файлов, полученных от исполнителей. Чтобы скачать файлы на свой компьютер, нажмите кнопку Скачать результаты → Скачать вложения на странице пула.

Решение проблем

Можно ли попросить исполнителя переделать задание, если он допустил в нем ошибки?

Нет, после отправки задания исполнитель уже не может внести в него изменения. Неверно выполненные задания можно добавить в новый пул.

Могу ли я самостоятельно исправить что-то в выполненном задании?

Нет, в самом задании ничего исправить нельзя. Но это можно сделать вручную при обработке файла с результатами.

Как отправить задание исполнителю на доработку?

Можно только принять или отклонить это задание.

Можно ли отключать задания для исполнителей, которые выполняют его некачественно?

Можно закрывать доступ исполнителей к пулу по слишком быстрым ответам, по регулярному несовпадению с мнением большинства или если исполнитель делает много ошибок в контрольных заданиях. Задания, выполненные такими исполнителями, можно выдать другим исполнителям.

Что делать, если я хочу принять задание, а пул уже заархивирован или исполнитель написал мне позже допускаемого срока?

Просто начислите толокеру бонус без изменения статуса задания. Изменить статус задания в пуле в этой ситуации уже невозможно.

Что делать, если я не указал в инструкции того, за что отклонил задание?

Примите задание и скорректируйте инструкцию. Иначе вы нарушаете Соглашение с заказчиком , согласно которому нужно четко прописывать требования к выполнению задания и ожидаемым от пользователя результатам.

Могу ли я отклонить часть ответов на странице, а часть принять?

Нет. Например, на странице 10 заданий стоимостью 0.1$, а исполнитель сделал только 2 из них неправильно.

Вы не можете принять правильные ответы и заплатить ему часть стоимости - 0.08$. Страницы с ответами принимаются либо отклоняются только целиком.

Как уведомить исполнителя об изменениях в инструкции?
Добавьте уведомление в описание проекта (например: «Внимание! В инструкции произошли изменения») и напишите сообщение всем исполнителям, которые выполняли ваши задания. Для этого:
  • Назначьте им скрытый навык или воспользуйтесь уже имеющимся навыком по пулу.
  • Перейдите в Сообщения, нажмите НаписатьГруппеДобавить фильтрВыбрать свой навык<название навыка>.
  • Если вы создали новый навык, то укажите то значение, которое присвоили выбранной группе, например 1. Если вы используете существующий навык, то укажите минимально допустимое значение.
Как повысить рейтинг проекта?
Рейтинг проекта — это средняя оценка по всем категориям. Обращайте особое внимание на категории, по которым вы набрали наименьшее количество баллов.
Низкая оценка «Выполнили бы ещё такое же»

Возможно, ваши задания показались сложными исполнителям. Попробуйте упростить их.

Низкая оценка «Понятность инструкции»

Сократите инструкцию и перепишите более простым языком, добавьте картинки и примеры.

Низкая оценка «Удобство интерфейса задания»

Сделайте интерфейс более удобным и интуитивно понятным, не заставляйте исполнителя совершать дополнительные ненужные действия, используйте горячие клавиши.

Низкая оценка «Общение с заказчиком»

Регулярно отвечайте на сообщения исполнителей. Постарайтесь обеспечить максимально быструю обратную связь. Своевременно исправляйте ошибки и уведомляйте исполнителей об изменениях с помощью рассылок.

Если вы не понимаете, в чем проблема, запустите мини-опросник и поинтересуйтесь у исполнителей, выполнявших ваши задания, что именно им нравится и не нравится.
Почему возникают пустые области внутри TSV-файла?

При загрузке строк в файле двойные кавычки обозначают область, внутри которой можно использовать спецсимволы: табы или переносы строк. Толока заключает все, что находится между кавычками в одну строку и получается одно задание. Чтобы использовать кавычки внутри такой области, нужно их экранировать еще одной кавычкой. Подробнее здесь.

Какой результат обработки пустого текстового поля?
Если толокер написал и стер информацию, то будет null, иначе — undefined.