Термины и определения

API Яндекс.Толоки (application programming interface), программный интерфейс Яндекс.Толоки — это описание способов (набор классов, процедур, функций, структур или констант), которыми сервис Яндекс.Толока может взаимодействовать с другой компьютерной программой и дает возможность создавать задания и получать ответы пользователей (см. документацию).

Запросы к API Яндекс.Толоки выполняются по протоколу HTTPS. Сервис возвращает данные в формате JSON.

TSV (tab-separated values) — это текстовый формат файла, в котором данные разделены знаком табуляции, а строки — знаком перевода строки.

Исполнители, которые просматривали или выполняли задания в течение последнего часа, а также соответствующие фильтрам, указанным в настройках пула. Это количество исполнителей, которым доступно ваше задание сейчас, если оно опубликовано.

Пул, отправленный в архив. Такой пул недоступен для запуска и редактирования, а также для выполнения отложенной приемки. Пул автоматически архивируется, если в течение месяца в нем не совершались никакие действия.

Вы можете закрыть доступ исполнителю к одному или всем проектам. Это позволяет вручную регулировать, какие исполнители будут выполнять задания. Например, можно выбрать всех исполнителей со значением навыка ниже N и заблокировать им доступ к заданиям. Вы также можете разблокировать доступ.

За хорошее выполнение заданий исполнителям можно выдавать бонусы. Это повышает мотивацию и заставляет исполнителей более внимательно относиться к вашим заданиям. Вы можете начислить бонусы одному или нескольким исполнителям (помимо платы за выполненные задания). Сумма бонуса может составлять от 0,01 до 100 долларов одному исполнителю единовременно.

Ограничение доступа к заданиям исполнителям, которые отвечают слишком быстро. Применяется, чтобы:

• приостанавливать доступ исполнителям, которые отвечают недобросовестно (в этом случае установите время, достаточное для выполнения страницы заданий с помощью случайных ответов);
• обеспечить защиту от роботов (в этом случае времени на выполнение страницы заданий должно быть в 2 раза меньше).

Число исполнителей, которые выполнили хотя бы одну страницу заданий.

В поле Спецификации вы описываете формат входных и выходных данных.

Входные данные — это данные, которые нужны для ваших заданий. Например, ссылки на картинки, которые вы хотите показать исполнителям.

Выходные данные — это данные, которые получаются в результате выполнения заданий. Например, ответы исполнителя на ваши вопросы.

Проверка мнением большинства только некоторых заданий. Это позволяет экономить средства и ускорить выполнение пула.

Количество выполненных страниц заданий (с учетом перекрытия).

Готовый набор критериев для отбора исполнителей. Например, аудитория мобильных пользователей.

Несколько правил контроля качества с настройками по умолчанию.

Динамическое перекрытие позволяет изменять количество исполнителей, которые должны выполнить каждое задание пула в зависимости от того, насколько хорошо исполнители справляются с заданием или насколько согласованы их ответы.

Динамическое ценообразование позволяет дополнительно установить другие цены, которые зависят от навыка исполнителя. Например, чтобы платить больше тем, у кого более высокий навык. Подробнее.

Задание, для которого не указано ни подсказки, ни правильного ответа. Ответы должны будут давать исполнители. Это основные задания, которые вы будете загружать в пул, чтобы отдать исполнителям.

Помимо этого бывают контрольные и обучающие задания.

Число исполнителей, которые начали выполнять хотя бы одну страницу заданий.

Ограничение заработка исполнителя в пуле в течение суток, чтобы получить ответы как можно большего числа исполнителей и обеспечить защиту от роботов.

Инструкция к заданию, которую видит исполнитель при выборе и выполнении задания. От четкости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта. Хорошая инструкция поможет исполнителям правильно выполнить задание.

Интерфейс задания определяет внешний вид задания для исполнителя и логику обработки ответов.

Ограничение доступа к заданиям исполнителям, которые неправильно ввели капчу несколько раз подряд. Это помогает защититься от роботов.

За использование Яндекс.Толоки с заказчика взимается комиссия — процент от стоимости заданий. Она составляет 20%, но не менее 0,005 $.

Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.

Например, вы можете отслеживать процент правильных ответов и блокировать исполнителей, которые отвечают плохо. Для этого используйте правило Контрольные задания.

Помимо контрольных заданий, бывают основные и обучающие задания.

Контроль качества позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из независимых друг от друга правил. Блок контроля качества позволяет установить правила и настроить их. Подробнее.

Способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание.

Оценка качества выполнения заданий исполнителем (число от 0 до 100). Навык может рассчитываться автоматически, например, за правильные ответы на контрольные задания, а также назначаться вручную. Подробнее.

Последняя страница, на которую не хватило нужного количества основных заданий. Формируется, если невыполненных основных заданий осталось меньше минимума. При этом количество контрольных и обучающих заданий должно быть полным.

Задание, которое содержит правильный ответ и подсказку. Если исполнитель ответит неправильно, он увидит подсказку и не сможет перейти к следующей странице заданий, пока не ответит правильно на все задания. При этом в контроле качества и при расчете навыков учитывается только первый ответ на задание.

Обучающие задания можно использовать в бесплатных обучающих пулах, чтобы отбирать исполнителей, прошедших обучение.

Также их можно использовать в обычных пулах в качестве контрольных заданий с подсказками. Например, вы можете отслеживать процент правильных ответов и блокировать исполнителей, которые отвечают плохо. Для этого используйте правило Контрольные задания.

Обучающий пул бесплатных заданий, на которых исполнители могут потренироваться. Обучающие задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.

Чтобы повысить качество результатов, вы можете добавить обучающий пул и отобрать только тех исполнителей, которые успешно прошли обучение. Подробнее.

Параметр настройки пула, который позволяет проверять ответы и при этом не платить за задания, которые исполнители сделали некачественно.

Количество исполнителей, которые должны выполнить каждое задание пула.

Тестовая среда Яндекс.Толоки. В ней вы можете протестировать настройки проекта в качестве исполнителя, а затем перенести их в основную версию Яндекс.Толоки и запустить на реальных исполнителей. Так вы сможете избежать ошибок и потраченных средств, если окажется, что ваше задание не работает.

Задание для выполнения в мобильном приложении, содержащее точку на карте, куда нужно прийти и проверить наличие чего-либо и сфотографировать.

Проект состоит из пулов с заданиями. Настройки проекта определяют интерфейс задания, входные и выходные данные.

Ограничение доступа к заданиям в пуле исполнителям, которые пропускают несколько страниц заданий подряд.

Набор оплачиваемых заданий, которые одновременно выдаются исполнителям.

Разметка позволяет добавлять правильные ответы и подсказки в задания, а также изменять типы заданий. Можно сделать обычное задание контрольным, добавив правильный ответ, или обучающим, указав правильный ответ и подсказку. Разметка заданий доступна только для обучающих пулов и пулов, загруженных при помощи « умного смешивания ».

Подробнее про разметку заданий.

Реабилитационный пул поможет исполнителям, допустившим ошибки, улучшить навык и вернуться к выполнению задания.

Рейтинг исполнителя отражает качество ответов исполнителя на задания. Учитываются ответы на контрольные задания, баны и простой без работы. Рейтинг рассчитывается как средневзвешенное значение за последние несколько недель. Поэтому рейтинг может «внезапно» снижаться или возрастать.

Компании, которые берут на себя запуск и ведение проекта и помогают обработать результат. Эти компании уже внедрили краудсорсинг в свои процессы — их разработки мы считаем одними из лучших.

Страницы с заданиями в пуле распределяются в том же порядке, в котором они были записаны в загрузочном TSV-файле. При этом задания внутри этих страниц произвольно перемешиваются. Подробнее.

Профессионалы, которые помогают создавать и настраивать проекты, размещать задания и многое другое. Они уже прошли тестирование в Яндексе, показали, что разбираются в краудсорсинге, и получили именной электронный сертификат. Об условиях сотрудничества можно узнать напрямую у специалистов.

Количество дней на проверку задания.

На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя.

Навык, который автоматически создается при добавлении первого обучающего пула в проект. Имя навыка — <название проекта> - training. Значение — процент правильных ответов в обучающем пуле. Навык присваивается исполнителю после прохождения обучающего пула.

Тренировочный навык один на весь проект. Если вы создаете новые обучающие пулы, то в них будет использоваться тот же навык.

Умное смешивание случайным образом формирует страницы с заданиями так, чтобы задания не повторялись для каждого исполнителя.

Критерии отбора исполнителей. Например, чтобы отобрать только русскоязычных исполнителей или исполнителей с каким-то навыком.

Фильтры используются в настройках пула, на странице Пользователи и при отправке сообщений группе пользователей. Подробнее.

Шаблон проекта содержит преднастроенные поля входных и выходных данных и интерфейс задания, которые можно редактировать.

Пул контрольных заданий для отбора исполнителей. Назначайте исполнителям навыки в зависимости от правильности ответов и определяйте тех, кто справляется успешнее других.