Термины и определения
- API Яндекс.Толоки
-
API Яндекс.Толоки (application programming interface), программный интерфейс Яндекс.Толоки — это описание способов (набор классов, процедур, функций, структур или констант), которыми сервис Яндекс.Толока может взаимодействовать с другой компьютерной программой и дает возможность создавать задания и получать ответы пользователей (см. документацию).
Запросы к API Яндекс.Толоки выполняются по протоколу HTTPS. Сервис возвращает данные в формате JSON.
- TSV-файл с заданиями
-
TSV (tab-separated values) — это текстовый формат файла, в котором данные разделены знаком табуляции, а строки — знаком перевода строки.
- Активные исполнители
-
Исполнители, которые просматривали или выполняли задания в течение последнего часа, а также соответствующие фильтрам, указанным в настройках пула. Это количество исполнителей, которым доступно ваше задание сейчас, если оно опубликовано.
- Архивный пул
-
Пул, отправленный в архив. Такой пул недоступен для запуска и редактирования, а также для выполнения отложенной приемки. Пул автоматически архивируется, если в течение месяца в нем не совершались никакие действия.
- Блокировка исполнителя
-
Вы можете закрыть доступ исполнителю к одному или всем проектам. Это позволяет вручную регулировать, какие исполнители будут выполнять задания. Например, можно выбрать всех исполнителей со значением навыка ниже N и заблокировать им доступ к заданиям. Вы также можете разблокировать доступ.
- Бонус
-
За хорошее выполнение заданий исполнителям можно выдавать бонусы. Это повышает мотивацию и заставляет исполнителей более внимательно относиться к вашим заданиям. Вы можете начислить бонусы одному или нескольким исполнителям (помимо платы за выполненные задания). Сумма бонуса может составлять от 0,01 до 100 долларов одному исполнителю единовременно.
- Быстрые ответы
-
Ограничение доступа к заданиям исполнителям, которые отвечают слишком быстро. Применяется, чтобы:
- приостанавливать доступ исполнителям, которые отвечают недобросовестно (в этом случае установите время, достаточное для выполнения страницы заданий с помощью случайных ответов);
- обеспечить защиту от роботов (в этом случае времени на выполнение страницы заданий должно быть в 2 раза меньше).
- Взявшиеся пользователи
-
Число исполнителей, которые выполнили хотя бы одну страницу заданий.
- Входные и выходные данные
-
В поле Спецификации вы описываете формат входных и выходных данных.
Входные данные — это данные, которые нужны для ваших заданий. Например, ссылки на картинки, которые вы хотите показать исполнителям.
Выходные данные — это данные, которые получаются в результате выполнения заданий. Например, ответы исполнителя на ваши вопросы.
- Выборочная проверка мнением большинства
-
Проверка мнением большинства только некоторых заданий. Это позволяет экономить средства и ускорить выполнение пула.
- Выполненные задания (правило контроля качества)
-
Количество выполненных страниц заданий (с учетом перекрытия).
- Готовые наборы аудиторий (фильтров)
-
Готовый набор критериев для отбора исполнителей. Например, аудитория мобильных пользователей.
- Готовые наборы защиты
-
Несколько правил контроля качества с настройками по умолчанию.
- Динамическое перекрытие
-
Динамическое перекрытие позволяет изменять количество исполнителей, которые должны выполнить каждое задание пула в зависимости от того, насколько хорошо исполнители справляются с заданием или насколько согласованы их ответы.
- Динамическое ценообразование
-
Динамическое ценообразование позволяет дополнительно установить другие цены, которые зависят от навыка исполнителя. Например, чтобы платить больше тем, у кого более высокий навык. Подробнее.
- Задание (Основное задание)
-
Задание, для которого не указано ни подсказки, ни правильного ответа. Ответы должны будут давать исполнители. Это основные задания, которые вы будете загружать в пул, чтобы отдать исполнителям.
Помимо этого бывают контрольные и обучающие задания.
- Заинтересованные пользователи
-
Число исполнителей, которые начали выполнять хотя бы одну страницу заданий.
- Заработок (правило контроля качества)
-
Ограничение заработка исполнителя в пуле в течение суток, чтобы получить ответы как можно большего числа исполнителей и обеспечить защиту от роботов.
- Инструкция
-
Инструкция к заданию, которую видит исполнитель при выборе и выполнении задания. От четкости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта. Хорошая инструкция поможет исполнителям правильно выполнить задание.
- Интерфейс задания
-
Интерфейс задания определяет внешний вид задания для исполнителя и логику обработки ответов.
- Капча (правило контроля качества)
-
Ограничение доступа к заданиям исполнителям, которые неправильно ввели капчу несколько раз подряд. Это помогает защититься от роботов.
- Комиссия
-
За использование Яндекс.Толоки с заказчика взимается комиссия — процент от стоимости заданий. Она составляет 20%, но не менее 0,005 $.
- Контрольное задание
-
Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.
Например, вы можете отслеживать процент правильных ответов и блокировать исполнителей, которые отвечают плохо. Для этого используйте правило Контрольные задания.
Примечание.- Добавляйте не менее 1% контрольных заданий в пул.
- Составляйте контрольные задания таким образом, чтобы разные варианты правильных ответов встречались с одинаковой частотой. Подробнее.
Помимо контрольных заданий, бывают основные и обучающие задания.
- Контроль качества
-
Контроль качества позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из независимых друг от друга правил. Блок контроля качества позволяет установить правила и настроить их. Подробнее.
- Мнение большинства (правило контроля качества)
-
Способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание.
- Навык
-
Оценка качества выполнения заданий исполнителем (число от 0 до 100). Навык может рассчитываться автоматически, например, за правильные ответы на контрольные задания, а также назначаться вручную. Подробнее.
- Неполная страница
-
Последняя страница, на которую не хватило нужного количества основных заданий. Формируется, если невыполненных основных заданий осталось меньше минимума. При этом количество контрольных и обучающих заданий должно быть полным.
- Обучающее задание
-
Задание, которое содержит правильный ответ и подсказку. Если исполнитель ответит неправильно, он увидит подсказку и не сможет перейти к следующей странице заданий, пока не ответит правильно на все задания. При этом в контроле качества и при расчете навыков учитывается только первый ответ на задание.
Обучающие задания можно использовать в бесплатных обучающих пулах, чтобы отбирать исполнителей, прошедших обучение.
Также их можно использовать в обычных пулах в качестве контрольных заданий с подсказками. Например, вы можете отслеживать процент правильных ответов и блокировать исполнителей, которые отвечают плохо. Для этого используйте правило Контрольные задания.
- Обучение
-
Обучающий пул бесплатных заданий, на которых исполнители могут потренироваться. Обучающие задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.
Чтобы повысить качество результатов, вы можете добавить обучающий пул и отобрать только тех исполнителей, которые успешно прошли обучение. Подробнее.
- Отложенная приемка
-
Параметр настройки пула, который позволяет проверять ответы и при этом не платить за задания, которые исполнители сделали некачественно.
- Перекрытие
-
Количество исполнителей, которые должны выполнить каждое задание пула.
- Песочница
-
Тестовая среда Яндекс.Толоки. В ней вы можете протестировать настройки проекта в качестве исполнителя, а затем перенести их в основную версию Яндекс.Толоки и запустить на реальных исполнителей. Так вы сможете избежать ошибок и потраченных средств, если окажется, что ваше задание не работает.
- Повторное выполнение заданий после блокировки исполнителя (правило контроля качества)
- Правило, настройка которого позволит отправлять задания на повторное выполнение другим исполнителям, если:
- исполнитель заблокирован по одному из правил контроля качества (например, контрольные задания, мнение большинства);
- Полевое задание
-
Задание для выполнения в мобильном приложении, содержащее точку на карте, куда нужно прийти и проверить наличие чего-либо и сфотографировать.
- Правило контроля качества
- Независимые правила, из которых состоит контроль качества. Блок контроля качества позволяет установить правила и настроить их.
- Проект
-
Проект состоит из пулов с заданиями. Настройки проекта определяют интерфейс задания, входные и выходные данные.
- Пропуск заданий (правило контроля качества)
-
Ограничение доступа к заданиям в пуле исполнителям, которые пропускают несколько страниц заданий подряд.
- Пул
-
Набор оплачиваемых заданий, которые одновременно выдаются исполнителям.
- Разметка заданий
-
Разметка позволяет добавлять правильные ответы и подсказки в задания, а также изменять типы заданий. Можно сделать обычное задание контрольным, добавив правильный ответ, или обучающим, указав правильный ответ и подсказку. Разметка заданий доступна только для обучающих пулов и пулов, загруженных при помощи « умного смешивания ».
- Реабилитационный пул
-
Реабилитационный пул поможет исполнителям, допустившим ошибки, улучшить навык и вернуться к выполнению задания.
- Рейтинг исполнителя
-
Рейтинг исполнителя отражает качество ответов исполнителя на задания. Учитываются ответы на контрольные задания, баны и простой без работы. Рейтинг рассчитывается как средневзвешенное значение за последние несколько недель. Поэтому рейтинг может «внезапно» снижаться или возрастать.
- Сертифицированные партнеры
-
Компании, которые берут на себя запуск и ведение проекта и помогают обработать результат. Эти компании уже внедрили краудсорсинг в свои процессы — их разработки мы считаем одними из лучших.
- Сохранение порядка заданий
-
Страницы с заданиями в пуле распределяются в том же порядке, в котором они были записаны в загрузочном TSV-файле. При этом задания внутри этих страниц произвольно перемешиваются. Подробнее.
- Специалисты по краудсорсингу
-
Профессионалы, которые помогают создавать и настраивать проекты, размещать задания и многое другое. Они уже прошли тестирование в Яндексе, показали, что разбираются в краудсорсинге, и получили именной электронный сертификат. Об условиях сотрудничества можно узнать напрямую у специалистов.
- Срок проверки
-
Количество дней на проверку задания.
- Страница заданий
-
На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя.
- Тренировочный навык
-
Навык, который автоматически создается при добавлении первого обучающего пула в проект. Имя навыка —
<название проекта> - training
. Значение — процент правильных ответов в обучающем пуле. Навык присваивается исполнителю после прохождения обучающего пула.Тренировочный навык один на весь проект. Если вы создаете новые обучающие пулы, то в них будет использоваться тот же навык.
- Умное смешивание
-
Умное смешивание случайным образом формирует страницы с заданиями так, чтобы задания не повторялись для каждого исполнителя.
- Фильтры
-
Критерии отбора исполнителей. Например, чтобы отобрать только русскоязычных исполнителей или исполнителей с каким-то навыком.
Фильтры используются в настройках пула, на странице Пользователи и при отправке сообщений группе пользователей. Подробнее.
- Шаблон проекта
-
Шаблон проекта содержит преднастроенные поля входных и выходных данных и интерфейс задания, которые можно редактировать.
- Экзамен
-
Пул контрольных заданий для отбора исполнителей. Назначайте исполнителям навыки в зависимости от правильности ответов и определяйте тех, кто справляется успешнее других.