Термины и определения

TSV-файл с заданиями

TSV (tab-separated values) — это текстовый формат файла, в котором данные разделены знаком табуляции, а строки — знаком перевода строки.

Активные исполнители

Исполнители, которые просматривали или выполняли задания в течение последнего часа, а также соответствующие фильтрам, указанным в настройках пула. Это количество исполнителей, которым доступно ваше задание сейчас, если оно опубликовано.

Архивный пул

Пул, отправленный в архив. Такой пул недоступен для запуска и редактирования, а также для выполнения отложенной приемки. Пул автоматически архивируется, если в течение месяца в нем не совершались никакие действия.

Блокировка исполнителя

Вы можете закрыть доступ исполнителю к одному или всем проектам. Это позволяет вручную регулировать, какие исполнители будут выполнять задания. Например, можно выбрать всех исполнителей со значением навыка ниже N и заблокировать им доступ к заданиям. Вы также можете разблокировать доступ.

Бонус

За хорошее выполнение заданий исполнителям можно выдавать бонусы. Это повышает мотивацию и заставляет исполнителей более внимательно относиться к вашим заданиям. Вы можете начислить бонусы одному или нескольким исполнителям (помимо платы за выполненные задания). Сумма бонуса может составлять от 0,01 до 100 долларов одному исполнителю единовременно.

Быстрые ответы

Ограничение доступа к заданиям исполнителям, которые отвечают слишком быстро. Применяется, чтобы:

  • приостанавливать доступ исполнителям, которые отвечают недобросовестно (в этом случае установите время, достаточное для выполнения страницы заданий с помощью случайных ответов);
  • обеспечить защиту от роботов (в этом случае времени на выполнение страницы заданий должно быть в 2 раза меньше).
Быстрые ответы и

Число исполнителей, которые выполнили хотя бы одну страницу заданий.

Входные и выходные данные

Входные данные — это исходные данные для заданий. Например, ссылки на картинки, которые будут просматривать исполнители.

Выходные данные получаются в результате выполнения заданий. Например, ответы исполнителя на ваши вопросы.

Выборочная проверка мнением большинства

Проверка мнением большинства только некоторых заданий. Это позволяет экономить средства и ускорить выполнение пула.

Выполненные задания (правило контроля качества)

Количество выполненных страниц заданий (с учетом перекрытия).

Готовые наборы аудиторий (фильтров)

Готовый набор критериев для отбора исполнителей. Например, аудитория мобильных пользователей.

Готовые наборы защиты

Несколько правил контроля качества с настройками по умолчанию.

Динамическое перекрытие

Динамическое перекрытие позволяет изменять количество исполнителей, которые должны выполнить каждое задание пула в зависимости от того, насколько хорошо исполнители справляются с заданием или насколько согласованы их ответы.

Динамическое ценообразование

Динамическое ценообразование позволяет дополнительно установить другие цены, которые зависят от навыка исполнителя. Например, чтобы платить больше тем, у кого более высокий навык. Подробнее.

Задание (Основное задание)

Задание, для которого не указано ни подсказки, ни правильного ответа. Ответы должны будут давать исполнители. Это основные задания, которые вы будете загружать в пул, чтобы отдать исполнителям.

Помимо этого бывают контрольные и обучающие задания.

Заинтересованные пользователи

Число исполнителей, которые начали выполнять хотя бы одну страницу заданий.

Заработок (правило контроля качества)

Ограничение заработка исполнителя в пуле в течение суток, чтобы получить ответы как можно большего числа исполнителей и обеспечить защиту от роботов.

Инструкция

Инструкция к заданию, которую видит исполнитель при выборе и выполнении задания. От четкости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта. Хорошая инструкция поможет исполнителям правильно выполнить задание.

Интерфейс задания

Интерфейс задания определяет внешний вид задания для исполнителя и логику обработки ответов.

Капча (правило контроля качества)

Ограничение доступа к заданиям исполнителям, которые неправильно ввели капчу несколько раз подряд. Это помогает защититься от роботов.

Комиссия

За использование Яндекс.Толоки с заказчика взимается комиссия — процент от стоимости заданий. Она составляет 20%, но не менее 0,005 $.

Контрольное задание

Задание, которое содержит правильный ответ. Контрольные задания нужны, чтобы следить за качеством ответов исполнителя.

Например, вы можете отслеживать процент правильных ответов и блокировать исполнителей, которые отвечают плохо. Для этого используйте правило Контрольные задания.

Примечание.
  • Добавляйте не менее 1% контрольных заданий в пул.
  • Составляйте контрольные задания таким образом, чтобы разные варианты правильных ответов встречались с одинаковой частотой. Подробнее.

Помимо контрольных заданий, бывают основные и обучающие задания.

Контроль качества

Контроль качества позволяет получать более точные ответы и ограничивать доступ к заданиям недобросовестным исполнителям. Контроль качества состоит из независимых друг от друга правил. Блок контроля качества позволяет установить правила и настроить их. Подробнее.

Мнение большинства (правило контроля качества)

Способ контроля качества, основанный на совпадении ответов большинства исполнителей, выполняющих одно и то же задание.

Навык

Оценка качества выполнения заданий исполнителем (число от 0 до 100). Навык может рассчитываться автоматически, например, за правильные ответы на контрольные задания, а также назначаться вручную. Подробнее.

Обучающее задание

Задание, которое содержит правильный ответ и подсказку. Если исполнитель ответит неправильно, он увидит подсказку и не сможет перейти к следующей странице заданий, пока не ответит правильно на все задания. При этом в контроле качества и при расчете навыков учитывается только первый ответ на задание.

Обучающие задания можно использовать в бесплатных обучающих пулах, чтобы отбирать исполнителей, прошедших обучение.

Также их можно использовать в обычных пулах в качестве контрольных заданий с подсказками. Например, вы можете отслеживать процент правильных ответов и блокировать исполнителей, которые отвечают плохо. Для этого используйте правило Контрольные задания.

Обучение

Обучающий пул бесплатных заданий, на которых исполнители могут потренироваться. Обучающие задания содержат правильный ответ и подсказку, которая будет показана, если исполнитель дал неверный ответ.

Чтобы повысить качество результатов, вы можете добавить обучающий пул и отобрать только тех исполнителей, которые успешно прошли обучение. Подробнее.

Отложенная приемка

Параметр настройки пула, который позволяет проверять ответы и при этом не платить за задания, которые исполнители сделали некачественно.

Перекрытие

Количество исполнителей, которые должны выполнить каждое задание пула.

Песочница

Тестовая среда Яндекс.Толоки. В ней вы можете протестировать настройки проекта в качестве исполнителя, а затем перенести их в основную версию Яндекс.Толоки и запустить на реальных исполнителей. Так вы сможете избежать ошибок и потраченных средств, если окажется, что ваше задание не работает.

Повторное выполнение заданий после блокировки исполнителя (правило контроля качества)
Правило, настройка которого позволит отправлять задания на повторное выполнение другим исполнителям, если:Повторно будут отправлены все задания, сделанные исполнителем в пуле. Будут выданы только задания заблокированных исполнителей, но не исполнителей, чей доступ временно приостановлен.
Полевое задание

Задание для выполнения в мобильном приложении, содержащее точку на карте, куда нужно прийти и проверить наличие чего-либо и сфотографировать.

Правило контроля качества
Независимые правила, из которых состоит контроль качества. Блок контроля качества позволяет установить правила и настроить их.
Проект

Проект состоит из пулов с заданиями. Настройки проекта определяют интерфейс задания, входные и выходные данные.

Пропуск заданий (правило контроля качества)

Ограничение доступа к заданиям в пуле исполнителям, которые пропускают несколько страниц заданий подряд.

Пул

Набор оплачиваемых заданий, которые одновременно выдаются исполнителям.

Разметка заданий

Разметка позволяет добавлять правильные ответы и подсказки в задания, а также изменять типы заданий. Можно сделать обычное задание контрольным, добавив правильный ответ, или обучающим, указав правильный ответ и подсказку. Разметка заданий доступна только для обучающих пулов и пулов, загруженных при помощи « умного смешивания ».

Подробнее про разметку заданий.

Реабилитационный пул

Реабилитационный пул поможет исполнителям, допустившим ошибки, улучшить навык и вернуться к выполнению задания.

Рейтинг исполнителя

Рейтинг исполнителя отражает качество ответов исполнителя на задания. Учитываются ответы на контрольные задания, баны и простой без работы. Рейтинг рассчитывается как средневзвешенное значение за последние несколько недель. Поэтому рейтинг может «внезапно» снижаться или возрастать.

Сертифицированные партнеры

Компании, которые берут на себя запуск и ведение проекта и помогают обработать результат. Эти компании уже внедрили краудсорсинг в свои процессы — их разработки мы считаем одними из лучших.

Специалисты по краудсорсингу

Профессионалы, которые помогают создавать и настраивать проекты, размещать задания и многое другое. Они уже прошли тестирование в Яндексе, показали, что разбираются в краудсорсинге, и получили именной электронный сертификат. Об условиях сотрудничества можно узнать напрямую у специалистов.

Срок проверки

Количество дней на проверку задания.

Страница заданий

На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя.

Тренировочный навык

Навык, который автоматически создается при добавлении первого обучающего пула в проект. Имя навыка — <название проекта> - training. Значение — процент правильных ответов в обучающем пуле. Навык присваивается исполнителю после прохождения обучающего пула.

Тренировочный навык один на весь проект. Если вы создаете новые обучающие пулы, то в них будет использоваться тот же навык.

Умное смешивание

Умное смешивание случайным образом формирует страницы с заданиями так, чтобы задания не повторялись для каждого исполнителя.

Фильтры

Критерии отбора исполнителей. Например, чтобы отобрать только русскоязычных исполнителей или исполнителей с каким-то навыком.

Фильтры используются в настройках пула, на странице Пользователи и при отправке сообщений группе пользователей. Подробнее.

Шаблон проекта

Шаблон проекта содержит преднастроенные поля входных и выходных данных и интерфейс задания, которые можно редактировать.

Экзамен

Пул контрольных заданий для отбора исполнителей. Назначайте исполнителям навыки в зависимости от правильности ответов и определяйте тех, кто справляется успешнее других.