Toloka

Основные и контрольные задания

Чтобы создать основные и контрольные задания, добавьте в проект пул и определите его параметры, затем загрузите TSV-файл с данными заданий. Статистику выполнения заданий можно отслеживать на странице пула.

Создание пула

Настройки пулов и наборов заданий лучше сначала отладить в песочнице, а затем перенести в боевую версию Толоки (см. Порядок действий).

Чтобы создать пул с основными и контрольными заданиями:

  1. Подготовьте данные для заданий.

    Если в заданиях есть картинки, их нужно разместить в интернете, например, на Яндекс.Диске.

  2. Нажмите кнопку Добавить пул на странице проекта.

  3. Задайте параметры пула, нажмите Сохранить.

  4. Загрузите TSV-файл с заданиями.

    Нажмите кнопку Загрузить на странице пула и выберите способ разделения пула на наборы заданий:

    • По пустой строке.

      Разбейте задания на наборы самостоятельно в TSV-файле. После каждого набора заданий в файле нужно добавить пустую строку.

    • Указать вручную.

      Определите количество заданий в каждом наборе. Наборы будут сформированы из заданий в той последовательности, в которой они приведены в TSV-файле.

    • Умное смешивание.

      Укажите, сколько заданий каждого вида должно быть в наборе. Например, 10 основных и одно контрольное. Задания будут выданы в заданном количестве и без повторов.

    Чтобы проверить внешний вид заданий, нажмите кнопку Предпросмотр.

Чтобы отправить задания на выполнение, нажмите кнопку на странице пула.

Параметры пула

Параметр

Описание

Название пула

Название и описание пула (доступны только заказчику).

Описание

Обучение

Название пула с обучающими заданиями.

Уровень прохождения

Доля правильных ответов в обучающих заданиях (от 0 до 100), необходимая для допуска к основным заданиям. Для подсчета используются первые ответы пользователя в заданиях.

Цена за задание

Плата за набор заданий в долларах США. Для центов используйте точку («.») в качестве разделителя. Минимальная цена составляет $0.01.

Время на задание

Время на выполнение набора заданий в секундах. Невыполненные задания перераспределяются другим пользователям.

Рекомендуется выделять на задание не менее 60 секунд (с учетом времени на загрузку страницы, отправку ответов).

Перекрытие

Количество пользователей, которые должны выполнить каждое задание пула.

Срок годности

Дата закрытия пула. Пул закроется в указанный срок, даже если задания не выполнены.

Контент для взрослых

Наличие порно-контента в заданиях. Задания пула с порно-контентом раздаются только пользователям, которые готовы их выполнять.

Если вы не проверяли задания на наличие порно-контента, выберите значение «Есть».

Только для мобильных

Задания доступны для выполнения только в интерфейсе для мобильных. В десктопной версии пользователь увидит их в списке заданий.

Сохранять порядок заданий

Выдавать задания в том порядке, в котором они приведены в TSV-файле. Если в пуле установлено перекрытие, следующее задание выдается только после того, как предыдущее задание выполнено нужным количеством пользователей. Например, можно упорядочить задания в файле по приоритету, чтобы более важные задания были выполнены быстрее с нужным перекрытием.

По умолчанию задания выдаются в случайном порядке.

Частота показа капчи

Частота показа капчи:

  • «Нет» — не показывать капчу.

  • «Низкая» — показывать капчу каждые 20 заданий.

  • «Средняя»/ «Высокая» — показывать капчу каждые 10 заданий.

Чтобы использовать капчу для отбора пользователей, настройте блок контроля качества. Например:

Отложенная приемка

Проверить выполненные задания вручную.

Дедлайн

Количество дней на приемку заданий (максимум — 21) .

Требования к пользователям

Настройки отбора пользователей: фильтры и блоки контроля качества.

TSV-файл с заданиями

Данные для заданий загружаются в Толоку в TSV-файле. Образец файла для вашего проекта можно скачать по ссылке Пример загрузочного файла (tsv) на странице пула.

Каждая строка содержит данные одного задания. Для разделения заданий на наборы можно (но не обязательно) использовать пустую строку (способы разделить пул на наборы заданий приведены выше).

Заголовки столбцов:

Чтобы самостоятельно сформировать наборы заданий, добавьте пустую строку после заданий каждого набора. Если наборы будут формироваться автоматически (опция «умное смешивание» при загрузке заданий), пустую строку добавлять не нужно.

В примере файл содержит два набора заданий. Данные для задания: URL картинки и URL веб-страницы (столбцы INPUT) и правильные ответы (столбец GOLDEN:result).

Дополнительные поля для заданий, которые выбираются на карте
Если пользователь выбирает задания на карте, добавьте координаты центра этой карты в столбцах:
  • Al:latitude — широта.

  • Al:longitude — долгота.

Координаты должны совпадать у всех заданий в наборе.

Правила заполнения TSV-файла:

  • Названия полей должны совпадать по регистру с идентификаторами входных данных.

  • URL нужно указывать с префиксом www или http://.

  • Кавычки в строках должны быть парными.

  • В поле можно включать несколько абзацев и строки с табуляцией. Для этого текст надо заключить в кавычки.

Максимальный размер файла — 100 Мб.

Статистика по пулу

Отслеживать выполнение заданий можно на странице пула (см. таблицу). Вы также можете получать уведомления о завершении пула на электронную почту. Нажмите Редактировать профиль в профиле заказчика и выберите опции Включить уведомления и Дублировать уведомления по электронной почте.

Поле

Описание

Наборов заданий

Число наборов заданий в пуле.

Заданий

Число заданий в пуле.

Обучающих заданий

Число обучающих заданий в пуле.

Контрол. заданий

Число контрольных заданий.

Среднее время выполнения задания

Среднее время выполнения задания (или набора заданий) в пуле.

Приблизительное время завершения

Ожидаемое время выполнения заданий в днях и часах. Рассчитывается исходя из среднего времени на одно задание.

Формула: ,

где:

 — число невыполненных или выполненных в недостаточном перекрытии заданий.

 — среднее время на одно задание (вычисляется исходя из времени, которое прошло с момента открытия пула, и числа выполненных заданий).

Израсходовано денег (+надбавка)

Сумма потраченных средств (без учета заданий на отложенной приемке). В скобках указана сумма надбавки.

Приблизительный бюджет(+надбавка

Сумма израсходованных средств и ожидаемых затрат (если все задания будут выполнены и одобрены). В скобках указана сумма надбавки.

Активные пользователи, для кого доступны задания

Число пользователей, отобранных для пула с помощью фильтров и по готовности выполнять задания с «взрослым контентом». Учитываются только пользователи, которые просматривали и выполняли задания в Толоке в течение последнего месяца.

Заинтересованные пользователи

Число пользователей, которые взяли хотя бы одно задание.

Взявшиеся пользователи

Число пользователей, которые выполнили хотя бы одно задание.

Выполненных заданий на 1-го пользователя

Среднее количество выполненных заданий (в том числе отклоненных заказчиком) на одного пользователя.

Просроченных заданий

Число заданий, у которых истек срок выполнения.

Пропущено

Число заданий, пропущенных пользователями.