Toloka

Порядок действий

Чтобы запустить задания в Толоке, сначала нужно создать и отладить их в тестовой среде — песочнице. Если все настройки работают корректно, можно перенести их в боевую версию Толоки и запустить раздачу заданий пользователям.

Чтобы запустить задания и получить ответы:

  1. Зарегистрируйтесь в песочнице как заказчик и настройте задания:

    1. Создайте проект и пул из нескольких заданий.

    2. Настройте блоки контроля качества, отбор пользователей и отложенную приемку заданий.

  2. Попробуйте выполнить свои задания в песочнице в качестве пользователя:

    1. Создайте пользовательские аккаунты (см. инструкцию в документации для пользователей).

    2. Зайдите в песочницу с логином заказчика и перейдите по ссылке Добавить доверенных пользователей на странице Работники.

    3. Нажмите кнопку Добавить пользователя и введите логины созданных аккаунтов.

      Только доверенные пользователи получат доступ к вашим заданиям.

    4. Проверьте задания в песочнице с логином доверенного пользователя. Убедитесь, что кнопки и валидация ответов настроены правильно, оцените время на выполнение задания. Проверьте, как работает отбор пользователей и контроль качества.

  3. Зарегистрируйтесь в боевой версии и пополните бюджет на вашем счете в Толоке.

  4. Перенесите проект, пул и настройки в боевую версию Толоки.

    1. Добавьте OAuth-токен из боевой версии в песочницу на странице профиля (вкладка Интеграция с внешними сервисами).

    2. Перейдите на страницу проекта в песочнице и нажмите кнопку РедактироватьЭкспортировать.

    3. Выберите пулы для экспорта.

      При выборе пула с основными заданиями автоматически экспортируется пул с обучающими заданиями (если они связаны в настройках).

  5. Загрузите задания в TSV-файле в боевую версию и запустите пул.

    Перед запуском всех заданий отправьте на выполнение небольшой пробный пул. Пробный пул может содержать от 10 до 100 заданий. Запустите пул, получите ответы и проанализируйте их. Если ответы неудовлетворительные, попробуйте установить причину. Возможно, вам необходимо отредактировать инструкцию, добавить задания для обучения и пр.

    После запуска заданий в течение первого часа наблюдайте за поступающими сообщениями пользователей. Обычно пользователи быстро реагируют на неполадки и задают вопросы, если что-то идет не так.

  6. Когда задания будут выполнены, скачайте полученные ответы.

  7. Проверьте ответы, если при создании пула вы настроили отложенную приемку.

Советы по составлению заданий

Чтобы получить более точные ответы, продумайте структуру и формулировку заданий, настройки для сбора ответов:

Составьте максимально простые задания, которые содержат один вопрос (или несколько вопросов одного типа).

Это поможет сократить количество ошибок, так как пользователи лучше справляются с короткими однотипными заданиями. Например, вам нужно найти сведения о товарах: название, производитель, цена, фотография, описание. Для каждого из этих пунктов лучше создать отдельный проект.

Напишите инструкцию.

Инструкция по выполнению заданий должна быть:

  • Полной.

    Опишите все случаи, с которыми может столкнуться пользователь.

  • Лаконичной.

    Используйте краткие формулировки и простые предложения.

  • Структурированной.

    Дайте пошаговые указания (если возможно). Используйте списки и форматирование, чтобы облегчить восприятие текста.

  • Наглядной.

    Приведите примеры. Добавьте в них изображения (если они есть в заданиях). Например, если в задании нужно оценить качество изображения, включите в инструкцию картинки хорошего и плохого качества. Если нужно определить тип одежды на картинке, опишите возможные варианты в инструкции и проиллюстрируйте текст изображениями.

Если вы используете отложенную приемку, в инструкции необходимо коротко и однозначно перечислить критерии приемки.

Выделите достаточное время на выполнение задания.

Спешка снижает качество ответов, поэтому время на выполнение задания нужно устанавливать с запасом.

Составьте задания для обучения.

Предложите пользователям пройти обучающие задания перед тем, как приступать к основному пулу. Включите в задания для обучения спорные случаи.

Выберите подходящий способ контроля качества.

Если задание содержит простой вопрос c вариантами ответа и выполняется довольно быстро (1-10 минут), лучше запустить задания с перекрытием и использовать проверку мнением большинства, контрольный набор, капчу и ограничение быстрых ответов.

Если в задании нет четких вариантов ответа (например, требуется создание или перевод текста, транскрибирование аудиозаписей), можно использовать следующие способы проверки:

Выдавайте бонусы
За хорошее выполнение заданий пользователям можно выдавать бонусы. Это повышает мотивацию и заставляет пользователей более внимательно относиться к вашим заданиям.
Поддерживайте контакт с пользователями
Адекватное общение с пользователями делает их более заинтересованными, а вам позволяет оперативно находить проблемы в заданиях. Отвечайте на вопросы в личных сообщениях и на форуме.