Создание проекта

Чтобы создать проект, воспользуйтесь инструкцией или посмотрите обучающее видео:

После создания проекта добавьте в него пул заданий. Также вы можете настроить контроль качества в проекте.

Список уже созданных проектов доступен на странице Проекты. Откройте страницу проекта, чтобы посмотреть список пулов, рейтинг проекта и статистику по проекту.

Чтобы клонировать проект, нажмите кнопку в списке проектов или Действия над проектом → Клонировать на странице проекта.

Если необходимо изменить параметры проекта, откройте режим редактирования.

• Создайте пул заданий в проекте.
• Узнайте больше про настройку проекта:

  • Написание инструкции.
  • Входные и выходные данные.
  • Интерфейс задания.
  • Адаптировать задание для мобильных устройств.
  • Настройка контроля качества.
  • Статья в блоге Яндекс.Толоки.

Общие настройки заданий

У меня есть сложное задание и я хочу понять: как его разбить, чтобы получить качественные результаты?

Если в вашем задании много объектов разного типа для выделения, то его стоит декомпозировать. Например, в одном проекте предложить пользователям выделить только цифры, во втором — дверные проёмы и окна, в третьем — стены, в четвёртом — сантехнику.

Чем проще получится задание, тем оно будет дешевле, и тем качественнее будет итоговый результат. Устанавливайте стоимость разметки одного класса объектов на фото примерно 0,01 $

Используйте шаблон Выделение областей на изображении. Через редактор из этого шаблона можно добавить выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Как добавить валидацию ответа в зависимости от чекбокса?

Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в шаблоне «Поиск данных в сети».

Сколько заданий должно быть на странице?

Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.

Настройка заданий с картинками

Какой шаблон выбирать, чтобы исполнители отмечали только нерелевантные товары в выдаче?

Такое задание можно сделать на основе шаблона по классификации. Покажите картинку с товаром и задайте вопрос: подходит ли товар к запросу? Для ответов добавьте два радиобаттона: «да» и «нет».

Как разметить элементы на веб-страницах?

Сгенерируйте скриншоты страниц и вручную разметьте на них области, используя шаблон «Выделение области на картинке».

Как создать задачу с выделением областей на изображении?

Задачу с выделением областей на изображении с помощью Толоки рекомендуем решать в трёх проектах:

1. Сортировка изображений, на которых есть объект.

   1. Создайте задание, используя шаблон «Категоризация изображений».
   2. Отсортируйте изображения, на которых есть искомый объект.
   3. Покажите изображение исполнителю и задайте вопрос: есть объект на картинке? Ответ — Да/Нет.
2. Выделение объекта на изображениях.

   1. Выделите объект на изображениях, которые отобрали в предыдущем проекте. Такой проект у вас уже есть. Задание запускается с отложенной приемкой.
   2. Используйте правила контроля качества: быстрые ответы, отложенная приемка, дооценка после приёмки. Описание правил и примеры.
3. Проверка выделения объектов.

   1. Создайте задание, используя шаблон по выделению областей.
   2. Скройте редактор и задайте вопрос: объект выделен верно? Ответ — Да/Нет.
   3. Во входных данных передайте картинки и координаты размеченных областей из предыдущего задания.

   Запустив полученный пул с перекрытием 3-5 или с динамическим перекрытием, вы сможете агрегировать результаты, а затем загрузить данные для проверки в проект 2.

   Чтобы не допускать к проверке тех пользователей, которые работали над вторым проектом, назначайте им навык. Используйте этот навык в качестве фильтра в пулах третьего проекта.

Задание по выделению областей на картинке: что делать исполнителю, если на картинке нет предмета, который он должен выделить?

Основные варианты решения:

• Выделите произвольную область на картинке (например, поставьте квадрат в правый верхний угол). В этом случае в инструкции к проекту для проверяющих это тоже должно быть отражено.
• Предложите пропустить задание и сообщить о нём в личном сообщении. Сообщения проверяются заказчиком и, если объекта действительно нет, задание удаляется из пула путем обнуления перекрытия.
• Добавьте в интерфейс дополнительный чекбокс «нет объекта». Настройте в JS проверку, чтобы в задании был выделен объект, либо проставлен чекбокс. В этом случае в интерфейс задания для контроля также нужно добавить информацию о значении этого чекбокса.

Как реализовать выделение 3-х разных областей на картинке? На скриншоте страницы товара нужно выделить название, изображение, цену.

Можно сделать выделение + выпадающий список с выбором категории. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Какие входные данные при разметке объектов на изображении: координаты объекта относительно изображения или координаты объекта в окне пользователя Толоки?

Координаты относительно самого изображения.

Как размечать треугольники, чтобы они сами замыкались при выставлении последней точки?

Для замыкания используйте горячую клавишу C.

Вы также можете воспользоваться библиотекой, чтобы настроить горячие клавиши под свои задачи.

Как в image-annotation добавить горячую клавишу для добавления многоугольника?

Чтобы добавить горячую клавишу, в методе onKey пропишите следующее действие:

onKey: function(key) {
    var el = this.getDOMElement().querySelector(".image-annotation-editor__shape-polygon");

    if (key === 'D') {
      el.click();
      el.classList.add('image-annotation-editor__shape_active')
    }

Сколько будет стоить 2000 картинок с большим количеством объектов выделения разного типа? Как для такого объема работы создать задание?

Для краудсорсинга такое задание лучше декомпозировать. Чем проще задание, тем оно будет дешевле и качественнее итоговый результат. Стоимость разметки одного класса объектов на фото может составить примерно 0.01$.

Возьмите за основу шаблон «Выделение областей на изображении». Пошаговое руководство по созданию проекта такого типа вы найдёте на этой странице.

Редактор, который используется в шаблоне, позволяет добавлять выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Как в стандартном шаблоне с редактором для выделения областей использовать контрольные и обучающие задания?

В стандартном шаблоне с редактором для выделения областей не получится использовать контрольные задания, поскольку для того, чтобы ответ засчитался системой верным, объект, выделенный пользователем, должен в точности совпасть с эталоном. А это практически невозможно. Поэтому поле GOLDEN можно оставить пустым в файле с заданиями или просто удалить все столбцы кроме INPUT.

Использование тренировочных пулов в проекте по выделению областей на картинке не принесет результата, т.к. для правильного ответа необходимо чтобы выделение пользователя полностью совпало с эталоном. А это практически невозможно.

Поэтому такие задания обычно запускаются с отложенной приемкой: исполнитель дает ответ, а затем после проверки, задание отклоняется или принимается.

Для предварительного отбора пользователей подойдет так называемое «экзаменационное задание». Проверяйте задания и выставляйте навык по проценту принятых ответов. Для этого добавьте в пул правило «Результаты проверки». Чтобы к разметке основного пула приступили только хорошие исполнители, поставьте в нем фильтр по навыку.

Почему в задании по выделению объектов на изображении не отображаются изображения с Яндекс.Диска?

Проблема в шаблоне задания. Проверьте, что:

• Для поля входных данных, куда вы передаете ссылку на файл, в проекте указан тип «строка».
• В компоненте в шаблоне задания используется выражение proxy.
• Формат относительных ссылок в TSV-файле с заданиями указан верно: <уникальное имя>/<путь и имя файла>.

Подробная инструкция и видео на странице Использование файлов с Яндекс.Диска.

Как сделать задание с выбором из трех вариантов картинок, чтобы картинки попарно сравнивались?

1. Используйте шаблон изображений «Бок-о-бок».
2. В TSV файле укажите ссылки на сравниваемые картинки.
3. В файле создайте задания, в которых все картинки будут попарно сравниваться:

   • Картинка 1 и Картинка 2

   • Картинка 1 и Картинка 3

   • Картинка 2 и Картинка 3
4. Обработайте результаты.

Также вы можете изменить проект так, чтобы пользователь видел сразу 3 картинки и выбирал одну из них.

Настройка заданий с текстами

Как классифицировать тексты по смыслам?

Задание по классификации текстов можно представить как текст и радиобаттоны. Либо текст и чекбоксы, если тематик несколько.

Рекомендуем взять за основу шаблон «Категоризация текста с дополнительными опциями».

Также вы можете создать свой собственный интерфейс. Все доступные инструменты описаны в Руководстве заказчика.

Как сделать задание, в котором на входе и выходе текстовые поля?

Вы можете посмотреть, как реализованы шаблоны в разделе «Расшифровка» — выходным полем из них является строка. В шаблоне «Расшифровка с фото» можно посмотреть, как описать текстовые входные поля. Обратите внимание на то, что если впоследствии вы захотите использовать агрегацию по методу Дэвида — Скина, то необходимо указать допустимые значения.

Как в задании записать текст на диктофон одним аудифайлом, чтобы текст надиктовало около 1 тыс. человек?

Для Толоки задачу нужно декомпозировать. Задание на 30 минут для одного человека со всеми фразами лучше разбить на отдельные фразы и предложить разным исполнителям. Шаблон для создания задания такого типа не потребует от пользователя установки отдельного диктофона.

Возьмите наше пошаговое описание создания задания по записи фраз на диктофон.

Во входных данных можно передать фразу, которую должен произнести исполнитель (включить навигацию), и скорость речи (normal speed). Эти данные вам и нужно будет записать в TSV-файл. О создании файла и его структуре можно прочитать в Руководстве.

В предпросмотре по умолчанию 4 задания на странице. Их количество для вашего проекта можно будет указать при загрузке файла с заданиями. Подробнее о предпросмотре.

Например, если вам нужно, чтобы один человек произнес одну и ту же фразу 10 раз, сделайте на странице 10 заданий. Стоимость указывается за целую страницу. Определить, сколько человек должно произнести ту или иную фразу, можно с помощью перекрытия в пуле. Кстати, не забудьте о фильтрах в пуле, чтобы отобрать только исполнителей, владеющих русским языком и выдать задание на мобильном: клиент = мобильная Толока.

Вы можете поручить проверку записанных фраз другим исполнителям, создав отдельный проект. Как это сделать кратко описано здесь.

Как создать простой опрос без вариантов, в котором пользователь сам должен написать свой вариант ответа?

1. Создать проект из пустого шаблона.
2. Напишите свой вопрос в блоке HTML.
3. Если ответ должен быть развёрнутый, то добавьте нужное количество компонентов для ввода текста.
4. Если ответ должен быть коротким, то добавьте нужное количество компонентов для ввода строки.
5. Для каждого из компонентов придумайте своё название (name) и создайте соответствующее количество выходных полей с типом строка с таким же названием. В них будут записываться ответы.
6. Сделайте все выходные поля обязательными.
7. Входное поле сделайте техническим. Оно будет использоваться только для создания TSV-файла с заданиями.
8. Придумайте название входному полю и укажите для него тип строка, как это сделано в пошаговом руководстве по созданию опроса.

Как сделать опрос из одного вопроса с помощью готового шаблона под опросы?

В опросе имеется техническое входное поле. В него можно передать любую информацию — она не будет видна исполнителям.

Загрузите одно задание и в перекрытии укажите количество человек, которое хотите опросить.

Можно ли в полевом задании ограничить источник получения фото только камерой, чтобы исполнитель никак не мог загрузить фото откуда-то ещё?

Чтобы при нажатии на кнопку загрузки картинки запускалась камера, а не галерея, укажите в компоненте Кнопка для загрузки картинки camera=true.

В мобильных приложениях исполнители могут прикреплять фотографии из дефолтной галереи (iOS) или через Google photo (Android). Чтобы ограничить возможность добавления картинок из сети, укажите в компоненте requiredCoordinates=true. В этом случае система не позволит воспользоваться картинками без геотегов.

Подробнее о настройке компонента для загрузки картинки .

Написать в службу поддержки