Вопросы о шаблонах

Если вы ищете ответ на конкретный вопрос, используйте комбинацию клавиш Ctrl+F для поиска по странице (в macOS — Cmd+F).

  1. Выбор шаблона
  2. Выделение областей
  3. Полевое задание
  4. Сравнение бок о бок
  5. Опрос

Выбор шаблона

Как классифицировать тексты по смыслам?

Задание по классификации текстов можно представить как текст и радиобаттоны. Либо тест и чекбоксы, если тематик несколько.

Рекомендуем взять за основу шаблон «Категоризация текста с дополнительными опциями».

Также вы можете создать свой собственный интерфейс. Все доступные инструменты описаны в Руководстве заказчика.

Как сделать задание, в котором на входе и выходе текстовые поля?

Вы можете посмотреть, как реализованы шаблоны в разделе «Расшифровка» — выходным полем из них является строка. В шаблоне «Расшифровка с фото» можно посмотреть, как описать текстовые входные поля. Обратите внимание на то, что если впоследствии вы захотите использовать агрегацию по методу Дэвида — Скина, то необходимо указать допустимые значения.

Какой шаблон выбирать, чтобы исполнители отмечали только нерелевантные товары в выдаче?

Такое задание можно сделать на основе шаблона по классификации. Покажите картинку с товаром и задайте вопрос: подходит ли товар к запросу? Для ответов добавьте два радиобаттона: «да» и «нет».

Как разметить элементы на веб страницах?
Сгенерируйте скриншоты страниц и вручную разметьте на них области, используя шаблон «Выделение области на картинке».
У меня есть сложное задание и я хочу понять: как его разбить, чтобы получить качественные результаты?

Если в вашем задании много объектов разного типа для выделения, то его стоит декомпозировать. Например, в одном проекте предложить пользователям выделить только цифры, во втором — дверные проёмы и окна, в третьем — стены, в четвёртом — сантехнику.

Чем проще получится задание, тем оно будет дешевле, и тем качественнее будет итоговый результат. Устанавливайте стоимость разметки одного класса объектов на фото примерно 0,01 $

Используйте шаблон Выделение областей на изображении. Через редактор из этого шаблона можно добавить выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Как добавить валидацию ответа в зависимости от чекбокса?

Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в шаблоне «Поиск данных в сети».

Другой вопрос

Выделение областей

Как в image-annotation добавить горячую клавишу для добавления многоугольника?
Чтобы добавить горячую клавишу, в методе onKey пропишите следующее действие:
onKey: function(key) {
    var el = this.getDOMElement().querySelector(".image-annotation-editor__shape-polygon");

    if (key === 'D') {
      el.click();
      el.classList.add('image-annotation-editor__shape_active')
    }
Как размечать треугольники, чтобы они сами замыкались при выставлении последней точки?

Для замыкания используйте горячую клавишу C.

Вы также можете воспользоваться библиотекой, чтобы настрить горячие клавиши под свои задачи.

Как создать задачу с выделением облается на изображении?
Задачу с выделением областей на изображении с помощью Толоки рекомендуем решать в трёх проектах:
  1. Сортировка изображений, на которых есть объект.
    1. Создайте задание, используя шаблон «Категоризация изображений».
    2. Отсортируйте изображения, на которых есть искомый объект.
    3. Покажите изображение исполнителю и задайте вопрос: есть объект на картинке? Ответ — Да/Нет.
  2. Выделение объекта на изображениях.
    1. Выделите объект на изображениях, которые отобрали в предыдущем проекте. Такой проект у вас уже есть. Задание запускается с отложенной приемкой.
    2. Используйте правила контроля качества: быстрые ответы, отложенная приемка, дооценка после приёмки. Описание правил и примеры.
  3. Проверка выделения объектов.
    1. Создайте задание, используя шаблон по выделению областей.
    2. Скройте редактор и задайте вопрос: объект выделен верно? Ответ — Да/Нет.
    3. Во входных данных передайте картинки и координаты размеченных областей из предыдущего задания.
    Запустив полученный пул с перекрытием 3-5 или с динамическим перекрытием, вы сможете агрегировать результаты, а затем загрузить данные для проверки в проект 2.

    Чтобы не допускать к проверке тех пользователей, которые работали над вторым проектом, назначайте им навык. Используйте этот навык в качестве фильтра в пулах третьего проекта.

Как добавить валидацию ответа в зависимости от чекбокса?

Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в шаблоне «Поиск данных в сети».

Задание по выделению областей на картинке: что делать исполнителю, если на картинке нет предмета, который он должен выделить?
Основные варианты решения:
  • Выделите произвольную область на картинке (например, поставьте квадрат в правый верхний угол). В этом случае в инструкции к проекту для проверяющих это тоже должно быть отражено.
  • Предложите пропустить задание и сообщить о нём в личном сообщении. Сообщения проверяются заказчиком и, если объекта действительно нет, задание удаляется из пула путем обнуления перекрытия.
  • Добавьте в интерфейс дополнительный чекбокс «нет объекта». Настройте в JS проверку, чтобы в задании был выделен объект, либо проставлен чекбокс. В этом случае в интерфейс задания для контроля также нужно добавить информацию о значении этого чекбокса.
Сколько будет стоить 2000 картинок с большим количеством объектов выделения разного типа? Как для такого объема работы создать задание?

Для краудсорсинга такое задание лучше декомпозировать. Чем проще задание, тем оно будет дешевле и качественнее итоговый результат. Стоимость разметки одного класса объектов на фото может составить примерно 0.01$.

Возьмите за основу шаблон «Выделение областей на изображении». Пошаговое руководство по созданию проекта такого типа вы найдёте на этой странице.

Редактор, который используется в шаблоне, позволяет добавлять выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Как реализовать выделение 3-х разных областей на картинке? На скриншоте страницы товара нужно выделить название, изображение, цену.

Можно сделать выделение + выпадающий список с выбором категории. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).

Какие входные данные при разметке объектов на изображении: координаты объекта относительно изображения или координаты объекта в окне пользователя Толоки?

Координаты относительно самого изображения.

Как в стандартном шаблоне с редактором для выделения областей использовать контрольные задания?

В стандартном шаблоне с редактором для выделения областей не получится использовать контрольные задания, поскольку для того, чтобы ответ засчитался системой верным, объект, выделенный пользователем, должен в точности совпасть с эталоном. А это практически невозможно. Поэтому поле GOLDEN можно оставить пустым в файле с заданиями или просто удалить все столбцы кроме INPUT.

Почему в задании по выделению объектов на изображении не отображаются изображения с Яндекс.Диска?
Проблема в шаблоне задания. Проверьте, что:
  • Для поля входных данных, куда вы передаете ссылку на файл, в проекте указан тип «строка».
  • В компоненте в шаблоне задания используется выражение proxy.
  • Формат относительных ссылок в TSV-файле с заданиями указан верно: <уникальное имя>/<путь и имя файла>.
Подробная инструкцию и видео на странице Использование файлов с Яндекс.Диска.
Как в стандартном шаблоне с редактором для выделения областей использовать контрольные и обучающие задания?

В стандартном шаблоне с редактором для выделения областей не получится использовать контрольные задания, поскольку для того, чтобы ответ засчитался системой верным, объект, выделенный пользователем, должен в точности совпасть с эталоном. А это практически невозможно. Поэтому поле GOLDEN можно оставить пустым в файле с заданиями или просто удалить все столбцы кроме INPUT.

Использование тренировочных пулов в проекте по выделению областей на картинке не принесет результата, т.к. для правильного ответа необходимо чтобы выделение пользователя полностью совпало с эталоном. А это практически невозможно.

Поэтому такие задания обычно запускаются с отложенной приемкой: исполнитель дает ответ, а затем после проверки, задание отклоняется или принимается.

Для предварительного отбора пользователей подойдет так называемое «экзаменационное задание». Проверяйте задания и выставляйте навык по проценту принятых ответов. Для этого добавьте в пул правило «Результаты проверки». Чтобы к разметке основного пула приступили только хорошие исполнители, поставьте в нем фильтр по навыку.

Другой вопрос

Полевое задание

Можно ли в полевом задании ограничить источник получения фото только камерой, чтобы исполнитель никак не мог загрузить фото откуда-то ещё?

Чтобы при нажатии на кнопку загрузки картинки запускалась камера, а не галерея, укажите в компоненте Кнопка для загрузки картинки camera=true.

В мобильных приложениях исполнители могут прикреплять фотографии из дефолтной галереи (iOS) или через Google photo (Android). Чтобы ограничить возможность добавления картинок из сети, укажите в компоненте requiredCoordinates=true. В этом случае система не позволит воспользоваться картинками без геотегов.

Подробнее о настройке компонента для загрузки картинки .

Другой вопрос

Сравнение бок о бок

Как сделать задание с выбором из трех вариантов картинок, чтобы картинки попарно сравнивались?
  1. Используйте шаблон изображений «Бок-о-бок».
  2. В TSV файле укажите ссылки на сравниваемые картинки.
  3. В файле создайте задания, в которых все картинки будут попарно сравниваться:
    • Картинка 1 и Картинка 2

    • Картинка 1 и Картинка 3

    • Картинка 2 и Картинка 3
  4. Обработайте результаты.

Также вы можете изменить проект так, чтобы пользователь видел сразу 3 картинки и выбирал одну из них.

Другой вопрос

Опрос

Как сделать опрос из одного вопроса с помощью готового шаблона под опросы?

В опросе имеется техническое входное поле. В него можно передать любую информацию — она не будет видна исполнителям.

Загрузите одно задание и в перекрытии укажите количество человек, которое хотите опросить.

Другой вопрос