Создание проекта
Если у вас уже есть проект и вы хотите создать такой же, клонируйте существующий проект. Если нет, создайте новый проект.
Новый проект
Проект определяет, как будет выглядеть задание у исполнителя. Чтобы результаты были лучше, составляйте максимально простые задания, а сложные задания разделяйте на несколько проектов.
Чтобы создать проект, воспользуйтесь инструкцией или посмотрите обучающее видео:
Выберите шаблон:
Нажмите кнопку Создать проект на странице Проекты.
Выберите шаблон. Шаблон содержит преднастроенные поля входных и выходных данных и интерфейс задания, которые вы можете редактировать.
Если подходящего шаблона нет, выберите пустой шаблон.
Заполните общую информацию:
Введите Название и Описание. Их увидят исполнители в списке доступных заданий.
- По желанию добавьте Приватный комментарий.
Отредактируйте интерфейс задания:
Добавьте поля для входных и выходных данных в блоке Спецификация данных.
Напишите инструкцию для исполнителей:
Напишите инструкцию к заданию для исполнителей. Вы можете подготовить инструкцию в формате HTML и вставить её в редактор. Чтобы переключиться в режим HTML, нажмите <>.
Нажмите кнопку Завершить.
Нажмите кнопку Создать проект на странице Проекты.
Выберите шаблон. Шаблон содержит преднастроенные поля входных и выходных данных и интерфейс задания, которые вы можете редактировать.
Если подходящего шаблона нет, выберите пустой шаблон.
Введите Название и Описание. Их увидят исполнители в списке доступных заданий.
Напишите инструкцию к заданию для исполнителей.
Добавьте поля для входных и выходных данных в блоке Спецификации.
В поле Выбор задания укажите способ, которым исполнитель будет выбирать задания:
- Случайный
-
Используйте этот способ для обычных пулов заданий, которые исполнители будут видеть в виде списка на главной странице Толоки.
Когда исполнитель выберет пул (для исполнителя он называется Задание), страницы заданий исполнителю будут выдаваться автоматически. Он не сможет выбрать конкретное задание из вашего пула, но сможет пропустить задание, если оно ему не подойдет. При этом вы сможете отсеивать таких исполнителей с помощью правил контроля качества.
- На карте (для полевых заданий)
Используйте этот способ для пулов с пешеходными (полевыми) заданиями, которые исполнители будут выбирать на карте. Такие задания доступны исполнителям только с мобильных устройств.
Для этого способа укажите, как заполнять поля Название и Описание. Исполнители увидят их при просмотре точки на карте перед выбором задания.Для вставки полей входных данных используйте JavaScript.
Пример заполнения полейНазвание
{{inputParams["name"]}}
Описание
{{inputParams['address-ru']}}| Время работы: {{inputParams[office-time'].label || '—'}}
Чтобы увидеть, как будет выглядеть задание, нажмите кнопку Предпросмотр.
Сохраните проект.
После создания проекта добавьте в него пул заданий. Также вы можете настроить контроль качества в проекте.
Клонирование проекта
Список уже созданных проектов доступен на странице Проекты. Откройте страницу проекта, чтобы посмотреть список пулов, рейтинг проекта и статистику по проекту.
Чтобы клонировать проект, нажмите кнопку в списке проектов или на странице проекта.
Если необходимо изменить параметры проекта, откройте режим редактирования.
Что дальше
- Узнайте больше про настройку проекта:
Решение проблем
- Сортировка изображений, на которых есть объект.
- Создайте задание, используя шаблон «Категоризация изображений».
- Отсортируйте изображения, на которых есть искомый объект.
- Покажите изображение исполнителю и задайте вопрос: есть объект на картинке? Ответ — Да/Нет.
- Выделение объекта на изображениях.
- Выделите объект на изображениях, которые отобрали в предыдущем проекте. Такой проект у вас уже есть. Задание запускается с отложенной приемкой.
- Используйте правила контроля качества: быстрые ответы, отложенная приемка, дооценка после приёмки. Описание правил и примеры.
- Проверка выделения объектов.
- Создайте задание, используя шаблон по выделению областей.
- Скройте редактор и задайте вопрос: объект выделен верно? Ответ — Да/Нет.
- Во входных данных передайте картинки и координаты размеченных областей из предыдущего задания.
Чтобы не допускать к проверке тех пользователей, которые работали над вторым проектом, назначайте им навык. Используйте этот навык в качестве фильтра в пулах третьего проекта.
- Выделите произвольную область на картинке (например, поставьте квадрат в правый верхний угол). В этом случае в инструкции к проекту для проверяющих это тоже должно быть отражено.
- Предложите пропустить задание и сообщить о нём в личном сообщении. Сообщения проверяются заказчиком и, если объекта действительно нет, задание удаляется из пула путем обнуления перекрытия.
- Добавьте в интерфейс дополнительный чекбокс «нет объекта». Настройте в JS проверку, чтобы в задании был выделен объект, либо проставлен чекбокс. В этом случае в интерфейс задания для контроля также нужно добавить информацию о значении этого чекбокса.
- Для поля входных данных, куда вы передаете ссылку на файл, в проекте указан тип «строка».
- В компоненте в шаблоне задания используется выражение proxy.
- Формат относительных ссылок в TSV-файле с заданиями указан верно: <уникальное имя>/<путь и имя файла>.
- Используйте шаблон изображений «Бок-о-бок».
- В TSV файле укажите ссылки на сравниваемые картинки.
- В файле создайте задания, в которых все картинки будут попарно сравниваться:
Картинка 1 и Картинка 2
Картинка 1 и Картинка 3
- Картинка 2 и Картинка 3
- Обработайте результаты.
- Создать проект из пустого шаблона.
- Напишите свой вопрос в блоке HTML.
- Если ответ должен быть развёрнутый, то добавьте нужное количество компонентов для ввода текста.
- Если ответ должен быть коротким, то добавьте нужное количество компонентов для ввода строки.
- Для каждого из компонентов придумайте своё название (name) и создайте соответствующее количество выходных полей с типом строка с таким же названием. В них будут записываться ответы.
- Сделайте все выходные поля обязательными.
- Входное поле сделайте техническим. Оно будет использоваться только для создания TSV-файла с заданиями.
- Придумайте название входному полю и укажите для него тип строка, как это сделано в пошаговом руководстве по созданию опроса.
Если в вашем задании много объектов разного типа для выделения, то его стоит декомпозировать. Например, в одном проекте предложить пользователям выделить только цифры, во втором — дверные проёмы и окна, в третьем — стены, в четвёртом — сантехнику.
Чем проще получится задание, тем оно будет дешевле, и тем качественнее будет итоговый результат. Устанавливайте стоимость разметки одного класса объектов на фото примерно 0,01 $
Используйте шаблон Выделение областей на изображении. Через редактор из этого шаблона можно добавить выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).
Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в шаблоне «Поиск данных в сети».
Количество заданий зависит от сложности и длительности выполнения. Не делайте страницы заданий слишком большими: они неудобны для исполнителей (например, при сбоях в соединении с интернетом) и не пользуются спросом.
Такое задание можно сделать на основе шаблона по классификации. Покажите картинку с товаром и задайте вопрос: подходит ли товар к запросу? Для ответов добавьте два радиобаттона: «да» и «нет».
Можно сделать выделение + выпадающий список с выбором категории. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).
Координаты относительно самого изображения.
Для замыкания используйте горячую клавишу C.
Вы также можете воспользоваться библиотекой, чтобы настроить горячие клавиши под свои задачи.
onKey: function(key) {
var el = this.getDOMElement().querySelector(".image-annotation-editor__shape-polygon");
if (key === 'D') {
el.click();
el.classList.add('image-annotation-editor__shape_active')
}
Для краудсорсинга такое задание лучше декомпозировать. Чем проще задание, тем оно будет дешевле и качественнее итоговый результат. Стоимость разметки одного класса объектов на фото может составить примерно 0.01$.
Возьмите за основу шаблон «Выделение областей на изображении». Пошаговое руководство по созданию проекта такого типа вы найдёте на этой странице.
Редактор, который используется в шаблоне, позволяет добавлять выпадающий список для маркировки выделенного объекта. Посмотрите как это сделать в описании редактора (вкладка Выпадающий список).
В стандартном шаблоне с редактором для выделения областей не получится использовать контрольные задания, поскольку для того, чтобы ответ засчитался системой верным, объект, выделенный пользователем, должен в точности совпасть с эталоном. А это практически невозможно. Поэтому поле GOLDEN можно оставить пустым в файле с заданиями или просто удалить все столбцы кроме INPUT.
Использование тренировочных пулов в проекте по выделению областей на картинке не принесет результата, т.к. для правильного ответа необходимо чтобы выделение пользователя полностью совпало с эталоном. А это практически невозможно.
Поэтому такие задания обычно запускаются с отложенной приемкой: исполнитель дает ответ, а затем после проверки, задание отклоняется или принимается.
Для предварительного отбора пользователей подойдет так называемое «экзаменационное задание». Проверяйте задания и выставляйте навык по проценту принятых ответов. Для этого добавьте в пул правило «Результаты проверки». Чтобы к разметке основного пула приступили только хорошие исполнители, поставьте в нем фильтр по навыку.
Также вы можете изменить проект так, чтобы пользователь видел сразу 3 картинки и выбирал одну из них.
Задание по классификации текстов можно представить как текст и радиобаттоны. Либо текст и чекбоксы, если тематик несколько.
Рекомендуем взять за основу шаблон «Категоризация текста с дополнительными опциями».
Также вы можете создать свой собственный интерфейс. Все доступные инструменты описаны в Руководстве заказчика.
Вы можете посмотреть, как реализованы шаблоны в разделе «Расшифровка» — выходным полем из них является строка. В шаблоне «Расшифровка с фото» можно посмотреть, как описать текстовые входные поля. Обратите внимание на то, что если впоследствии вы захотите использовать агрегацию по методу Дэвида — Скина, то необходимо указать допустимые значения.
Для Толоки задачу нужно декомпозировать. Задание на 30 минут для одного человека со всеми фразами лучше разбить на отдельные фразы и предложить разным исполнителям. Шаблон для создания задания такого типа не потребует от пользователя установки отдельного диктофона.
Возьмите наше пошаговое описание создания задания по записи фраз на диктофон.
Во входных данных можно передать фразу, которую должен произнести исполнитель (включить навигацию), и скорость речи (normal speed). Эти данные вам и нужно будет записать в TSV-файл. О создании файла и его структуре можно прочитать в Руководстве.
В предпросмотре по умолчанию 4 задания на странице. Их количество для вашего проекта можно будет указать при загрузке файла с заданиями. Подробнее о предпросмотре.
Например, если вам нужно, чтобы один человек произнес одну и ту же фразу 10 раз, сделайте на странице 10 заданий. Стоимость указывается за целую страницу. Определить, сколько человек должно произнести ту или иную фразу, можно с помощью перекрытия в пуле. Кстати, не забудьте о фильтрах в пуле, чтобы отобрать только исполнителей, владеющих русским языком и выдать задание на мобильном: клиент = мобильная Толока.
Вы можете поручить проверку записанных фраз другим исполнителям, создав отдельный проект. Как это сделать кратко описано здесь.
В опросе имеется техническое входное поле. В него можно передать любую информацию — она не будет видна исполнителям.
Загрузите одно задание и в перекрытии укажите количество человек, которое хотите опросить.
Чтобы при нажатии на кнопку загрузки картинки запускалась камера, а не галерея, укажите в компоненте Кнопка для загрузки картинки camera=true
.
В мобильных приложениях исполнители могут прикреплять фотографии из дефолтной галереи (iOS) или через Google photo (Android). Чтобы ограничить возможность добавления картинок из сети, укажите в компоненте requiredCoordinates=true
. В этом случае система не позволит воспользоваться картинками без геотегов.