Проект 1. Содержит ли изображение определенный объект

В этом проекте вы опросите исполнителей на наличие дорожных знаков на фотографии.

  1. Создайте проект
  2. Создайте пул
  3. Загрузите TSV-файл с заданиями
  4. Получите результаты

Создайте проект

Выберите шаблон
  1. Нажмите кнопку + Создать проект.

  2. В открывшемся окне найдите шаблон Классификация изображений и нажмите кнопку Выбрать.

Заполните общую информацию
  1. В поле Название для исполнителей введите Есть ли на фотографии дорожные знаки?.

  2. В поле Описание для исполнителей введите Посмотрите на картинку и скажите, есть ли на ней дорожные знаки.

  3. Нажмите кнопку Сохранить.
Отредактируйте интерфейс задания
Примечание. В этом туториале показано, как создать интерфейс задания в редакторе HTML/JS/CSS. Вы также можете попробовать создать интерфейс задания в Конструкторе шаблонов.

В блоке Интерфейс задания настройте отображение элементов управления в блоке html:

  1. Удалите строку, которая отвечает за поле like:

    {{field type="checkbox" name="like" label="I like the photo?" hotkey="q"}}
  2. После строки с изображением введите вопрос:

    <div>Есть ли на картинке <b>дорожные знаки</b>?<div>
  3. Измените надписи на вариантах ответа: ХорошееДа, ПлохоеНет:

    {{img src=image width="100%" height="400px"}}
    <div>Есть ли на картинке <b>дорожные знаки</b>?<div>
    
    {{field type="radio" name="result" value="OK" label="Да" hotkey="1"}}
    {{field type="radio" name="result" value="BAD" label="Нет" hotkey="2"}}
    {{field type="radio" name="result" value="404" label="Ошибка загрузки" hotkey="3"}}
  4. Блоки js и css оставьте без изменений.

  5. Настройте Спецификации. Удалите поле like:

    1. Наведите курсор на поле и нажмите кнопку .

    2. Нажмите кнопку Удалить.

    Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.

  6. Нажмите кнопку Сохранить.

В правом верхнем углу вкладки нажмите кнопку для предварительного просмотра.

Совет.

Если в режиме предпросмотра задание не отображается, отключите расширения, дополнения и блокировщики рекламы в браузере.

В открывшемся окне проверьте работу опций задания:

  1. Ответьте на вопрос.

  2. В правом нижнем углу нажмите кнопку Отправить.

Выйдите из режима предпросмотра:

  1. В нижнем левом углу нажмите кнопку Выйти.

  2. В открывшемся списке нажмите кнопку Выйти.

Напишите инструкцию для исполнителей

В блоке Инструкция для исполнителей введите инструкцию и добавьте изображение. Чтобы добавить изображение, нажмите кнопку и укажите ссылку на изображение, которое вы хотите использовать в качестве примера.

Текст инструкции:

Посмотрите на изображение и определите, есть ли на нем дорожные знаки?
Если да, нажмите Да.
Если нет, нажмите Нет.
Например, на изображении есть дорожные знаки, поэтому правильный ответ Да.

Нажмите кнопку Сохранить.

В правом верхнем углу нажмите кнопку Завершить

Подробнее о работе с проектом читайте в разделе Проект.

Создайте пул

  1. Откройте страницу проекта с именем Есть ли на фотографии дорожные знаки?.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Укажите приватное описание:

    1. Включите опцию Добавить приватное описание.

    2. В поле Приватное описание введите описание пула. Эта информация доступна только вам.

  5. В разделе Цена за страницу заданий в поле Цена в долларах США укажите цену. Например, 0.01. Больше примеров ценообразования можно посмотреть здесь.

  6. В разделе Исполнители отфильтруйте исполнителей по языку:

    1. Нажмите Добавить фильтр.

    2. Найдите в списке блок Готовые наборы аудиторий и выберите навык Русскоязычные исполнители.

  7. В разделе Контроль качества задайте настройки контроля качества для пула:

    1. Нажмите Добавить блок контроля качества.

    2. Найдите в списке блок Правила и выберите пункт Контрольные задания.

    3. Задайте правило для контрольного задания: если количество ответов на контрольные вопросы ≥ 3 и процент правильных ответов на контрольные вопросы < 60, то заблокировать исполнителя на проекте на 10 дней. В качестве причины укажите Контрольное задание.

      Подробнее о контроле качества читайте в разделе Контроль качества.

  8. В разделе Перекрытие в поле Перекрытие укажите 3.

  9. (опционально) В разделе Соотношение скорость/качество укажите, какому проценту пользователей с лучшим рейтингом будет доступен указанный пул. Подробнее об этом читайте в разделе Соотношение скорости и качества.

  10. В разделе Параметры в поле Время на страницу заданий в секундах укажите 600.

  11. Нажмите кнопку Сохранить.

Загрузите TSV-файл с заданиями

Подготовьте собственный файл с заданиями или используйте демонстрационный TSV-файл. Его также можно найти на странице пула. В верхней части страницы слева есть ссылки на TSV-файл с обычными, контрольными и обучающими заданиями.

  1. На странице пула нажмите кнопку Загрузить. В открывшемся окне также можно скачать пример TSV-файла по ссылке Пример загрузочного файла.

  2. В открывшемся окне настройте параметры загрузки файла:

    1. Выберите Умное смешивание.

    2. В поле Основных заданий укажите 9.

    3. В поле Обучающих заданий укажите 0.

    4. В поле Контрольных заданий укажите 1.

    5. Нажмите кнопку Загрузить.

    6. В открывшемся окне выберите TSV-файл с заданиями для загрузки и нажмите кнопку Открыть.

    7. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

  3. Создайте контрольное задание:

    1. Нажмите кнопку Разметить.

      Примечание. Если вместо умного смешивания было выбрано другое, необходимо нажать кнопку Разметить. Если этой кнопки нет, удалите файл и загрузите заново.
    2. В открывшемся окне нажмите кнопку Создать контрольные.

    3. В открывшемся окне в разделе Создать контрольное задание слева включите опцию result.

    4. Выберите правильный ответ на вопрос.

    5. Нажмите кнопку Сохранить и перейти к следующему.

    6. Нажмите Есть ли на фотографии дорожные знаки?, чтобы выйти из режима разметки заданий.

    Примечание.

    В небольших пулах контрольные задания должны составлять 10-20% от всех заданий. Включайте разные варианты правильных ответов в равных количествах. Посмотрите распределение ответов на странице Разметить задания на вкладке Контрольные.

  4. Нажмите кнопку , чтобы запустить пул.

    Внимание.

    Поставленные задачи выполнят настоящие исполнители Толоки. Перепроверьте конфигурацию вашего проекта перед запуском пула.

Получите результаты

  1. Рядом с кнопкой Скачать результаты нажмите кнопку .

  2. Выберите пункт списка Агрегация результатов по методу Дэвида — Скина. Подробнее об Агрегации результатов по методу Дэвида — Скина.

  3. В открывшемся окне нажмите Да.

  4. Наверху страницы нажмите Перейти к списку операций.

    Примечание.

    Отслеживайте прогресс операции, периодически обновляя страницу. Агрегация занимает от 5 до 20 минут, в это время вы можете приступить к оформлению другого проекта.

  5. Когда операция завершится, скачайте TSV-файл с результатами. Для этого в столбцеc Файлы нажмите Скачать.

  6. Используйте TSV-файл с результатами во втором проекте.

Что дальше

  • Создайте Проект 2 для выделения объектов.