Проект 3. Похож ли найденный объект на исходный?

В этом проекте исполнители будут сравнивать обувь с исходного изображения (из первого проекта) с обувью, найденной во втором проекте.

Внимание. Так как в настройках пула во втором проекте включена опция Отложенная приёмка вы должны выполнить все шаги и проверить ответы исполнителей в течение срока, установленного в поле Срок проверки.
  1. Создайте проект
  2. Создайте пул
  3. Подготовьте и загрузите TSV-файл с результатами
  4. Скачайте проверенные результаты
  5. Проверьте выполненные задания

Создайте проект

Чтобы создать проект, откройте Яндекс.Толоку для заказчика.

  1. Нажмите кнопку + Создать проект.

  2. Выберите шаблон:

    1. Выберите шаблон Классификация изображений.

    2. Заполните общую информацию:

      1. В поле Название проекта введите Похожа ли обувь?.

      2. В поле Описание введите Посмотрите на две пары обуви и решите, похожи они или нет..

      3. По желанию добавьте Приватный комментарий.

      4. Нажмите кнопку Сохранить.

  3. Подготовьте Интерфейс задания и данные Спецификации:

    Примечание. В этом туториале показано, как создать интерфейс задания в редакторе HTML/JS/CSS. Вы также можете попробовать создать интерфейс задания в Конструкторе шаблонов.

    1. Измените Интерфейс задания: удалите шаблонный код из блока html, в блок html вставьте следующий код:

      {{img src=image height="400px"}}
{{iframe src= found_link height="600px"}}

    <p>Убедитесь, что загруженное изображение соответствует товару из магазина.</p>
   {{button label="Проверьте товар"  href=found_link action=true}}

  <p>Эта <b>обувь</b> похожа?</p>
    <p>Обувь должна быть похожа по цвету, материалу, длине и стилю.</p>
  {{field type="radio" name="result" value="Yes" label="Да"}}
  {{field type="radio" name="result" value="No" label="Нет"}}

      Блок js оставьте без изменений. В блок css вставьте следующий код, отвечающий за установку пропорционального размера изображения.

      .task {
  display: block;
}
.img {
  float: left;
  width: 50%;
}
.iframe {
  float: left;
  width: 50%;
}

    2. Отредактируйте входные и выходные данные в блоке Спецификации: нажмите кнопку , чтобы переключить графический режим на формат JSON, в поле Входные данные введите:

      {
  "image": {
    "type": "url",
    "hidden": false,
    "required": true
  },
  "found_link": {
    "type": "url",
    "hidden": false,
    "required": true
  },

  "assignment_id": {
    "type": "string",
    "hidden": true,
    "required": true
  }
}

      В поле Выходные данные введите:

      {
  "result": {
    "type": "string",
    "hidden": false,
    "required": true
  }
}

      Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.

  4. Нажмите кнопку Предпросмотр.

  5. В открывшемся окне проверьте работу опций задания: ответьте на вопрос, в правом нижнем углу нажмите кнопку Отправить.

    1. Ответьте на вопрос.

    2. В правом нижнем углу нажмите кнопку Отправить.

  6. Выйдите из режима предпросмотра.

    1. В нижнем левом углу нажмите кнопку Выйти.

    2. В открывшемся окне нажмите кнопку Выйти.

  7. В поле Инструкция введите инструкцию.

    1. Текст инструкции:

      Посмотрите на картинки, на которых изображены две пары обуви, и решите, похожи они или нет.

Обувь считается похожей, если она имеет похожий цвет, материал, длину и стиль.
Если вы не видите пару обуви ни на одной из фотографий, нажмите Да.

    2. Нажмите кнопку Завершить.

    Подробнее о работе с проектом читайте в разделе Проект.

Создайте пул

Чтобы создать пул:

  1. Откройте страницу проекта с именем Похожа ли обувь.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Укажите Приватное описание.

    1. Включите опцию Добавить приватное описание.

    2. В поле Приватное описание введите описание пула. Эта информация доступна только вам.

  5. В разделе Цена за страницу заданий в поле Цена в долларах США укажите 0.01. Больше примеров ценообразования можно посмотреть здесь.

  6. В разделе Исполнители отфильтруйте исполнителей.

    1. Нажмите Добавить фильтр.

    2. Найдите в списке блок Профиль исполнителя и выберите навык Языки.

    3. В поле ? укажите =.

    4. Добавьте еще один фильтр. Нажмите Добавить фильтр.

    5. Найдите в списке блок Навыки и выберите навык Выбрать навык.

    6. В поле Выберите навык выберите Found_shoes.

    7. В поле ? укажите =.

    8. Поле Отсутствует оставьте пустым.

  7. В разделе Контроль качества задайте настройки контроля качества для пула:

    1. Нажмите Добавить блок контроля качества.

    2. Найдите в списке блок Правила и выберите пункт Контрольные задания.

    3. Задайте правило для контрольного задания: если количество ответов на контрольные вопросы больше или равно 3 и процент правильных ответов на контрольные вопросы меньше 60, то заблокировать исполнителя на проекте на 10 дней. В качестве причины указать Контрольное задание.

    4. (опционально) Добавьте еще один блок контроля качества. Нажмите Добавить блок контроля качества.

    5. Найдите в списке блок Правила и выберите пункт Быстрые ответы.

    6. В поле Минимальное время на страницу заданий укажите 60.

    7. Задайте правило для быстрых ответов: если количество быстрых ответов больше 1, то заблокировать исполнителя на проекте на 10 дней. В качестве причины указать Быстрые ответы.

    Подробнее о контроле качества читайте в разделе Контроль качества.

  8. В разделе Перекрытие в поле Перекрытие укажите 3.

  9. (опционально) В разделе Соотношение скорость/качество укажите какому проценту пользователей с лучшим рейтингом будет доступен указанный пул. Подробнее об это читайте в разделе Соотношение скорости и качества.

  10. В разделе Параметры:

    1. В поле Время на страницу заданий в секундах укажите 300.

    2. Включите опцию Сохранять порядок заданий.

  11. Нажмите кнопку Сохранить.

Подготовьте и загрузите TSV-файл с результатами

Ознакомьтесь с примером в демонстрационном TSV-файле. Его можно найти на странице пула. В верхней части страницы слева есть ссылки на TSV-файл с обычными, контрольными и обучающими заданиями.

  1. Подождите завершения пула из второго проекта.

  2. Откройте страницу пула из второго проекта.

  3. Нажмите кнопку Скачать результаты.

    1. В блоке Статус оставьте включенной только опцию Не проверенные.

    2. В блоке Поля оставьте включенной только опцию id ответа.

    3. Отключите опцию Разделять ответы пустой строкой.

    4. Нажмите кнопку Скачать результаты.

  4. Подготовьте TSV-файл с заданиями.

    1. Столбец INPUT:image оставьте без изменений.

    2. Измените имя столбца OUTPUT:found_link на INPUT:found_link.

    3. Измените имя столбца ASSIGNMENT:assignment_id на INPUT:assignment_id.

    4. Удалите все остальные столбцы.

    5. Сохраните файл в формате tsv.

  5. Загрузите получившийся TSV-файл в пул Похожа ли обувь?.

    1. Откройте пул Похожа ли обувь?.

    2. Нажмите кнопку Загрузить. В открывшемся окне настройте параметры загрузки файла.

    3. Выберите Умное смешивание.

    4. В поле Основных заданий укажите 9.

    5. В поле Обучающих заданий укажите 0.

    6. В поле Контрольных заданий укажите 1.

    7. Нажмите кнопку Загрузить.

    8. В открывшемся окне выберите TSV-файл с заданиями для загрузки и нажмите кнопку Открыть.

    9. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

  6. Создайте контрольное задание.

    1. Нажмите кнопку Разметить.

      Примечание. Если вместо умного смешивания было выбрано другое, необходимо нажать кнопку Разметить. Если этой кнопки нет, удалите файл и загрузите заново.

    2. В открывшемся окне нажмите кнопку Создать контрольные.

    3. В открывшемся окне в колонке слева включите опцию result.

    4. Выберите правильный ответ на вопрос.

    5. Нажмите кнопку Сохранить и перейти к следующему.

    6. Нажмите Похожа ли обувь?, чтобы выйти из режима разметки заданий.

    Примечание.

    В небольших пулах контрольные задания должны составлять 10-20% от всех заданий. Включайте разные варианты правильных ответов в равных количествах. Посмотрите распределение ответов на странице Разметить задания на вкладке Контрольные.

Скачайте проверенные результаты

Чтобы получить результаты:

  1. Рядом с кнопкой Скачать результаты нажмите кнопку .

  2. Выберите пункт списка Агрегация результатов по методу Дэвида — Скина. Подробнее об Агрегации результатов по методу Дэвида — Скина.

  3. В открывшемся окне нажмите Да.

  4. Наверху страницы нажмите Перейти к списку операций.

    Примечание.

    Отслеживайте прогресс операции, периодически обновляя страницу. Агрегация занимает от 5 до 20 минут, в это время вы можете приступить к оформлению другого проекта.

  5. Когда операция завершится, скачайте TSV-файл с результатами. Для этого в столбце Файлы нажмите Скачать.

  6. Используйте TSV-файл с результатами из второго проекта.

Проверьте выполненные задания

Вы можете проверить результаты двумя способами:

  • В TSV-файле с результатами.
  • В интерфейсе пула.
Проверить задания в TSV-файле с результатами

Чтобы проверить выполненные задания:

  1. Откройте в редакторе текста или электронных таблиц TSV-файл, полученный после агрегации результатов.

  2. Подготовьте TSV-файл:

    1. Добавьте столбец ACCEPT:verdict — результат проверки.

    2. Добавьте столбец ACCEPT:comment — комментарий для исполнителя, если ответ был отклонен. Например, какая часть инструкций не была выполнена.

    3. Измените имя столбца INPUT:assignment_id на ASSIGNMENT:assignment_id.

  3. Заполните столбцы ACCEPT:verdict: и ACCEPT:comment::

    • Если агрегированный результат задания правильный, поставьте +, и задание будет принято.
    • Если агрегированный результат задания неправильный или не открывается, поставьте -, и задание будет отклонено. Введите причину отклонения задания в поле ACCEPT:comment:, например, Предоставленный объект неправильный или не открывается..

  4. Удалите все остальные столбцы.

  5. Сохраните файл в формате tsv.

  6. Откройте страницу пула во втором проекте.

  7. Нажмите кнопку Проверить задания.

  8. Нажмите кнопку Загрузить результаты.

  9. В открывшемся окне выберите TSV-файл с результатами для загрузки и нажмите кнопку Открыть.

  10. В открывшемся окне сравните количество заданий в поле успешно обработано с полем Всего выполненных заданий на странице пула.

  11. Нажмите кнопку Добавить.

  12. В открывшемся окне нажмите кнопку Закрыть.

  13. При настройке пула во втором проекте вы включили опцию Повторное выполнение отклонённых заданий.

    При повторном выполнении задания: пул автоматически открывается снова, и задания передаются другим исполнителям. Когда задания будут выполнены, отправьте результаты на проверку. Затем скачайте результаты, проверьте их и загрузите проверенные результаты. Вы можете отклонять задания столько раз, сколько захотите, чтобы получить более точные результаты.

Проверить задания в интерфейсе пула

Чтобы проверить выполненные задания:

  1. Откройте страницу пула во втором проекте.

  2. Нажмите кнопку Просмотреть задания.

  3. Наведите курсор на строку с заданием, которое хотите проверить.

  4. В столбце Статус появятся кнопки, чтобы принять (кнопка ) или отклонить (кнопка ) выполненное задание. Если вы отклоняете задание, в открывшемся окне введите комментарий и нажмите кнопку Готово.

Что дальше

  • Создайте Проект 4 для сравнения подходящих изображений.