Проект 3. Верно ли выделены объекты на изображении

В этом проекте исполнители будут определять, верно ли на изображениях из первого проекта были выделены дорожные знаки во втором проекте
  1. Создайте проект
  2. Создайте пул
  3. Подготовьте и загрузите TSV-файл с результатами
  4. Скачайте проверенные результаты
  5. Проверьте выполненные задания
.

Создайте проект

  1. Откройте Яндекс.Толоку для заказчика.

  2. Нажмите кнопку + Создать проект.

  3. В открывшемся окне найдите шаблон Категоризация изображений и нажмите кнопку Выбрать.

  4. В открывшемся окне заполните параметры проекта:

    1. В поле Название проекта введите Верно ли выделены дорожные знаки?.

    2. В поле Описание введите Посмотрите на изображение и решите, верно ли выделены дорожные знаки.

    3. В поле Инструкция введите инструкцию.

      Текст инструкции:

      Посмотрите на изображение и ответьте на вопрос: Все ли дорожные знаки выделены верно?
Если да, нажмите Да.
Если нет, нажмите Нет.
Например, дорожные знаки выделены верно, поэтому правильный ответ Да.
      Совет. Если вы хотите добавить в инструкцию примеры выполнения задания, выполните его самостоятельно в режиме предпросмотра. Сделайте скриншоты, загрузите их на фотохостинг или ваш Яндекс.Диск и вставьте ссылки на изображения в инструкцию, нажав кнопку на панели инструментов.

  5. Настройте Спецификации:

    1. Нажмите кнопку , чтобы переключить графический режим на формат JSON.

    2. Удалите шаблонный код из полей Входные данные и Выходные данные.

    3. В поле Входные данные введите следующий код:

      {
  "image": {
    "type": "url",
    "hidden": false,
    "required": true
  },
  "selection": {
    "type": "json",
    "hidden": false,
    "required": false
  },
  "assignment_id": {
    "type": "string",
    "hidden": true,
    "required": true
  }
}

    4. В поле Выходные данные введите следующий код:

      {
  "result": {
    "type": "string",
    "hidden": false,
    "required": true
  }
}

    Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.

  6. Подготовьте Интерфейс задания:

    1. В блоке html замените следующий код:

      {{field type="image-annotation" name="result" src=image}}

      на

      {{field type="image-annotation" name="object" annotations=selection src=image}}
    2. В блоке html введите код кнопок с вариантами ответа:
      
  {{field type="radio" name="result" value="OK" label="Верно" hotkey="1"}}
  {{field type="radio" name="result" value="BAD" label="Неверно" hotkey="2"}}

      Блок js оставьте без изменений.

    3. Чтобы удалить инструмент выделения области, в блок css введите следующий код:
      .image-annotation-editor__shape-polygon {
  display: none;
}

    4. В блоке css введите код для настройки высоты интерфейса по размеру изображения:

      .image-annotation-editor__annotation-layer {
  height: max-content;
}

  7. Нажмите кнопку Предпросмотр.

  8. В открывшемся окне проверьте работу опций задания:

    1. Ответьте на вопрос.

    2. В правом нижнем углу нажмите кнопку Отправить.

  9. Выйдите из режима предпросмотра:

    1. В нижнем левом углу нажмите кнопку Выйти.

    2. В открывшемся списке нажмите кнопку Выйти.

  10. В открывшемся окне нажмите кнопку Завершить редактирование.

Подробнее о работе с проектом читайте в разделе Проект.

Создайте пул

  1. Откройте страницу проекта с именем Верно ли выделены дорожные знаки?.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Укажите приватное описание.

    1. Включите опцию Добавить приватное описание.

    2. В поле Приватное описание введите описание пула. Эта информация доступна только вам.

  5. В разделе Цена за страницу заданий в поле Цена в долларах США укажите цену. Например, 0.01.

  6. В разделе Исполнители отфильтруйте исполнителей:

    1. Нажмите Добавить фильтр.

    2. Найдите в списке блок Готовые наборы аудиторий и выберите навык Русскоязычные исполнители.

    3. Добавьте еще один фильтр. Нажмите Добавить фильтр.

    4. Найдите в списке блок Навыки и выберите навык Выбрать навык.

    5. В поле Выберите навык выберите Выделение областей.

    6. В поле ? укажите =.

    7. Поле Отсутствует оставьте пустым.

  7. В разделе Контроль качества задайте настройки контроля качества для пула:

    1. Нажмите Добавить блок контроля качества.

    2. Найдите в списке блок Правила и выберите пункт Мнение большинства.

    3. В поле Считать большинством укажите 2.

    4. Задайте правило: если количество ответов ≥ 10 и процент правильных ответов < 50, то заблокировать исполнителя на проекте на 10 дней. В качестве причины укажите Не совпадает с большинством.

      Примечание.

      Правило начинает действовать, когда количество ответов на задание равно перекрытию.

    Подробнее о контроле качества читайте в разделе Контроль качества.

  8. В разделе Перекрытие в поле Перекрытие укажите 3.

  9. (опционально) В разделе Соотношение скорость/качество укажите, какому проценту пользователей с лучшим рейтингом будет доступен указанный пул. Подробнее об это читайте в разделе Соотношение скорости и качества.

  10. В разделе Параметры:

    1. В поле Время на страницу заданий в секундах укажите 600.

    2. Включите опцию Сохранять порядок заданий.

  11. Нажмите кнопку Сохранить.

Подготовьте и загрузите TSV-файл с результатами

  1. Подготовьте TSV-файл с заданиями:

    1. Столбец INPUT:image оставьте без изменений.

    2. Измените имя столбца OUTPUT:result на INPUT:selection.

    3. Измените имя столбца ASSIGNMENT:assignment_id на INPUT:assignment_id.

    4. Удалите все остальные столбы.

    5. Сохраните файл в формате tsv.

    Совет.

    Вы можете подготовить TSV-файл в программе Блокнот. Чтобы перенести данные в Microsoft Excel, используйте Мастер импорта текста, отключив опцию Ограничитель текста.

  2. Загрузите получившийся TSV-файл в пул Верно ли выделены дорожные знаки? :

    1. Откройте пул Верно ли выделены дорожные знаки?

    2. Нажмите кнопку Загрузить. В открывшемся окне настройте параметры загрузки файла.

    3. Выберите Указать вручную.

    4. В поле Заданий на странице укажите 10.

    5. Нажмите кнопку Загрузить.

    6. В открывшемся окне выберите TSV-файл с заданиями для загрузки и нажмите кнопку Открыть.

    7. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

    8. На странице пула нажмите кнопку Предпросмотр. Убедитесь, что в задании отображаются изображения с выделенными объектами.
      Совет.

      Если выделенных объектов нет, проверьте, правильно ли выставлены кавычи в TSV-файле в столбце INPUT:selection. Убедитесь, что параметры интерфейса заданы верно.

  3. Нажмите кнопку , чтобы запустить пул.

    Внимание.

    Поставленные задачи выполнят настоящие исполнители Толоки. Перепроверьте конфигурацию вашего проекта перед запуском пула.

Скачайте проверенные результаты

  1. Рядом с кнопкой Скачать результаты нажмите кнопку .

  2. Выберите из списка пункт Агрегация результатов по методу Дэвида-Скина. Подробнее об Агрегации результатов по методу Дэвида—Скина.

  3. В открывшемся окне нажмите Да.

  4. Наверху страницы нажмите Перейти к списку операций.

    Примечание.

    Отслеживайте прогресс операции, периодически обновляя страницу. Агрегация занимает от 5 до 20 минут, в это время вы можете приступить к оформлению другого проекта.

  5. Когда операция завершится, скачайте TSV-файл с результатами. Для этого в столбце Файлы нажмите Скачать.

  6. Используйте TSV-файл с результатами во втором проекте.

Проверьте выполненные задания

Так как в настройках пула во втором проекте включена опция Отложенная приёмка, вы должны проверить ответы исполнителей в течение срока, установленного в поле Срок проверки.

Вы можете проверить результаты двумя способами:

  • В TSV-файле с результатами.
  • В интерфейсе пула.

  1. Откройте в редакторе текста или электронных таблиц TSV-файл, полученный после агрегации результатов.

    Совет. Вы можете воспользоваться онлайн-редактором электронных таблиц. Перейдите на Яндекс.Диск, подключенный к вашему аккаунту заказчика. Нажмите Создать → Таблицу. Скопируйте в таблицу агрегированные данные из TSV-файла.

  2. Подготовьте TSV-файл:

    1. Добавьте столбец ACCEPT:verdict — результат проверки.

    2. Добавьте столбец ACCEPT:comment — комментарий для исполнителя, если ответ был отклонен. Например, какая часть инструкций не была выполнена.

    3. Измените имя столбца INPUT:assignment_id на ASSIGNMENT:assignment_id.

  3. Заполните столбцы ACCEPT:verdict: и ACCEPT:comment::

    • Если агрегированный результат задания правильный, поставьте +, и задание будет принято.
    • Если агрегированный результат задания неправильный или не открывается, поставьте -, и задание будет отклонено. Введите причину отклонения задания в поле ACCEPT:comment:, например, Объект не выделен или выделен неверно.
    Совет. Для отбора изображений на устройствах с Linux и MacOS вы можете воспользоваться командами awk:
    awk 'BEGIN {FS=OFS="\t";} NR>1 {if($4~"OK"){ print $1, "+", ""; }else{ print $1, "-", "Объект не выделен или выделен неверно.";}}' <post_accept_res>.tsv > <review_res>.tsv

  4. Удалите все остальные столбцы.

  5. Сохраните файл в формате tsv.

  6. Откройте страницу пула во втором проекте.

  7. Нажмите кнопку Проверить задания.

  8. Нажмите кнопку Загрузить результаты.

  9. В открывшемся окне выберите TSV-файл с результатами для загрузки и нажмите кнопку Открыть.

  10. В открывшемся окне сравните количество заданий в поле Успешно обработано с полем Всего выполненных заданий на странице пула.

  11. Нажмите кнопку Добавить.

  12. В открывшемся окне нажмите кнопку Закрыть.

  13. При настройке пула во втором проекте вы включили опцию Повторное выполнение отклонённых заданий.

    При повторном выполнении задания пул автоматически открывается снова, и задания передаются другим исполнителям. Когда задания будут выполнены, отправьте результаты на проверку. Затем скачайте результаты, проверьте их и загрузите проверенные результаты. Вы можете отклонять задания столько раз, сколько захотите, чтобы получить более точные результаты.