Проект 2. Выделить объект на изображении

В этом проекте исполнители будут выделять области изображений, содержащие дорожный знак. В качестве исходных изображений используйте результаты из первого проекта.

  1. Создайте проект
  2. Создайте пул
  3. Подготовьте и загрузите TSV-файл с заданиями
  4. Получите результаты

Создайте проект

  1. Нажмите кнопку + Создать проект.

  2. В открывшемся окне найдите шаблон Выделение областей на изображении и нажмите кнопку Выбрать.

  3. В открывшемся окне заполните параметры проекта:

    1. В поле Название проекта введите Обведите дорожные знаки на изображении.

    2. В поле Описание введите Обведите прямоугольником все дорожные знаки на изображении.

    3. В поле Инструкция введите инструкцию.

      Текст инструкции:

      Нажмите кнопку  и обведите прямоугольником все дорожные знаки на изображении.
      Совет.

      Если вы хотите добавить в инструкцию примеры выполнения задания, выполните его самостоятельно в режиме предпросмотра. Сделайте скриншоты, загрузите их на фотохостинг или ваш Яндекс.Диск и вставьте ссылки на изображения в инструкцию, нажав кнопку на панели инструментов.

  4. В разделе Спецификации можно настроить поля входных и выходных данных.

    Что такое входные и выходные данные?

    Входные данные — это данные, которые нужны для ваших заданий. Например, ссылки на картинки, которые вы хотите показать исполнителям.

    Выходные данные — это данные, которые получаются в результате выполнения заданий. Например, ответы исполнителя на ваши вопросы.

    Подробнее о полях входных и выходных данных.

    В этом проекте вы можете оставить Спецификации без изменений.

  5. Подготовьте Интерфейс задания. Блок html оставьте без изменений.

    1. (опционально) Вы можете попросить исполнителей ввести аннотацию к выделенной области или выбрать ее из списка. Для этого в блоке js добавьте элемент интерфейса. Например, текстовое поле или выпадающий список.

      Подробнее об аннотации.

    2. Отредактируйте блок css:

      Настройте инструменты выделения области. В этом шаблоне используется Редактор для выделения области. Для него доступны инструменты прямоугольник и многоугольник (по умолчанию).

      Чтобы настроить выделение прямоугольником, замените код в блоке css на указанный:
      .image-annotation-editor__shape-polygon { 
      display: none;
      }
    3. Введите код для настройки высоты интерфейса по размеру изображения:

      .image-annotation-editor__annotation-layer { 
      height: max-content;
      }
  6. Нажмите кнопку Предпросмотр.

    Совет.

    Если в режиме предпросмотра задание не отображается, отключите расширения, дополнения и блокировщики рекламы в браузере.

  7. В открывшемся окне проверьте работу опций задания:

    1. Ответьте на вопрос.

    2. В правом нижнем углу нажмите кнопку Отправить.

  8. Выйдите из режима предпросмотра:

    1. В нижнем левом углу нажмите кнопку Выйти.

    2. В открывшемся списке нажмите кнопку Выйти.

  9. В открывшемся окне нажмите кнопку Завершить редактирование.

Подробнее о работе с проектом читайте в разделе Проект.

Создайте пул

Пул — это набор оплачиваемых заданий, которые одновременно выдаются исполнителям.

  1. Откройте страницу проекта Обведите все дорожные знаки на картинке.

  2. Нажмите кнопку Добавить пул.

  3. Укажите Название пула.

  4. (опционально) Укажите приватное описание:

    1. Включите опцию Добавить приватное описание.

    2. В поле Приватное описание введите описание пула. Эта информация доступна только вам.

  5. В разделе Цена за страницу заданий в поле Цена в долларах США укажите цену. Например, 0.01.

    Что такое страница заданий?

    На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя.

    Исполнитель получит оплату, только если выполнил все задания на странице.

    Количество заданий на странице вы определите при загрузке заданий.

    Как определить справедливую цену?

    Общее правило формирования цены — чем больше времени исполнитель тратит на выполнение, тем выше цена.

    Вы можете зарегистрироваться в Яндекс.Толоке как исполнитель и узнать, сколько платят другие заказчики за задания.

  6. В разделе Исполнители отфильтруйте исполнителей:

    1. Нажмите Добавить фильтр.

    2. Найдите в списке блок Готовые наборы аудиторий и выберите навык Русскоязычные исполнители.

    3. Добавьте новый навык. Нажмите кнопку Создать навык.

    4. В открывшемся окне в поле Название введите Выделение областей.

    5. Нажмите кнопку Добавить.

  7. Правила контроля качества позволяют отсеивать невнимательных исполнителей. В разделе Контроль качества задайте правила для пула:

    1. Включите опцию Отложенная приёмка.

      Что такое отложенная приемка?

      Отложенная приемка позволяет вам просматривать выполненные задания перед тем, как принять их и заплатить исполнителю. Задания, выполненные в несоответствии с инструкцией, можно отклонять. Максимальный срок проверки устанавливается в поле Срок проверки.

      В поле Срок проверки укажите количество дней на проверку задания.

    2. Добавьте следующие блоки контроля качества:
      • Обработка отклоненных и принятых заданий — отправляет отклоненные вами задания другм исполнителям по заданным правилам.

        1. Нажмите Добавить блок контроля качества.

        2. Найдите в списке блок Правила и выберите пункт Обработка отклоненных и принятых заданий.

        3. Задайте правило для отклоненного задания: если задание становится отклоненным, то увеличить перекрытие на 1. А также включите опцию Открыть пул, если закрыт.

          Это означает, что отклоненное задание будет возвращено в пул и показано еще одному исполнителю.

      • Выполненные задания — позволяет ограничить количество заданий, которое доступно исполнителю в пуле за сутки.

        1. Нажмите Добавить блок контроля качества.

        2. Найдите в списке блок Правила и выберите пункт Выполненные задания.

        3. Задайте правило для выполненного задания: если отправленных страниц заданий ≥ 1, то установить значение навыка Выделение областей равным 1.

          Такие параметры позволят отметить исполнителя, выполнившего хотя бы одно задание в пуле.

          Совет.

          Если навык Выделение областей не отображается в списке, сохраните пул и откройте его заново для редактирования.

      • Быстрые ответы — отсеивает исполнителей, которые отвечат слишком быстро.

        1. Нажмите Добавить блок контроля качества.

        2. Найдите в списке блок Правила и выберите пункт Быстрые ответы.

        3. В поле Сколько последних зачений учитывать введите количество последних страниц заданий, выполненных исполнителем. Например, 5.
        4. В поле Минимальное время на страницу заданий укажите время в секундах. Например, 20.
        5. Задайте правило для быстрого ответа: если количество быстрых ответов≥ 1, то заблокировать у меня на 10 дней.В поле Причина введите Быстрые ответы.

          Это означает, что если исполнитель выполнит хотя бы одну страницу заданий быстрее чем за 20 секунд, он будет заблокирован и не сможет больше выполнять ваши задания 10 дней.

      • Результаты проверки — ограничивает доступ к пулу исполнителей, которые часто ошибаются.

        1. Нажмите Добавить блок контроля качества.

        2. Найдите в списке блок Правила и выберите пункт Результаты проверки.

        3. Задайте правило для отклоненного задания: если количество проверенных ответов ≥ 3 и процент отклоненных ответов > 35 то заблокировать у меня на 15 дней.

          Это означает, что если 35% и более ответов исполнителя будут отклонены, он будет заблокирован и не сможет больше выполнять ваши задания 15 дней. Правило начинает действовать после проверки 3 ответов исполнителя.

    Контрольные задания и мнение большинства не используются для такого типа проектов, так как разметка областей, предоставленная исполнителями, должна совпадать (что практически невозможно). Подробнее о контроле качества читайте в разделе Контроль качества.

    Примечание.

    Вы можете скопировать настройки контроля качества из другого пула. Для этого в разделе Исполнители нажмите кнопку Скопировать настройки из....

  8. Установите перекрытие — количество исполнителей, которые должны выполнить задание. В разделе Перекрытие укажите значение поля Перекрытие. Для заданий выделения области на картинках, как правило, 1.

  9. (опционально) В разделе Соотношение скорость/качество укажите, какому проценту пользователей с лучшим рейтингом будет доступен указанный пул. Подробнее об этом читайте в разделе Соотношение скорости и качества.

  10. В разделе Параметры укажите значение поля Время на страницу заданий в секундах. Времени должно быть достаточно, в том числе для чтения инструкции и загрузки задания. Например, 1200 секунд.
  11. Нажмите кнопку Сохранить.

Подготовьте и загрузите TSV-файл с заданиями

Что такое TSV?
TSV-файл — это представление электронной таблицы в виде текстового файла, в котором столбцы разделены знаком табуляции.
Вы можете работать с ним как в редакторе электронных таблиц, так и в текстовом редакторе, а затем сохранить в нужный формат. Подробнее о работе с TSV-файлом.
Примечание. Перед загрузкой файла убедитесь, что он сохранен в кодировке UTF-8.
  1. Подготовьте TSV-файл с заданиями:

    1. Откройте в редакторе текста или электронных таблиц файл, полученный после агрегации результатов в первом проекте.

    2. Выберите изображения, подходящие для текущего проекта (значение OK).

      Совет. Для отбора изображений на устройствах с Linux и MacOS вы можете воспользоваться командами awk:
      awk 'BEGIN {OFS = FS = "\t";} $2=/OK/ {print $1}' <aggregated_res>.tsv > <filtered_res>.tsv
    3. Скопируйте столбец с выделенными ссылками на новый лист или в новый документ.

    4. Задайте имя столбца INPUT:image. Если вы хотите задать другое имя, переименуйте столбец и в исходном файле с результатами.

    5. Сохраните файл в формате tsv.

  2. Загрузите получившийся TSV-файл:

    1. Нажмите кнопку Загрузить. В открывшемся окне настройте параметры загрузки файла.

    2. Выберите Указать вручную.

    3. В поле Заданий на странице укажите 1.

    4. Нажмите кнопку Загрузить.

    5. В открывшемся окне выберите TSV-файл с заданиями для загрузки и нажмите кнопку Открыть.

    6. В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.

  3. Нажмите кнопку , чтобы запустить пул.

    Внимание.

    Поставленные задачи выполнят настоящие исполнители Толоки. Перепроверьте конфигурацию вашего проекта перед запуском пула.

Получите результаты

  1. На странице пула нажмите кнопку Скачать результаты. В открывшемся окне:

    1. В блоке Статус оставьте включенной только опцию Не проверенные.

    2. В блоке Поля оставьте включенной только опцию id ответа.

    3. Отключите опцию Разделять ответы пустой строкой.

    4. Нажмите кнопку Скачать результаты.

  2. Используйте TSV-файл с результатами в третьем проекте.