Проект 3. Похож ли найденный объект на исходный?
В этом проекте исполнители будут сравнивать обувь с исходного изображения (из первого проекта) с обувью, найденной во втором проекте.
- Создайте проект
- Создайте пул
- Подготовьте и загрузите TSV-файл с результатами
- Скачайте проверенные результаты
- Проверьте выполненные задания
Создайте проект
Чтобы создать проект, откройте Яндекс.Толоку для заказчика.
Нажмите кнопку + Создать проект.
Выберите шаблон:
Выберите шаблон Классификация изображений.
Заполните общую информацию:
В поле Название проекта введите
Похожа ли обувь?
.В поле Описание введите
Посмотрите на две пары обуви и решите, похожи они или нет.
.По желанию добавьте Приватный комментарий.
Нажмите кнопку Сохранить.
Подготовьте Интерфейс задания и данные Спецификации:
Примечание. В этом туториале показано, как создать интерфейс задания в редакторе HTML/JS/CSS. Вы также можете попробовать создать интерфейс задания в Конструкторе шаблонов.Измените Интерфейс задания: удалите шаблонный код из блока html, в блок html вставьте следующий код:
{{img src=image height="400px"}} {{iframe src= found_link height="600px"}} <p>Убедитесь, что загруженное изображение соответствует товару из магазина.</p> {{button label="Проверьте товар" href=found_link action=true}} <p>Эта <b>обувь</b> похожа?</p> <p>Обувь должна быть похожа по цвету, материалу, длине и стилю.</p> {{field type="radio" name="result" value="Yes" label="Да"}} {{field type="radio" name="result" value="No" label="Нет"}}
Блок js оставьте без изменений. В блок css вставьте следующий код, отвечающий за установку пропорционального размера изображения.
.task { display: block; } .img { float: left; width: 50%; } .iframe { float: left; width: 50%; }
Отредактируйте входные и выходные данные в блоке Спецификации: нажмите кнопку
, чтобы переключить графический режим на формат JSON, в поле Входные данные введите:
{ "image": { "type": "url", "hidden": false, "required": true }, "found_link": { "type": "url", "hidden": false, "required": true }, "assignment_id": { "type": "string", "hidden": true, "required": true } }
В поле Выходные данные введите:
{ "result": { "type": "string", "hidden": false, "required": true } }
Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.
Нажмите кнопку Предпросмотр.
В открывшемся окне проверьте работу опций задания: ответьте на вопрос, в правом нижнем углу нажмите кнопку Отправить.
Ответьте на вопрос.
В правом нижнем углу нажмите кнопку Отправить.
Выйдите из режима предпросмотра.
В нижнем левом углу нажмите кнопку Выйти.
В открывшемся окне нажмите кнопку Выйти.
В поле Инструкция введите инструкцию.
Текст инструкции:
Посмотрите на картинки, на которых изображены две пары обуви, и решите, похожи они или нет. Обувь считается похожей, если она имеет похожий цвет, материал, длину и стиль. Если вы не видите пару обуви ни на одной из фотографий, нажмите Да.
Нажмите кнопку Завершить.
Подробнее о работе с проектом читайте в разделе Проект.
Нажмите кнопку + Создать проект.
В открывшемся окне выберите шаблон Категоризация изображений, для этого наведите указатель на шаблон и нажмите кнопку Выбрать.
В открывшемся окне заполните параметры проекта.
В поле Название проекта введите
Похожа ли обувь?
.В поле Описание введите
Посмотрите на две пары обуви и решите, похожи они или нет.
.В поле Инструкция введите инструкцию.
Текст инструкции:
Посмотрите на картинки, на которых изображены две пары обуви, и решите, похожи они или нет. Обувь считается похожей, если она имеет похожий цвет, материал, длину и стиль. Если вы не видите пару обуви ни на одной из фотографий, нажмите Да.
- Примечание. В этом туториале показано, как создать интерфейс задания в редакторе HTML/JS/CSS. Вы также можете попробовать создать интерфейс задания в Конструкторе шаблонов.
Отредактируйте входные и выходные данныев блоке Спецификации.
Нажмите кнопку
, чтобы переключить графический режим на формат JSON.
В поле Входные данные введите:
{ "image": { "type": "url", "hidden": false, "required": true }, "found_link": { "type": "url", "hidden": false, "required": true }, "assignment_id": { "type": "string", "hidden": true, "required": true } }
В поле Выходные данные введите:
{ "result": { "type": "string", "hidden": false, "required": true } }
Подробнее о параметрах Спецификации читайте в разделе Входные и выходные данные.
Подготовьте Интерфейс задания.
Удалите шаблонный код из блока html.
В блок html вставьте следующий код:
{{img src=image height="400px"}} {{iframe src= found_link height="600px"}} <p>Убедитесь, что загруженное изображение соответствует товару из магазина.</p> {{button label="Проверьте товар" href=found_link action=true}} <p>Эта <b>обувь</b> похожа?</p> <p>Обувь должна быть похожа по цвету, материалу, длине и стилю.</p> {{field type="radio" name="result" value="Yes" label="Да"}} {{field type="radio" name="result" value="No" label="Нет"}}
Блок js оставьте без изменений.
- В блок css вставьте следующий код, отвечающий за установку пропорционального размера изображения.
.task { display: block; } .img { float: left; width: 50%; } .iframe { float: left; width: 50%; }
Нажмите кнопку Предпросмотр.
В открывшемся окне проверьте работу опций задания.
Ответьте на вопрос.
В правом нижнем углу нажмите кнопку Отправить.
Выйдите из режима предпросмотра.
В нижнем левом углу нажмите кнопку Выйти.
В открывшемся окне нажмите кнопку Выйти.
В открывшемся окне нажмите кнопку Завершить редактирование.
Подробнее о работе с проектом читайте в разделе Проект.
Создайте пул
Чтобы создать пул:
Откройте страницу проекта с именем Похожа ли обувь.
Нажмите кнопку Добавить пул.
Укажите Название пула.
(опционально) Укажите Приватное описание.
Включите опцию Добавить приватное описание.
В поле Приватное описание введите описание пула. Эта информация доступна только вам.
В разделе Цена за страницу заданий в поле Цена в долларах США укажите
0.01
. Больше примеров ценообразования можно посмотреть здесь.В разделе Исполнители отфильтруйте исполнителей.
Нажмите Добавить фильтр.
Найдите в списке блок Профиль исполнителя и выберите навык Языки.
В поле ? укажите
=
.Добавьте еще один фильтр. Нажмите Добавить фильтр.
Найдите в списке блок Навыки и выберите навык Выбрать навык.
В поле Выберите навык выберите Found_shoes.
В поле ? укажите
=
.Поле Отсутствует оставьте пустым.
В разделе Контроль качества задайте настройки контроля качества для пула:
Нажмите Добавить блок контроля качества.
Найдите в списке блок Правила и выберите пункт Контрольные задания.
Задайте правило для контрольного задания: если количество ответов на контрольные вопросы больше или равно 3 и процент правильных ответов на контрольные вопросы меньше 60, то заблокировать исполнителя на проекте на 10 дней. В качестве причины указать Контрольное задание.
(опционально) Добавьте еще один блок контроля качества. Нажмите Добавить блок контроля качества.
Найдите в списке блок Правила и выберите пункт Быстрые ответы.
В поле Минимальное время на страницу заданий укажите
60
.Задайте правило для быстрых ответов: если количество быстрых ответов больше 1, то заблокировать исполнителя на проекте на 10 дней. В качестве причины указать Быстрые ответы.
Подробнее о контроле качества читайте в разделе Контроль качества.
В разделе Перекрытие в поле Перекрытие укажите
3
.(опционально) В разделе Соотношение скорость/качество укажите какому проценту пользователей с лучшим рейтингом будет доступен указанный пул. Подробнее об это читайте в разделе Соотношение скорости и качества.
В разделе Параметры:
В поле Время на страницу заданий в секундах укажите
300
.Включите опцию Сохранять порядок заданий.
Нажмите кнопку Сохранить.
Подготовьте и загрузите TSV-файл с результатами
Ознакомьтесь с примером в демонстрационном TSV-файле. Его можно найти на странице пула. В верхней части страницы слева есть ссылки на TSV-файл с обычными, контрольными и обучающими заданиями.
Подождите завершения пула из второго проекта.
Откройте страницу пула из второго проекта.
Нажмите кнопку Скачать результаты.
В блоке Статус оставьте включенной только опцию Не проверенные.
В блоке Поля оставьте включенной только опцию id ответа.
Отключите опцию Разделять ответы пустой строкой.
Нажмите кнопку Скачать результаты.
Подготовьте TSV-файл с заданиями.
Столбец
INPUT:image
оставьте без изменений.Измените имя столбца
OUTPUT:found_link
наINPUT:found_link
.Измените имя столбца
ASSIGNMENT:assignment_id
наINPUT:assignment_id
.Удалите все остальные столбцы.
Сохраните файл в формате
tsv
.
Загрузите получившийся TSV-файл в пул Похожа ли обувь?.
Откройте пул Похожа ли обувь?.
Нажмите кнопку Загрузить. В открывшемся окне настройте параметры загрузки файла.
Выберите Умное смешивание.
В поле Основных заданий укажите
9
.В поле Обучающих заданий укажите
0
.В поле Контрольных заданий укажите
1
.Нажмите кнопку Загрузить.
В открывшемся окне выберите TSV-файл с заданиями для загрузки и нажмите кнопку Открыть.
В открывшемся окне проверьте количество заданий и нажмите кнопку Добавить.
Создайте контрольное задание.
Нажмите кнопку Разметить.
Примечание. Если вместо умного смешивания было выбрано другое, необходимо нажать кнопку Разметить. Если этой кнопки нет, удалите файл и загрузите заново.В открывшемся окне нажмите кнопку Создать контрольные.
В открывшемся окне в колонке слева включите опцию result.
Выберите правильный ответ на вопрос.
Нажмите кнопку Сохранить и перейти к следующему.
Нажмите Похожа ли обувь?, чтобы выйти из режима разметки заданий.
Примечание.В небольших пулах контрольные задания должны составлять 10-20% от всех заданий. Включайте разные варианты правильных ответов в равных количествах. Посмотрите распределение ответов на странице Разметить задания на вкладке Контрольные.
Скачайте проверенные результаты
Чтобы получить результаты:
Рядом с кнопкой Скачать результаты нажмите кнопку
.
Выберите пункт списка Агрегация результатов по методу Дэвида — Скина. Подробнее об Агрегации результатов по методу Дэвида — Скина.
В открывшемся окне нажмите Да.
Наверху страницы нажмите Перейти к списку операций.
Примечание.Отслеживайте прогресс операции, периодически обновляя страницу. Агрегация занимает от 5 до 20 минут, в это время вы можете приступить к оформлению другого проекта.
Когда операция завершится, скачайте TSV-файл с результатами. Для этого в столбце Файлы нажмите Скачать.
Используйте TSV-файл с результатами из второго проекта.
Проверьте выполненные задания
Вы можете проверить результаты двумя способами:
- В TSV-файле с результатами.
- В интерфейсе пула.
- Проверить задания в TSV-файле с результатами
-
Чтобы проверить выполненные задания:
- Проверить задания в интерфейсе пула
-
Чтобы проверить выполненные задания:
Что дальше
- Создайте Проект 4 для сравнения подходящих изображений.