Сравнить картинки бок о бок

Этот шаблон проекта подходит для тех случаев, когда нужно попарно (англ. side-by-side, SbS) сравнивать похожие или разные изображения, иллюстрации, интерфейсы.

Примеры задач, которые поможет решить этот шаблон:

  • Нужно понять, какой дизайн интерфейса больше нравится пользователям.
  • Тестирование разных вариантов изображения в объявлениях для таргетированной рекламы.
  • Выбрать лучшие изображения к публикациям, иллюстрации или фоны рабочего стола.

Предположим, у вас есть несколько фотографий с котами и вы хотите понять, какой из них будет милее в рекламе для пользователя. Для этого создадим задание: исполнитель увидит два варианта и должен выбрать один из них.

Пример готового задания

Перед началом

Чтобы использовать в проекте свои изображения, вам нужно будет загрузить их в хранилище, из которого вы сможете получить ссылки на файлы. Например: ваш сервер, фотохостинг или облачное хранилище:

Если у вас сложный проект, зарегистрируйтесь в песочнице и создайте проект там. В ней вы сможете:

  1. Протестировать настройки проекта в качестве исполнителя.
  2. Затем перенести их в основную версию Яндекс.Толоки.
  3. Запустить для реальных исполнителей.

Так вы сможете избежать ошибок и напрасно потраченных средств, если окажется, что ваше задание не работает.

Создание проекта

В проекте вы определяете, как будет выглядеть задание у исполнителя.

  1. Нажмите кнопку + Создать проект и выберите шаблон Бок-о-боки изображений. Он находится в блоке Сравнение бок-о-бок под блоком Классификация

  2. Дайте проекту понятное название и напишите краткое описание. Это увидят исполнители в списке доступных заданий.

  3. Напишите краткую и ясную инструкцию (см. советы).
  4. Определите, какие объекты будете передавать исполнителю, а какие получать от него в ответ. Для этого необходимо создать поля входных и выходных данных в блоке Спецификации.
    Что такое входные и выходные данные?

    Входные данные — типы объектов, которые будет получать исполнитель для выполнения задания. В этом шаблоне вам понадобятся картинки. В других задачах это может быть текст или географические координаты.

    Выходные данные — типы объектов, которые будут получены после выполнения задания. Для этого шаблона будет один из двух вариантов ответа. В других может быть введенный текст или загруженный файл.

    Подробнее о полях входных и выходных данных.

    В данном случае:

    • Входные данные — поля image_left и image_right для указания ссылок на картинки
    • Выходные данные: строка result, в которую будет записан выбранный вариант ответа.
  5. Создайте интерфейс задания в блоке HTML. Он описывает, как будут расположены элементы задания.

    В HTML-интерфейсе можно использовать стандартные теги HTML и специальные выражения в двойных фигурных скобках для полей входных и выходных данных.

    
    {{img src=image_left width="100%" real-size=true}}
    {{img src=image_right width="100%" real-size=true}}
    
    {{field type="radio" name="result" label="Левый" value="LFT" hotkey="1"}}
    {{field type="radio" name="result" label="Правый" value="RGHT" hotkey="2"}}
    {{field type="radio" name="result" label="Они одинаковые" value="404" hotkey="3"}}
    
    Эта запись означает, что задание будет выглядеть так:
    • две картинки по ссылкам image_left и image_right;
    • три кнопки переключателя, выбранное значение будет записано в поле result;
  6. Большинство людей просматривает изображения слева направо, поэтому первое изображение может влиять на восприятие второго. Если перемешивать изображения в заданиях, повышается достоверность результатов опроса. Картинки в парах будут отображаться каждый раз в новом порядке для разных исполнителей.

    Как составить задание, если нужно перемешивать картинки

    Что делать, если вам нужно сравнить:

    Только два изображения.
    • Можно перемешать картинки вручную при создании TSV-файла со ссылками. Сделайте два задания с разным порядком картинок. В TSV-файле (с помощью Excel, например) добавьте ещё одну строчку с двумя ссылками, которые будут располагаться иначе по сравнению с первой строчкой. Одна строчка — одна страница с одним заданием для исполнителя. Так будет после настроек, описанных выше.

    • На следующем шаге Добавление пула заданий надо будет настроить правило контроля качества Выполненные задания так, чтобы один исполнитель получал только одно задание "в руки".

      Добавьте блок и установите следующие параметры:

      Это означает, что после того, как исполнитель выполнит одно задание, ему не будут предлагать следующее. Ответ будет принят и задание завершено.

    Много изображений.

    Можно сделать, чтобы в интерфейсе они отображались в случайном порядке. Понадобится отредактировать спецификацию, а также блоки HTML и JS. Рекомендуем создать тестовый проект по инструкции из раздела Какой из найденных объектов больше похож на исходный.

  7. Нажмите кнопку Предпросмотр, чтобы увидеть получившееся задание.

    В окне предварительного просмотра проекта видно одно задание со стандартными данными. Количество заданий на странице вы сможете настроить далее.

  8. Сохраните проект.

Добавление пула заданий

Пул — это набор оплачиваемых заданий, которые одновременно выдаются исполнителям.

  1. Откройте проект и нажмите Добавить пул.
  2. Дайте пулу любое удобное название и описание. Они доступны только вам, исполнитель будет видеть только название и описание проекта.
  3. Установите цену за страницу заданий, например $0.01.
    Что такое страница заданий?

    На одной странице может отображаться одно или несколько заданий. Если задания простые, то можно добавлять 10–20 заданий на одну страницу. Не рекомендуем создавать длинные страницы, поскольку это снизит скорость загрузки данных у исполнителя.

    Исполнитель получит оплату, только если выполнил все задания на странице.

    Количество заданий на странице вы определите при загрузке заданий.

    Как определить справедливую цену?

    Общее правило формирования цены — чем больше времени исполнитель тратит на выполнение, тем выше цена.

    Вы можете зарегистрироваться в Яндекс.Толоке как исполнитель и узнать, сколько платят другие заказчики за задания.

  4. Добавьте Фильтры для отбора исполнителей. Чтобы ваше задание было доступно только исполнителям, владеющим русским языком, установите язык и страну по номеру телефона.
  5. Настройте Контроль качества. Блоки контроля качества позволяют отсеивать невнимательных исполнителей. Контроль также можно настраивать и в проекте.

    • Типичные настройки контроля качества для таких задач — это Быстрые ответы. Добавьте блок и укажите следующие значения:

      Значит, если исполнитель выполнит хотя бы одну страницу заданий быстрее, чем за 5 секунд, он будет заблокирован и не сможет больше выполнять ваши задания 10 дней.

  6. Установите Перекрытие — количество исполнителей, которые должны выполнить задание. Для заданий сравнения изображений — 20.
  7. В блоке Соотношение скорость/качество можно ничего не менять. Для сравнения картинок рейтинг исполнителей не особенно важен.
  8. Укажите Время на выполнение страницы заданий. Его должно быть достаточно, в том числе для чтения инструкции и загрузки задания. Например, 600 секунд.
  9. Сохраните пул.

Загрузка заданий

  1. Скачайте Пример загрузочного файла (tsv) в пуле.
    Что такое TSV?
    TSV-файл — это представление электронной таблицы в виде текстового файла, в котором столбцы разделены знаком табуляции.
    Вы можете работать с ним в редакторе электронных таблиц или текстовом редакторе, а затем сохранить в нужный формат. Подробнее о работе с TSV-файлом.
    Примечание. Файл должен быть сохранен в кодировке UTF-8.
  2. Добавьте в него входные данные. Заголовки столбцов со входными данными содержат слово INPUT. Остальные столбцы оставьте пустыми.
  3. Загрузите задания, выбрав Указать вручную. Установите значение 1.
    Что такое "Указать вручную"?
    Правило распределения заданий на страницах Указать вручную означает, что заданий на странице будет столько, сколько вы укажете в этой настройке.

Запуск пула и получение результатов

  1. Запустите пул, нажав кнопку .
  2. Следите за выполнением в блоке Статистика пула.
  3. Запустите агрегацию результатов, когда пул будет полностью выполнен. Для этого около кнопки Скачать результаты нажмите  → Агрегация результатов по методу Дэвида—Скина.

    В этом варианте TSV-файл с агрегированными ответами содержит значимость ответа в процентах — поле CONFIDENCE. Результаты показывают, насколько мы можем верить в то, что правая (или левая) картинка лучше. Подробнее об агрегации.

  4. Отслеживайте ход агрегации на странице Операции. По завершении нажмите кнопку Скачать.