Все вопросы на одной странице

Как в инструкцию встроить несколько картинок с помощью ссылок на Яндекс.Диск?

Чтобы добавить картинки с помощью ссылок на Яндекс.Диск:

1. Используйте ссылку, например: /api/proxy/yadisk/image1.jpg .
2. В настройках профиля заказчика перейдите в Интеграция с внешними сервисами → Настройки прокси.
3. Настройте интеграцию с внешними сервисами.

   Подробно об использовании файлов с Яндекс.Диска.

Как показать исполнителю инструкцию в самом задании, чтобы не нужно было ее открывать/закрывать?

Существуют три основных варианта решения:

• Разместить инструкцию в самом задании так, чтобы она не сильно перегружала интерфейс.
• Сделать инструкцию в виде бокового окна, чтобы можно было быстро развернуть и скрыть.
• Разместить инструкцию под катом или добавить подсказки-вопросы к отдельным элементам интерфейса.

Для лучшего результата рекомендуем предварительно отобрать подходящих исполнителей и выставить правила контроля качества.

Можно ли разместить в инструкции видео или аудиоплеер?

Нет, но вы можете разместить ссылку на них.

После сохранения инструкции некоторые теги пропадают.

Недопустимые теги удаляются при сохранении проекта — их нельзя использовать. Список допустимых тегов.

Как сделать, чтобы инструкции к обучающему пулу и к основным пулам различались?

По умолчанию в обучении отображается инструкцию проекта. Чтобы написать отдельную инструкцию, снимите флажок Использовать инструкцию проекта. Не забывайте обновлять инструкцию к обучению, если что-то меняется в инструкции к основному заданию.

Как в задании записать текст на диктофон одним аудифайлом, чтобы текст надиктовало около 1 тыс. человек?

Для Толоки задачу нужно декомпозировать. Задание на 30 минут для одного человека со всеми фразами лучше разбить на отдельные фразы и предложить разным исполнителям. Шаблон для создания задания такого типа не потребует от пользователя установки отдельного диктофона.

Возьмите наше пошаговое описание создания задания по записи фраз на диктофон.

Во входных данных можно передать фразу, которую должен произнести исполнитель (включить навигацию), и скорость речи (normal speed). Эти данные вам и нужно будет записать в TSV-файл. О создании файла и его структуре можно прочитать в Руководстве.

В предпросмотре по умолчанию 4 задания на странице. Их количество для вашего проекта можно будет указать при загрузке файла с заданиями. Подробнее о предпросмотре.

Например, если вам нужно, чтобы один человек произнес одну и ту же фразу 10 раз, сделайте на странице 10 заданий. Стоимость указывается за целую страницу. Определить, сколько человек должно произнести ту или иную фразу, можно с помощью перекрытия в пуле. Кстати, не забудьте о фильтрах в пуле, чтобы отобрать только исполнителей, владеющих русским языком и выдать задание на мобильном: клиент = мобильная Толока.

Вы можете поручить проверку записанных фраз другим исполнителям, создав отдельный проект. Как это сделать кратко описано здесь.

Другой вопрос

Как сделать так, чтобы при нажатии на изображение оно увеличивалось максимально?

Добавьте к компоненту для вставки картинки параметры real-size=true и screenshot=true.

Как в image-annotation добавить горячую клавишу для добавления многоугольника?

Чтобы добавить горячую клавишу, в методе onKey пропишите следующее действие:

onKey: function(key) {
          var el = this.getDOMElement().querySelector(".image-annotation-editor__shape-polygon");

          if (key === 'D') {
          el.click();
          el.classList.add('image-annotation-editor__shape_active')
          }

Воспользуйтесь этой библиотекой, если потребуются дальнейшие модификации редактора по выделению областей.

Как в режиме предпросмотра включить загрузку аудиофайлов?

В режиме предпросмотра проверить загрузку файлов нельзя, но это можно сделать в песочнице, выполнив своё задание. Для этого нужно зарегистрироваться в сендбоксе в качестве исполнителя и добавить логин в доверенные на странице Пользователи. Подробнее можете прочитать в этой статье .

Исполнитель не может загрузить файл в задание?

Если никто из исполнителей не смог отправить задание, скорее всего проблема в валидации в JS. Проверьте её ещё раз.

Перенесите проект в сендбокс и попробуйте выполнить задание самостоятельно в песочнице.

Как проверить отображение задания в мобильном приложении Яндекс.Толоки?

Чтобы проверить, как выглядит задание на экране мобильного телефона, можно переключиться в режим эмуляции в браузерах Chrome или Safari и отредактировать блок CSS.

Также вы можете воспользоваться мобильной версией сендбокса. Чтобы получить к ней доступ, напишите в службу поддержки.

Как сделать так, чтобы для разных вопросов было различное количество вариантов ответов?

Используйте конкатенацию, например:

{{field type="checkbox" name=(concat "result." @index ) label=(concat "checkbox –
          " @index) size="L"}}

Как обращаться к элементам массива по индексу — к входным и выходным данным?

Если это в JS, то укажите в конце индекс:

this.getTask().input_values['name'][2]solution.output_values['result'][2]

Если в интерфейсе, то следующим образом:

Почему при добавлении входных и выходных данных в интерфейс HTML в режиме предпросмотра содержимое iframe не отображается?

Попробуйте отключать расширения браузера. Они могут блокировать загрузку iframe.

Как в label чекбокса добавлять текст из входной переменной?

Чтобы передать label во входных данных, укажите в нём имя входного поля.

Например, если у вас входное поле asd с типом строка, то компонент может быть записан так: {{field type="checkbox" name="like" label=asd hotkey="q"}}.

Если вы хотите передавать различные значения лейблов в разных заданиях или количество чекбоксов может меняться, то воспользуйтесь конкатенацией.

Как убрать текст под кат?

Текст под кат можно убрать с помощью стилей CSS как в самом задании, так и в инструкции. Пример кода можно посмотреть здесь.

Как в ссылку перехода для «Кнопка с проверкой перехода по ссылке» передавать значение входной переменной?

Укажите название входного поля, куда передаёте ссылку, без скобок:

{{field type="button-clicked" name="ads" label="Нажми меня" href=name_escape
          action=true}}

Как в JS сделать так, чтобы если чекбокс отмечен, то ссылку не запрашивать, а если ссылка вставлена, то галочка стоять не должна?

1. Посмотрите как это реализовано в шаблоне «Найти информацию в интернете».
2. Для решения второй задачи вы можете добавить ещё одну валидацию по аналогии с этой:

   if (solution.output_values.url && solution.output_values.check) {return {task_id:
   this.getTask().id,errors: {'url': {code: 'Вставьте ссылку или отметьте галочкой,что сайта нет'}}}}

Выбираю один чекбокс, а отмечаются все.

Названия выходных полей должны отличаться: для каждого чекбокса своё имя. Подробнее об этом компоненте здесь.

Как добавить валидацию ответа в зависимости от чекбокса: если на картинке есть предмет, то его нужно выделить, а если нет — поставить галочку?

Добавить валидацию ответа в зависимости от чекбокса возможно с помощью JavaScript. Пример доступен в шаблоне «Поиск данных в сети».

Как вставить календарь?

Посмотреть пример вы можете в комментариях к проекту. В примере есть формат выходных данных и библиотеки, которые нужно подключить.

Чтобы подключить библиотеки:

1. В режиме редактирования проекта нажмите «шестеренку».
2. В открывшемся поле слева введите ссылки и нажмите Ввод.

Почему в задании не работает кнопка «Отправить»?

Вероятно, проблема в блоке JS. Попробуйте удалить его содержимое, после чего проверьте кнопку Отправить в режиме предпросмотра.

Как сделать в задании изменяющиеся варианты ответов и их количество?

Вы можете сделать это с помощью конкатенации.

Посмотрите примеры проектов, которые могут помочь вам в создании интерфейса:

• с чекбоксами
• с выпадающим списком
• с радиобаттонами

Во входном поле массив значений необходимо передавать через запятую. Для каждого из них в интерфейсе будет сформирован вариант ответа. Входные/выходные данные к проектам-примерам указаны в комментариях на codepen.io.

Как снять выбор с радиокнопки?

Снять выбор нельзя. Только изменить на другую радиокнопку с ответом.

Как в зависимости от выбора показывать фото и делать его обязательным, либо прятать и делать необязательным?

В этом случае нужно оставить поле необязательным в выходных данных и прописать валидацию в зависимости от ответа исполнителя. Вы можете посмотреть, как это решено в шаблоне «Категоризация текста с дополнительными опциями».

Как запретить добавление фото из галереи, чтобы при нажатии на кнопку добавления фотографии открывалась камера, а не выбор между галереей и камерой?

Добавьте sources="CAMERA" в атрибуты к компоненту для загрузки картинки, чтобы запретить добавлять фото из галереи.

Как запустить валидацию setSolution в OnRender?

Попробуйте добавить условие на наличие второй шкалы:

setSolution: function(solution) {
var secondScale = this.getDOMElement().querySelector('.second-scale');

if(secondScale) {
secondScale.style.display = solution.output_values.grammar === 'no' ? 'block' : 'none';
}

TolokaHandlebarsTask.prototype.setSolution.call(this, solution);
}, 

Как реализовать выделение 3-х разных областей на картинке?

Вы можете сделать выделение и выпадающий список с выбором категории. Посмотрите, как это реализовано на этой странице (вкладка Выпадающий список).

Как использовать разметку Vue, не используя базовый объект TolokaHadlebarsTask?

Подробнее про расширение шаблона на JS вы можете прочитать здесь.

Чтобы разметка Vue не конфликтовала с синтаксисом Handlebars нужно отключить библиотеку toloka-handlebars-templates и наследоваться от классов Task/TaskSuite.

Где в шаблоне «Бок-о-бок» нужно указать proxy для Интерфейса задания, чтобы сделать задание с выбором из трех вариантов картинок?

В шаблоне «Бок-о-бок» используется не HTML-тег, а компонент. Поэтому нужно подставить прокси в круглых скобках по образцу: {{img src=(proxy image)}}.

Как в задании поменять фон со стандартного белого на другой цвет?

Установите фон в CSS для элемента .task или .task-suite. Например, черный:

.task-suite {
background-color: #000000;
}
.task {
background-color: #000000;
}

Также вы можете присвоить класс области интерфейса, где находится изображение, и установить фон только для этой области.

Как на уровне интерфейса Толоки валидировать данные, которые ввел пользователь?

Можно сделать проверку формата ссылки с помощью регулярных выражений. Для этого в шаблоне задания добавьте валидацию ссылки на JavaScript c помощью regexp.

Например: var regexp = /^(https://www.myurl.com/).{4,200}$/.

Также можно добавить в выходные данные поле input с типом строка. Сделайте поле обязательным. Затем добавьте компонент Поле для ввода текста в интерфейс задания (в блок HTML) и укажите имя поля в атрибуте name:

{{field type="textarea" name="input" width="270px" rows=5}} 

Как добавить валидацию ответа в зависимости от чекбокса?

Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в шаблоне «Поиск данных в сети».

Как построчно ввести список слов, для каждого отобразить элемент и сохранить результат в выходной массив?

В качестве входного поля передайте массив строк. Например, как показано на скриншоте:

В HTML используйте специальный handlebar, чтобы итерироваться по этому полю. Конструкция будет выглядеть следующим образом:

{{#each words}}
{{field type="radio" name="result" value=this label=this}}
{{/each}}

Как в качестве элемента интерфейса использовать ползунки для выбора значения параметра?

В HTML шаблона укажите следующий код:

<input type=""range"" list=""rng"" class=""res"">

а в JS в onRender прописать следующее:
onRender: function() {
// DOM-элемент задания сформирован (доступен через #getDOMElement())
//Добавляем служебные переменные
var $root = $(this.getDOMElement());
var _this = this;
var solution = TolokaHandlebarsTask.prototype.getSolution.apply(this, arguments);

$root.on('change', '.res', function(){
var range_result = $(this).val()
_this.setSolutionOutputValue('result', range_result);

return solution;
})

}

Как в онлайн редакторе заданий расширить окно с HTML/CSS/JS кодом?

Расширить окно HTML не получится. Чтобы раскрыть поля JS и CSS, кликните в любую область в пределах поля.

Как использовать входные данные как переменную в HTML-блоке?

Заключите входное поле в двойные фигурные скобки {{text}}.

Как отформатированный текст из входных данных отобразить в задании?

Заключите входное поле в тройные фигурные скобки {{{input_field}}}.

Подробнее об использовании компонента можно узнать в Руководстве заказчика.

Возможно в Толоке построить интерфейс с помощью своего JS?

Да, вы можете не использовать наши компоненты для создания интерфейсов, а создать собственный дизайн страницы с заданиями. Для этого удалите библиотеку из шаблона проекта:

• откройте настройки под «шестеренкой».
• удалите $TOLOKA_ASSETS/js/toloka-handlebars-templates.js.

В Руководстве заказчика описана вся структура классов и как они устроены.

Как в HTML вставить переменное количество инпутов, которое пользователь будет сам определять?

Для решения задачи с динамическим количеством выходных полей воспользуйтесь рекомендациями с этой страницы.

Планируется ли prettifier для HTML/JS в дизайне проекта?

Мы не задумывали, что в этом окошке будет вестить какая-то сложная разработка. Как правило, контент подготавливают в стороннем редакторе, который имеет подсветку, а в окошко копируют готовый вариант перед обновлением.

В аспекте доступности TolokaHandlebars для редактирования нет отличий между нашим окошком и редактором.

Как сделать, чтобы текст во входном поле отображался в исходном варанте с HTML-тегами?

Чтобы текст из входного поля отображался с HTML-тегами, можно использовать <pre>. Например:<pre>{{text}}</pre>.

Так текст будет записан как есть, в одну строку со скроллом.Чтобы убрать скролл и не растягивать карточку с заданием, добавьте в блок CSS:

.task {
  max-width: 800px;
}

pre {
  white-space: pre-wrap;
}

Что делать исполнителю, если в задании по выделению областей на картинке нет предмета, который нужно выделить?

Существуют три основных варианта решения:

• Выделить произвольную область на картинке. Например, поставьте квадрат в правый верхний угол.

  Добавьте информацию об этом в инструкцию для проверяющих.

• Предложить исполнителю пропустить задание и сообщить о нём в личном сообщении. Сообщения проверяются заказчиком и, если объекта действительно нет, задание будет удалено из пула (путем обнуления перекрытия).
• Добавить в интерфейс чекбокс «нет объекта» и настройте в JS проверку, что в задании либо выделен объект, либо поставлена галочка.

  Для контроля добавьте в интерфейс задания информацию о значении этого чекбокса.

Что делать, если атрибуты радио-кнопки в предпросмотре отображаются правильно, а после сохранения — нет?

Если после сохранения инструкции пропадают теги или атрибуты (например, checked="true"), значит они не поддерживаются. Полный список допустимых в инструкции тегов можно найти в руководстве.

Другой вопрос

Как вставлять вызов функции, работающий при клике на картинку в задании?

Пример шаблона задания по выделению групп изображений вы найдете по ссылке. Входные и выходные данные, а также фрагмент инструкции — в комментариях к проекту.

Как сделать маску на поле ввода: тип поля дата — дд.мм.гггг; ИНН — только цифры, количество 10 или 12?

Для проверки формата ввода данных можно использовать тип выходного поля с указанием допустимых или минимальных/максимальных значений. Например, для ИНН создайте выходное поле с типом «строка» и укажите минимальную и максимальную длину (например, 10 и 12). Для более сложной проверки введённых данных в шаблоне, используйте RegExp.

Для ввода даты можно добавить в интерфейс задания календарь. Пример календаря вы найдете здесь.

Нужно ли подгонять все изображения для задания под один размер, или они могут быть разные?

Размеры изображений могут быть разные.

Если в выходных данных проекта возможно любое число, от 1 до 999999, возможно ли указать диапазон?

Диапазон не будет являться фиксированным значением.

Есть ли возможность получить от пользователя вместе с результатами выполнения задания точное время начала и конца выполнения?

Когда скачиваете файл с результатами, поставьте галочки Время старта и Время отправки. В файле будут точные дата и время, когда исполнитель взял страницу заданий на выполнение и отправил ее в формате UTC.

Как показывать исполнителям два разных варианта текста?

Если вы передаёте тексты во входные данные, то достаточно загрузить в пул 2 разных задания: в одном из них в поле INPUT: <имя входного поля> вы передадите текст № 1, в другом — текст № 2.

Если текст в самом шаблоне задания, в блоке HTML, то нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания. Можно назначить навык или заблокировать исполнителя, после того, как он отправит один ответ.

Другой вопрос

Есть ли возможность отбирать исполнителей по конкретному городу проживания, а не только использовать«Регион по IP»?

Да, можно. В фильтрах выберите Профиль → Город. Обратите внимание, что данные профиля вводит сам пользователь при регистрации в Толоке. Рекомендуем использовать фильтры Регион по номеру телефона и Регион по IP.

Можно ли использовать навык не только в пуле или в одном проекте, но и в разных проектах?

Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.

Я хочу, чтобы навык подсчитывался по нескольким проектам. Это возможно? Если да, то я могу использовать «Агрегацию результатов по навыку»?

Если речь идет о нескольких проектах, то так сделать не получится.

Вы можете перенести все в один проект и в блоках контроля качества использовать параметр Помнить значения. Примеры вы можете посмотреть в статье Контрольные задания.

Использовать Агрегацию результатов по навыку можно, но вам придется перечислить все возможные значения, что, вероятно, будет не очень удобно делать. Возможно, подойдет другой способ агрегации.

Почему может быть недоступна агрегация ответов по навыку исполнителей? Пул без динамического перекрытия. Выходное поле — переменная с булевым значением.

Возможно, в вашем проекте поля выходных данных, которые вы хотите агрегировать, не имеют допустимых значений. На данный момент необходимо указывать возможные значения для всех типов выходных полей.

Я создал проект и пул, но не нажимается кнопка Далее или в предпросмотре белый экран.

Так Яндекс.Толока подает сигнал, что с проектом что-то не в порядке. Белый экран часто появляется при ошибках в интерфейсе задания, в том числе JavaScript-коде. Кнопка Далее может не реагировать, если в выходной спецификации не хватает какого-то поля, если в ней указаны недопустимые значения или, например, если у вас в JavaScript настроена валидация по несуществующему полю.

Есть ли какие-нибудь простые способы присвоить определенному пользователю Толоки навык, как это делается в песочнице, даже если тот не делал ни одно задание?

Назначить навык в основной версии Толоки можно только для пользователей, которые выполнили хотя бы одно ваше задание. Любому пользователю назначить навык возможности нет. Чтобы ограничить поток пользователей, которые увидят ваш проект, можно воспользоваться фильтрами. Например, указать город, дату рождения, пол или какие-то другие параметры, которые есть у нужных вам исполнителей.

Можно ли как-то ограничить количество пользователей, которые одновременно берутся выполнять задание из пула?

Задания из открытого пула доступны всем пользователям, которые подходят под фильтры в пуле. Вы можете ограничивать доступ, например по навыку.

Исполнители прошли обучение по первому пулу и получили навык. Спустя неделю мы склонировали пул, однако у всех пользователей навык пропал. Какой параметр влияет на истечение срока навыка? Им всем придется перепройти обучение?

За количество дней, в течение которых сохраняется тренировочный навык, отвечает параметр Повторное прохождение. Навык будет удален через количество дней, указанное в поле Повторное прохождение, если исполнитель:

• получил значение навыка ниже значения в поле Уровень прохождения;
• не выполнил ни одного задания, к которому привязано обучение, в течение этого срока.

Вашим пользователям будет нужно пройти обучение заново.

Почему мой проект не доступен в мобильной версии Толоки?

Чтобы задание было доступно в мобильном приложении, поставьте в пуле фильтр: клиент = мобильная Толока.

Можно ли добавить в исполнители произвольного пользователя, если у него не хватает рейтинга?

Если пользователь не проходит по фильтру или по рейтингу, увидеть задание у него не получится. Можно только убрать такой блокирующий фильтр из пула. Протестировать задание можно в Песочнице, добавив нужного пользователя в список доверенных.

Можно ли настроить показ задания пользователям по демографическим и гео-параметрам? Например, «только Москва, 30-45 лет».

Можно, чтобы отобрать исполнителей для пула используйте фильтры.

Как сделать так, чтобы задание было доступно не только с компьютера, но и с мобильных устройств?

Чтобы задание было доступно также в мобильном приложении, поставьте в пуле фильтр:

Клиент = веб-версия
или
       = мобильная Толока

Можно ли выбрать для выполнения заданий конкретных исполнителей, которые понравились по предыдущим пулам?

Вы можете назначить им навык по результатам выполнения заданий в предыдущих пулах. Этот навык укажите в качестве фильтра в новом пуле.

Как поставить фильтр так, чтобы пул был доступен пользователям, у которых нет определенного навыка (например, «спамер»)?

Укажите этот навык в качестве фильтра и в качестве значения установите пустое поле (это равносильно тому, что навык отсутствует).

Как я могу поднять пользователю значение навыка, если навык у него уже есть?

Если у пользователя уже есть навык, то добавить ему этот же навык из интерфейса проверки задания нельзя. Можно зайти в профиль пользователя и отредактировать значение навыка.

Видят ли пользователи Толоки, что им назначен навык?

Если навык публичный или обучающий, то видят — им приходит сообщение об этом.

Можно ли в интерфейсе задания показать навык?

Такой возможности нет. Если навык публичный, то исполнитель видит его в своем профиле.

Почему в информации о пользователе нет данных о поле исполнителей, хотя в настройках пула можно отфильтровать людей по этому признаку?

Заказчику не доступна полная информация о каждом конкретном исполнителе. Например, заказчик не видит дату рождения, пол, фамилию и имя. При этом фильтры по дате рождения и полу в настройках пула ему доступны, поскольку они позволяют отобрать группу исполнителей, не получая информации о каждом в отдельности. Это уменьшает риск деанонимизации пользователей.

Как можно автоматизировать присвоение навыков в зависимости от ответов пользователей на вопросы анкеты?

Это можно сделать с помощью правила Контрольные задания .

1. Загрузите файл с заданиями при помощи Умного смешивания.
2. Укажите student в качестве правильного ответа на вопрос. Остальные вопросы не учитывайте (оставьте поля пустыми или не ставьте галочку).
3. Добавьте в пул правило Контрольные задания : если процент правильных контрольных ответов = 100, то установить значение навыка Студент = 1.

Смотреть скриншот

Другой вопрос

Как правильно настроить контроль качества в пуле?

Настройка блоков контроля качества зависит от типа заданий. Ниже приводятся общие рекомендации:

• Обязательно используйте один или несколько способов контроля качества.

• Подсчет быстрых ответов имеет смысл для большинства заданий.

• Если в задании нужно выбрать вариант ответа (например, в флажка), его лучше проверить с помощью мнения большинства или контрольных заданий.

• Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.

• Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. Составьте контрольные задания с искусственно созданными примерами, где выбор более очевиден.

Сколько контрольных заданий нужно добавлять?

Рекомендуем добавлять не менее 1% контрольных заданий в пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.

Как засчитываются правильные ответы на контрольные вопросы?

Правило контрольных заданий начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).

Как только нужное количество ответов набрано, Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Сколько последних значений учитывать. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.

Нужно ли создавать навык для каждого пула?

Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:

• Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:

  • Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).

  • Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.

  Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Сколько последних значений учитывать.

• Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.

  Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Сколько последних значений учитывать в блоках контроля качества в пулах.

Можно ли сделать так, чтобы обучающие или контрольные задания были бы совсем другого рода, нежели основные задания?

Обучающие и контрольные задания будут иметь спецификацию проекта. Но вы можете сделать отдельный проект и разместить в нем необходимые задания, а потом по ответам из них назначить навык, по которому вы будете допускать исполнителей к основному проекту.

Экзамен — это простой пул, который я оплачиваю? Чем он отличается об обычного пула?

Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Он обычно делается небольшим и служит для проверки того, как пользователи научились выполнять задание после чтения инструкции и прохождения обучения. В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой.

По результатам ответов на контрольные задания вы можете назначить пользователям навык и далее указать его в основном пуле в качестве фильтра. Например, МойНавык = 80 или = отсутствует. Составление экзамена не обязательно — в простых заданиях достаточно тренировки, но многие заказчики используют также и экзамен.

В быстрых ответах время указывается за одну страницу заданий?

Да, в настройках быстрых ответов указывается время за выполнение 1 страницы с заданиями.

Настраивал контроль качества, затем скопировал требования к пользователям, и все мои настройки контроля качества удалились, а вместо них появились скопированные. Так и должно быть?

Действительно, при копировании настроек фильтров и контроля качества уже добавленные вручную настройки заменяются. Мы предупреждаем об этом в окне копирования настроек.

Я настроил правило отправления в бан при первой же неправильно введенной капче, чтобы максимально исключить ботов. Такое правило не слишком строгое? Как бывает на практике?

Действительно, такое правило выглядит слишком строго. Даже самый внимательный пользователь может ошибиться — правило лучше сделать менее строгим. Помимо блокировки у отдельных заказчиков, у нас есть системные процессы, которые блокируют в Толоке пользователей, которые систематически проваливают проверку капчей.

В пуле установлено перекрытие и настроено мнение большинства, и какой-то нехороший исполнитель открывает страницу с заданиями, ничего не делает и отправляет их. Может ли он получить еще задания из пула до того, как у этих же заданий будут известные результаты от других исполнителей,и быстро скликать много страниц заданий, пока неизвестно мнение большинства, которое приведет его к блокировке?

К сожалению, да, может. Поэтому мы рекомендуем перед боевым заданием делать обучение или экзамен, чтобы до боевого пула добирались только те, кто хорошо прошел предыдущий этап отбора.

Как настроить экзамен, чтобы его могли проходить разные люди, а задания в нем не кончались?

При загрузке заданий используйте умное смешивание, тогда экзамен будет с бесконечным перекрытием.

Однако это чревато тем, что вы будете тратить на экзамен много денег. Возможно, его стоит открывать тогда, когда открывается боевой пул, и закрывать, когда разметка боевого пула завершается.

Как можно протестировать пользователей, чтобы определить, какие задачи они выполняют лучше, и на основе этого выдавать им подходящие задачи? Не хотелось бы, чтобы тестирование как-то негативно влияло на рейтинг.

Вы можете добавить обучающий пул, чтобы протестировать исполнителей. По результатам прохождения тестирования выдавайте навыки исполнителям в соответствии с тем, что они хорошо выполняют.

Затем откройте пулы только для пользователей, имеющих определенный навык — для этого используйте фильтры.

Рейтинг исполнителей не ухудшится: даже если вы будете устанавливать блокировку пользователей на проекте по результатам тестирования, это не повлияет на рейтинг толокера.

Если мы загружаем задания через Умное смешивание, то в одном файле должны быть и контрольные, и обычные задания?

Вы можете загрузить боевые и контрольные задания по отдельности, разными файлами.

Если недобросовестный исполнитель дает много неправильных ответов, а спустя время система его блокирует за ошибки в контрольных заданиях, деньги за уже данные ответы все равно снимаются?

Если пользователю уже начислены деньги за задания, то обратно их не вернуть.

Частоту выдачи капчи работникам можно как-то регулировать? Некоторых работников это несколько демотивирует.

Частота показа капчи настраивается в пуле.

Нет

Не показывать капчу.

Низкая

Показывать капчу каждые 20 страниц заданий.

Средняя / Высокая

Показывать капчу каждые 10 страниц заданий.

Может ли один работник попасть в два пула одного проекта? Можно ли этого избежать?

Да, может, если оба пула ему доступны. Чтобы ограничить доступ исполнителя к следующим заданиям, используйте правило Выполненные задания — выберите блокировку на проекте.

Если мы блокируем исполнителя за то, что он выполняет задания слишком быстро, удалятся ли все его ответы, и будут ли они отданы на разметку другим исполнителям?

Нет, ответы такого исполнителя автоматически не исключаются из итогового файла.

Но вы можете это сделать самостоятельно. Для этого при скачивании результатов поставьте галочку Не учитывать ответы заблокированных пользователей. Также вы можете отправить все ответы заблокированных пользователей на повторное выполнение другим толокерам — для этого используйте правило.

Можно ли сделать 2 активных обучающих пула: один будет для тренировки, а по прохождению второго уже будет определяться доступ к рабочему пулу? То есть, условно говоря, один пул учит, другой пул экзаменует.

Да, можно. В этом случае первый обучающий пул нужно сделать на базе тренировочного пула, а второй — экзамен — на базе основного пула. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.

В экзаменационном пуле можно назначить навык, который будет определять результат сдачи экзамена и служить допуском в основной пул. Например: если количество ответов ≥ 10, то установить навык из поля <экзаменационный навык> % правильных ответов. В требованиях к пользователям экзаменационного пула укажите: <экзаменационный навык> < 80 или = отсутствует>. Установите в основном пуле фильтр: <экзаменационный навык> >= 80 и (<основной навык> >= 70 или = отсутствует). Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо пользователи справляются с вашим заданием.

Есть ли какое-то подробное описание, как лучше использовать капчу: для какого типа проектов ее лучше использовать и насколько интенсивно?

Капча используется обычно в простых проектах с автоприемкой: классификация, категоризация, поиск информации; то есть там, где мало вариантов ответов, не нужно загружать файлы или писать тексты. Она позволяет отсеивать ботов и исполнителей, которые размечают очень небрежно.

Частота показа капчи настраивается в пуле.

Нет

Не показывать капчу.

Низкая

Показывать капчу каждые 20 страниц заданий.

Средняя / Высокая

Показывать капчу каждые 10 страниц заданий.

В справке есть понятия для капчи: «Доля правильных ответов» и «Доля неправильных ответов» — они определяются из контрольной выборки?

Процент правильных ответов определяется исходя из общего количества обработанных исполнителем капч в пределах «окна», указанного в поле Сколько последних значений учитывать. Если значение в поле не указано, то в расчет попадают все капчи, которые появляются при выполнении заданий пула, использующего данное правило.

В задании нужно заполнить форму из нескольких полей. В случае перекрытия и настройки контроля качества «Мнение большинства» учитывается каждое поле или если в одном из полей значение указано неверно по мнению большинства, то задание считается неправильно выполненным?

Считаются все ответы в задании. Если на какой-то вопрос ответ отличается, результат всего задания засчитывается как несовпадающий с ответами других исполнителей.

Правильно ли я понимаю, что если настроить установку значения навыка = 1, когда процент принятых ответов >= 75 и учитываются 10 последних значений, то пользователю на каждые 8 правильно выполненных заданий из 10 будет прибавляться 1 очко навыка?

Нет, при такой настройке каждый раз, когда будет выполняться условие правила, исполнителю будет устанавливаться навык = 1. Чтобы изменять значения по мере проверки заданий, понадобится «ступенчатое» правило (несколько одинаковых правил) с разным значением параметра Количество проверенных ответов.

Я создал обучение, в котором одно задание с подсказкой. Пользователю не удается выполнить задание с первой попытки, но в итоге он его выполняет. Он получает навык 0. Как мне сделать так, чтобы он был допущен к заданиям? Минимальный уровень прохождения, который можно установить, равен 10.

Технически с одним заданием в обучении — никак. Навык будет или 0, или 100. Рекомендуем добавить несколько задний, хотя бы 2: на первом исполнитель потренируется, а второе сможет уже выполнить верно. Тогда можно начать допускать к основному пулу со значением навыка 50.

Также вы можете создать обучающий пул на основе обычного. Назначайте навык правилом Контрольные задания — тогда к основному пулу вы можете допустить пользователей с любым уровнем навыка, даже нулевым. Но мы бы не советовали допускать к разметке тех, кто не справился с обучением.

В обучающем пуле возможна отложенная приемка?

Нет. Но вы можете создать обучающий пул с тренировочными заданиями на базе обычного пула и выставить там отложенную приемку.

Толокеры видят, что какой-то вопрос является контрольным?

Нет, не видят.

У меня есть два варианта текста, который мне надо показывать респондентам: половине один вариант, половине другой (типа A/B-тестирования). Это возможно сделать в Толоке или надо создавать два отдельных проекта?

Если вы передаете тексты во входные данные, то достаточно загрузить в пул 2 разных задания: в одном из них в поле INPUT:<имя входного поля> вы передадите текст № 1, в другом — текст № 2. А если текст в самом шаблоне задания в блоке HTML, то да, нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания . Можно назначить навык или заблокировать исполнителя после того, как он отправит один ответ.

Если я блокирую пользователей на проекте, чтобы каждый мог выполнить максимум одно задание, то сообщают ли пользователям о блокировке?

Нет, пользователи не знают о блокировке.

Так и задумано, что при экспорте проекта из Песочницы файлы с заданиями не переносятся? Я неожиданно потерял разметку контрольных заданий, которые сделал в песочнице.

Сами задания не переносятся, только конфигурация проекта и настройки выбранного пула. Но вы можете скачать размеченные задания из пула в Песочнице и загрузить их в созданный пул. Чтобы скачать только контрольные задания (если вы размечали их в интерфейсе), зайдите в Разметчик, затем во вкладку Контрольные задания и нажмите Скачать.

Я хочу сделать экзамен размером в три задания. Если человек выполняет два из трех правильно, то получает навык. Для этого в поле «Сколько последних значений учитывать» я хочу поставить 3, но система ругается, что значение слишком маленькое. Можно ли это побороть, не увеличивая количества заданий до пяти?

В поле Сколько последних значений учитывать указывается количество последних ответов исполнителя. Если у вас задание с отложенной приемкой, то, чтобы настроить правило по вашей логике, необходимо указать 3 в параметре Количество проверенных ответов.

В каком формате нужно подавать результаты обработки, чтобы отфильтровать лишних пользователей по «Мнению большинства»?

Чтобы выполнять действия с пользователями (назначение навыка, блокировка), основываясь на мнении большинства, нужно добавить в пул соответствующее правило.

Не забудьте включить опцию Сохранять порядок заданий в параметрах пула. Мнение большинства применяется на проектах с заданными значениями (с радиобаттонами или чекбоксами). Для полей со свободным вводом или файлов это правило работать не будет.

Я хочу сделать тренировку и экзамен, где бы проверялось равенство вводимого текста с эталоном, но они не всегда правильно сравниваются. Как это можно реализовать?

Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном. Для этого текст нужно нормализовать с помощью JavaScript: удалить пробелы, знаки препинания, специальные символы и заглавные буквы, а результат записать в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.

Другой вариант отбора исполнителей для проекта такого типа - отложенная приемка.

В разделе условий на контрольные вопросы Количество контрольных ответов - это количество ответов на контрольные вопросы (даже если отвечено неверно) или количество верных ответов на контрольные вопросы?

Это количество любых ответов на контрольные вопросы.

Как прямо в процессе выполнения заданий разделять исполнителей на тех, кто справляется хорошо, и тех, кто справляется плохо, и остановить работу плохих исполнителей, не влияя на их рейтинг?

Вы можете создать пул заданий для всех исполнителей и выделить в нем навыки, присвоенные исполнителям. Тогда вы сможете открывать задания только для тех исполнителей, которые имеют нужные навыки. Это не должно повлиять на их рейтинг.

Даже если вы остановите работу исполнителя, наложив запрет на проект, это также не отразится на его рейтинге.

Почему упала скорость выполнения пула?

Возможные причины:

• Вы остановили обучающий пул, и тем самым ограничили количество исполнителей имеющих доступ к заданиям. Запустите обучающий пул снова. Исполнителей, которым доступны задания, станет больше.

• Установлены слишком жесткие фильтры, например строгое ограничение по навыку, которого нет у большинства пользователей.
• Слишком много пользователей заблокированы. Сделайте правила контроля качества мягче.

Как ускорить выполнение заданий пула?

• Мотивируйте исполнителей, назначив