Все вопросы на одной странице
- Если вы еще не используете Яндекс.Толоку и хотите проконсультироваться
- Если у вас возникла проблема при работе с Яндекс.Толокой
-
В содержании раздела выберите этап, на котором возникла проблема, и найдите решение проблемы в списке. Если не нашли, выберите последний пункт Другой вопрос, заполните форму и дождитесь ответа от технической поддержки.
- Если вам необходима помощь с размещением заданий
- Вы можете обратиться в Лабораторию Яндекс.Толоки и к нашим партнерам.
Регистрация и начало работы
- Проверьте введенный номер. В нем могут быть ошибки.
- Проверьте номер, указанный в Яндекс.Паспорте. Он должен быть указан как основной. Если в Яндекс.Паспорте указан другой номер, то смс-код отправится на него.
- Выйдите из аккаунта заказчика.
- Перейдите на главную страницу Толоки.
- Нажмите кнопку Присоединиться.
- Следуйте указаниям системы.
Также вы можете воспользоваться рекомендациями Яндекс.Паспорта. Если они не помогли решить проблему, напишите в службу поддержки.
Аккаунт заводится на адрес электронной почты, указанный при регистрации. Привязать аккаунт к другой учетной записи невозможно. Подключить Яндекс.Диск другой учетной записи к действующему аккаунту заказчика также не получится.
Чтобы управлять финансами и взаимодействовать с внешними сервисами, нужно входить под логином и паролем, указанными при регистрации. Если эти данные вы не можете передать, то другому пользователю необходимо завести свой аккаунт.
Изменить тип аккаунта с «Заказчика» на «Исполнителя» невозможно.
Для выполнения заданий вам необходимо повторно зарегистрироваться в Толоке как исполнитель, но с другим логином.
Если вы получили такое предупреждение, убедитесь, что вы правильно ввели номер.
Учтите, что на один номер телефона можно завести только 1 аккаунт заказчика (см. Пользовательское соглашение.
Если в Яндекс.Паспорте привязан неверный номер, измените его. Подробнее о привязке номера см. Справку Яндекс.Паспорта.
Если вы не помните ваш аккаунт в Яндекс.Толоке, воспользуйтесь Восстановлением доступа.
Если вы удалили ваш аккаунт в Яндекс.Толоке, создайте новый аккаунт на Яндексе и зарегистрируйтесь в Яндекс.Толоке.
Чтобы поменять номер телефона, перейдите в Яндекс.Паспорт и измените основной номер.
Песочница
- Попробуйте перенести проект без пулов.
- Выберите проект для переноса и не указывайте пулы в появившемся окне.
- Если ошибка сохраняется, то обновите токен.
- Перейдите в Яндекс.Паспорт.
- Пользователь не зарегистрирован в песочнице. Аккаунт, зарегистрированный в основной версии Яндекс.Толоки не подойдет. Убедитесь, что вы указали правильный аккаунт исполнителя в качестве доверенного.
- Аккаунт исполнителя авторизован через социальные сети. Зарегистрируйте нового пользователя на Яндексе.
Зарегистрируйтесь в роли заказчика в песочнице.
Зарегистрируйтесь с другим аккаунтом в роли исполнителя.
В аккаунте заказчика добавьте исполнителя в список доверенных.
Создайте и запустите задание. Оно появится в списке заданий у ваших доверенных пользователей. Подробнее об этом можно узнать на странице помощи.
Чтобы протестировать свое задание, добавьте себя в доверенные исполнители в Песочнице. Для этого на странице Пользователи нажмите Добавить доверенных пользователей. Вводите логин для аккаунта исполнителя с учетом регистра символов.
Для этого понадобится специальная версия приложения Толоки для Песочницы. Чтобы её получить, напишите в службу поддержки.
Обновить ранее экспортированный проект не получится. Если вы снова клонируете проект из песочницы, то добавится его актуальная копия. Старый проект не изменяется.
Пользователь не видит задание, если он не подходит по фильтру или рейтингу. Вы можете убрать блокирующий фильтр из пула. Чтобы протестировать свое задание, добавьте себя в доверенные исполнители в Песочнице.
Проверьте в предпросмотре пула с аккаунта заказчика, можно ли отправить задание. Если тоже не получится, скорее всего, в вашем проекте ошибка.
Сами задания не переносятся, только конфигурация проекта и настройки выбранного пула. Вы можете скачать размеченные задания из пула в Песочнице и загрузить их в экспортированный пул.
Чтобы скачать только контрольные задания (если вы размечали в интерфейсе), зайдите в Разметчик, затем на вкладку Контрольные задания и нажмите Скачать.
Нет, для каждой версии Яндекс.Толоки нужен отдельный аккаунт. Чтобы создать задание в Песочнице, зарегистрируйтесь в ней как заказчик, а чтобы выполнить свое задание, зарегистрируйте еще один аккаунт как исполнитель.
Возможные причины:
Настройка проекта
Инструкция
- Используйте ссылку, например: /api/proxy/yadisk/image1.jpg .
- В настройках профиля заказчика перейдите в.
- Настройте интеграцию с внешними сервисами.
- Разместить инструкцию в самом задании так, чтобы она не сильно перегружала интерфейс.
- Сделать инструкцию в виде бокового окна, чтобы можно было быстро развернуть и скрыть.
- Разместить инструкцию под катом или добавить подсказки-вопросы к отдельным элементам интерфейса.
Для Толоки задачу нужно декомпозировать. Задание на 30 минут для одного человека со всеми фразами лучше разбить на отдельные фразы и предложить разным исполнителям. Шаблон для создания задания такого типа не потребует от пользователя установки отдельного диктофона.
Возьмите наше пошаговое описание создания задания по записи фраз на диктофон.
Во входных данных можно передать фразу, которую должен произнести исполнитель (включить навигацию), и скорость речи (normal speed). Эти данные вам и нужно будет записать в TSV-файл. О создании файла и его структуре можно прочитать в Руководстве.
В предпросмотре по умолчанию 4 задания на странице. Их количество для вашего проекта можно будет указать при загрузке файла с заданиями. Подробнее о предпросмотре.
Например, если вам нужно, чтобы один человек произнес одну и ту же фразу 10 раз, сделайте на странице 10 заданий. Стоимость указывается за целую страницу. Определить, сколько человек должно произнести ту или иную фразу, можно с помощью перекрытия в пуле. Кстати, не забудьте о фильтрах в пуле, чтобы отобрать только исполнителей, владеющих русским языком и выдать задание на мобильном: клиент = мобильная Толока.
Вы можете поручить проверку записанных фраз другим исполнителям, создав отдельный проект. Как это сделать кратко описано здесь.
Настройка интерфейса задания
- Посмотрите как это реализовано в шаблоне «Найти информацию в интернете».
- Для решения второй задачи вы можете добавить ещё одну валидацию по аналогии с этой:
if (solution.output_values.url && solution.output_values.check) {return {task_id: this.getTask().id,errors: {'url': {code: 'Вставьте ссылку или отметьте галочкой,что сайта нет'}}}}
- В режиме редактирования проекта нажмите «шестеренку».
- В открывшемся поле слева введите ссылки и нажмите Ввод.
- откройте настройки под «шестеренкой».
- удалите
$TOLOKA_ASSETS/js/toloka-handlebars-templates.js
. - Выделить произвольную область на картинке. Например, поставьте квадрат в правый верхний угол.
Добавьте информацию об этом в инструкцию для проверяющих.
- Предложить исполнителю пропустить задание и сообщить о нём в личном сообщении. Сообщения проверяются заказчиком и, если объекта действительно нет, задание будет удалено из пула (путем обнуления перекрытия).
- Добавить в интерфейс чекбокс «нет объекта» и настройте в JS проверку, что в задании либо выделен объект, либо поставлена галочка.
Для контроля добавьте в интерфейс задания информацию о значении этого чекбокса.
Добавьте к компоненту для вставки картинки параметры real-size=true
и screenshot=true
.
onKey: function(key) {
var el = this.getDOMElement().querySelector(".image-annotation-editor__shape-polygon");
if (key === 'D') {
el.click();
el.classList.add('image-annotation-editor__shape_active')
}
Воспользуйтесь этой библиотекой, если потребуются дальнейшие модификации редактора по выделению областей.
В режиме предпросмотра проверить загрузку файлов нельзя, но это можно сделать в песочнице, выполнив своё задание. Для этого нужно зарегистрироваться в сендбоксе в качестве исполнителя и добавить логин в доверенные на странице Пользователи. Подробнее можете прочитать в этой статье .
Если никто из исполнителей не смог отправить задание, скорее всего проблема в валидации в JS. Проверьте её ещё раз.
Перенесите проект в сендбокс и попробуйте выполнить задание самостоятельно в песочнице.
Чтобы проверить, как выглядит задание на экране мобильного телефона, можно переключиться в режим эмуляции в браузерах Chrome или Safari и отредактировать блок CSS.
Также вы можете воспользоваться мобильной версией сендбокса. Чтобы получить к ней доступ, напишите в службу поддержки.
{{field type="checkbox" name=(concat "result." @index ) label=(concat "checkbox –
" @index) size="L"}}
this.getTask().input_values['name'][2]solution.output_values['result'][2]
Если в интерфейсе, то следующим образом: 
Попробуйте отключать расширения браузера. Они могут блокировать загрузку iframe.
Чтобы передать label
во входных данных, укажите в нём имя входного поля.
Например, если у вас входное поле asd
с типом строка, то компонент может быть записан так: {{field type="checkbox" name="like" label=asd hotkey="q"}}
.
Если вы хотите передавать различные значения лейблов в разных заданиях или количество чекбоксов может меняться, то воспользуйтесь конкатенацией.
Текст под кат можно убрать с помощью стилей CSS как в самом задании, так и в инструкции. Пример кода можно посмотреть здесь.
{{field type="button-clicked" name="ads" label="Нажми меня" href=name_escape
action=true}}
Названия выходных полей должны отличаться: для каждого чекбокса своё имя. Подробнее об этом компоненте здесь.
Добавить валидацию ответа в зависимости от чекбокса возможно с помощью JavaScript. Пример доступен в шаблоне «Поиск данных в сети».
Посмотреть пример вы можете в комментариях к проекту. В примере есть формат выходных данных и библиотеки, которые нужно подключить.
Вероятно, проблема в блоке JS. Попробуйте удалить его содержимое, после чего проверьте кнопку Отправить в режиме предпросмотра.
Снять выбор нельзя. Только изменить на другую радиокнопку с ответом.
В этом случае нужно оставить поле необязательным в выходных данных и прописать валидацию в зависимости от ответа исполнителя. Вы можете посмотреть, как это решено в шаблоне «Категоризация текста с дополнительными опциями».
Добавьте sources="CAMERA"
в атрибуты к компоненту для загрузки картинки, чтобы запретить добавлять фото из галереи.
setSolution: function(solution) {
var secondScale = this.getDOMElement().querySelector('.second-scale');
if(secondScale) {
secondScale.style.display = solution.output_values.grammar === 'no' ? 'block' : 'none';
}
TolokaHandlebarsTask.prototype.setSolution.call(this, solution);
},
Вы можете сделать выделение и выпадающий список с выбором категории. Посмотрите, как это реализовано на этой странице (вкладка Выпадающий список).
Подробнее про расширение шаблона на JS вы можете прочитать здесь.
Чтобы разметка Vue не конфликтовала с синтаксисом Handlebars нужно отключить библиотеку toloka-handlebars-templates и наследоваться от классов Task/TaskSuite.
В шаблоне «Бок-о-бок» используется не HTML-тег, а компонент. Поэтому нужно подставить прокси в круглых скобках по образцу: {{img src=(proxy image)}}
.
.task
или .task-suite
. Например, черный:.task-suite {
background-color: #000000;
}
.task {
background-color: #000000;
}
Также вы можете присвоить класс области интерфейса, где находится изображение, и установить фон только для этой области.Можно сделать проверку формата ссылки с помощью регулярных выражений. Для этого в шаблоне задания добавьте валидацию ссылки на JavaScript c помощью regexp
.
Например: var regexp = /^(https://www.myurl.com/).{4,200}$/
.
input
с типом строка. Сделайте поле обязательным. Затем добавьте компонент Поле для ввода текста в интерфейс задания (в блок HTML) и укажите имя поля в атрибуте name
:{{field type="textarea" name="input" width="270px" rows=5}}
Добавить валидацию ответа в зависимости от чекбокса можно с помощью JavaScript. Пример доступен в шаблоне «Поиск данных в сети».
В качестве входного поля передайте массив строк. Например, как показано на скриншоте:
{{#each words}}
{{field type="radio" name="result" value=this label=this}}
{{/each}}
<input type=""range"" list=""rng"" class=""res"">
а в JS в onRender прописать следующее:
onRender: function() {
// DOM-элемент задания сформирован (доступен через #getDOMElement())
//Добавляем служебные переменные
var $root = $(this.getDOMElement());
var _this = this;
var solution = TolokaHandlebarsTask.prototype.getSolution.apply(this, arguments);
$root.on('change', '.res', function(){
var range_result = $(this).val()
_this.setSolutionOutputValue('result', range_result);
return solution;
})
}
Расширить окно HTML не получится. Чтобы раскрыть поля JS и CSS, кликните в любую область в пределах поля.
Заключите входное поле в двойные фигурные скобки {{text}}
.
Заключите входное поле в тройные фигурные скобки {{{input_field}}}
.
Подробнее об использовании компонента можно узнать в Руководстве заказчика.
Для решения задачи с динамическим количеством выходных полей воспользуйтесь рекомендациями с этой страницы.
Мы не задумывали, что в этом окошке будет вестить какая-то сложная разработка. Как правило, контент подготавливают в стороннем редакторе, который имеет подсветку, а в окошко копируют готовый вариант перед обновлением.
В аспекте доступности TolokaHandlebars для редактирования нет отличий между нашим окошком и редактором.
Чтобы текст из входного поля отображался с HTML-тегами, можно использовать <pre>
. Например:<pre>{{text}}</pre>
.
.task {
max-width: 800px;
}
pre {
white-space: pre-wrap;
}
Если после сохранения инструкции пропадают теги или атрибуты (например, checked="true"
), значит они не поддерживаются. Полный список допустимых в инструкции тегов можно найти в руководстве.
Входные и выходные данные
Пример шаблона задания по выделению групп изображений вы найдете по ссылке. Входные и выходные данные, а также фрагмент инструкции — в комментариях к проекту.
Для проверки формата ввода данных можно использовать тип выходного поля с указанием допустимых или минимальных/максимальных значений. Например, для ИНН создайте выходное поле с типом «строка» и укажите минимальную и максимальную длину (например, 10 и 12). Для более сложной проверки введённых данных в шаблоне, используйте RegExp.
Для ввода даты можно добавить в интерфейс задания календарь. Пример календаря вы найдете здесь.
Диапазон не будет являться фиксированным значением.
Когда скачиваете файл с результатами, поставьте галочки Время старта и Время отправки. В файле будут точные дата и время, когда исполнитель взял страницу заданий на выполнение и отправил ее в формате UTC.
Если вы передаёте тексты во входные данные, то достаточно загрузить в пул 2 разных задания: в одном из них в поле INPUT: <имя входного поля>
вы передадите текст № 1, в другом — текст № 2.
Если текст в самом шаблоне задания, в блоке HTML, то нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания. Можно назначить навык или заблокировать исполнителя, после того, как он отправит один ответ.
Настройки пула
Фильтры
- получил значение навыка ниже значения в поле Уровень прохождения;
- не выполнил ни одного задания, к которому привязано обучение, в течение этого срока.
- Загрузите файл с заданиями при помощи Умного смешивания.
- Укажите
student
в качестве правильного ответа на вопрос. Остальные вопросы не учитывайте (оставьте поля пустыми или не ставьте галочку). - Добавьте в пул правило Контрольные задания :
если процент правильных контрольных ответов = 100, то установить значение навыка Студент = 1
.
Да, можно. В фильтрах выберите . Обратите внимание, что данные профиля вводит сам пользователь при регистрации в Толоке. Рекомендуем использовать фильтры Регион по номеру телефона и Регион по IP.
Да, конечно, один и тот же навык можно назначать и использовать на различных проектах. Но чаще всего один навык используется в рамках одного проекта. Если исполнитель хорошо выполняет одно задание, это не значит, что он так же успешно справится с другим. Кроме того, используя фильтры по давно настроенным навыкам, вы ограничиваете количество доступных исполнителей.
Если речь идет о нескольких проектах, то так сделать не получится.
Вы можете перенести все в один проект и в блоках контроля качества использовать параметр Помнить значения. Примеры вы можете посмотреть в статье Контрольные задания.
Использовать Агрегацию результатов по навыку можно, но вам придется перечислить все возможные значения, что, вероятно, будет не очень удобно делать. Возможно, подойдет другой способ агрегации.
Возможно, в вашем проекте поля выходных данных, которые вы хотите агрегировать, не имеют допустимых значений. На данный момент необходимо указывать возможные значения для всех типов выходных полей.
Назначить навык в основной версии Толоки можно только для пользователей, которые выполнили хотя бы одно ваше задание. Любому пользователю назначить навык возможности нет. Чтобы ограничить поток пользователей, которые увидят ваш проект, можно воспользоваться фильтрами. Например, указать город, дату рождения, пол или какие-то другие параметры, которые есть у нужных вам исполнителей.
Задания из открытого пула доступны всем пользователям, которые подходят под фильтры в пуле. Вы можете ограничивать доступ, например по навыку.
Вашим пользователям будет нужно пройти обучение заново.
Чтобы задание было доступно в мобильном приложении, поставьте в пуле фильтр: клиент = мобильная Толока
.
Если пользователь не проходит по фильтру или по рейтингу, увидеть задание у него не получится. Можно только убрать такой блокирующий фильтр из пула. Протестировать задание можно в Песочнице, добавив нужного пользователя в список доверенных.
Можно, чтобы отобрать исполнителей для пула используйте фильтры.
Клиент = веб-версия
или
= мобильная Толока
Вы можете назначить им навык по результатам выполнения заданий в предыдущих пулах. Этот навык укажите в качестве фильтра в новом пуле.
Укажите этот навык в качестве фильтра и в качестве значения установите пустое поле (это равносильно тому, что навык отсутствует).
Если у пользователя уже есть навык, то добавить ему этот же навык из интерфейса проверки задания нельзя. Можно зайти в профиль пользователя и отредактировать значение навыка.
Если навык публичный или обучающий, то видят — им приходит сообщение об этом.
Такой возможности нет. Если навык публичный, то исполнитель видит его в своем профиле.
Заказчику не доступна полная информация о каждом конкретном исполнителе. Например, заказчик не видит дату рождения, пол, фамилию и имя. При этом фильтры по дате рождения и полу в настройках пула ему доступны, поскольку они позволяют отобрать группу исполнителей, не получая информации о каждом в отдельности. Это уменьшает риск деанонимизации пользователей.

Контроль качества
Обязательно используйте один или несколько способов контроля качества.
Подсчет быстрых ответов имеет смысл для большинства заданий.
Если в задании нужно выбрать вариант ответа (например, в флажка), его лучше проверить с помощью мнения большинства или контрольных заданий.
Если задание подразумевает ответ в виде текста, ссылки, загруженного фото и т. д., оптимальным методом контроля качества является отложенная приемка. Приемку заданий можно поручить исполнителям. Создайте задания с вопросом (например, «Правильно ли переведена фраза?») и вариантами ответов (например, «да»/«нет»). Настройте перекрытие и проверку мнением большинства.
Если задание похоже на опрос (например, выбрать более приятные картинки из ряда), мнение большинства не подходит для контроля качества. Составьте контрольные задания с искусственно созданными примерами, где выбор более очевиден.
Подсчет навыка для каждого пула отдельно. Текущее значение навыка — это значение навыка в пуле, который выполнялся последним. Такой вариант удобен, если:
Пулы предназначены для разных групп исполнителей (например, настроены фильтры по городам, странам).
Пулы запускаются последовательно, и вы не хотите учитывать качество ответов в предыдущих пулах при подсчете навыка в выполняемом пуле.
Этот способ подсчета действует по умолчанию при добавлении блока контроля качества в пул. Для блока по контрольным заданиям оставьте пустым поле Сколько последних значений учитывать.
Подсчет навыка по всем выполненным заданиям в проекте. Такой вариант удобен, если пулы небольшие и вам не нужно рассчитывать навык для каждого пула.
Этот способ подсчета доступен только для навыков по контрольным заданиям. Чтобы использовать его, заполните поле Сколько последних значений учитывать в блоках контроля качества в пулах.
- Нет
- Не показывать капчу.
- Низкая
- Показывать капчу каждые 20 страниц заданий.
- Средняя / Высокая
- Показывать капчу каждые 10 страниц заданий.
- Нет
- Не показывать капчу.
- Низкая
- Показывать капчу каждые 20 страниц заданий.
- Средняя / Высокая
- Показывать капчу каждые 10 страниц заданий.
Вы остановили обучающий пул, и тем самым ограничили количество исполнителей имеющих доступ к заданиям. Запустите обучающий пул снова. Исполнителей, которым доступны задания, станет больше.
- Установлены слишком жесткие фильтры, например строгое ограничение по навыку, которого нет у большинства пользователей.
- Слишком много пользователей заблокированы. Сделайте правила контроля качества мягче.
Настройка блоков контроля качества зависит от типа заданий. Ниже приводятся общие рекомендации:
Рекомендуем добавлять не менее 1% контрольных заданий в пул. Чтобы отсеивать исполнителей, используйте блок контроля качества Контрольные задания . Чтобы ранжировать исполнителей по качеству ответов на контрольные задания, используйте навык.
Правило контрольных заданий начинает действовать после того, как исполнитель дал ответы на заданное число контрольных заданий. Если у вас в пуле есть и обучающие, и контрольные задания, то вы можете установить учитывать ответы на те и другие (параметр Количество ответов) или только на контрольные (параметр Количество контрольных ответов).
Как только нужное количество ответов набрано, Толока подсчитывает процент правильных и неправильных ответов и выполняет действие (назначить навык, заблокировать в пуле или на проекте). Далее этот процент обновляется по мере выполнения заданий исполнителем. Количество последних ответов исполнителя, которое учитывается в расчете, задается в поле Сколько последних значений учитывать. Если оставить его пустым, будут учитываются все ответы исполнителя в пуле.
Лучше использовать один навык в проекте. Можно выбрать способ подсчета навыка:
Обучающие и контрольные задания будут иметь спецификацию проекта. Но вы можете сделать отдельный проект и разместить в нем необходимые задания, а потом по ответам из них назначить навык, по которому вы будете допускать исполнителей к основному проекту.
Экзаменационным мы называем пул, в котором содержатся только контрольные задания. Он обычно делается небольшим и служит для проверки того, как пользователи научились выполнять задание после чтения инструкции и прохождения обучения. В отличие от пула для основной разметки, ответы на все задания вам уже известны. Стоимость можно установить нулевой.
По результатам ответов на контрольные задания вы можете назначить пользователям навык и далее указать его в основном пуле в качестве фильтра. Например, МойНавык = 80 или = отсутствует
. Составление экзамена не обязательно — в простых заданиях достаточно тренировки, но многие заказчики используют также и экзамен.
Да, в настройках быстрых ответов указывается время за выполнение 1 страницы с заданиями.
Действительно, при копировании настроек фильтров и контроля качества уже добавленные вручную настройки заменяются. Мы предупреждаем об этом в окне копирования настроек.
Действительно, такое правило выглядит слишком строго. Даже самый внимательный пользователь может ошибиться — правило лучше сделать менее строгим. Помимо блокировки у отдельных заказчиков, у нас есть системные процессы, которые блокируют в Толоке пользователей, которые систематически проваливают проверку капчей.
К сожалению, да, может. Поэтому мы рекомендуем перед боевым заданием делать обучение или экзамен, чтобы до боевого пула добирались только те, кто хорошо прошел предыдущий этап отбора.
При загрузке заданий используйте умное смешивание, тогда экзамен будет с бесконечным перекрытием.
Однако это чревато тем, что вы будете тратить на экзамен много денег. Возможно, его стоит открывать тогда, когда открывается боевой пул, и закрывать, когда разметка боевого пула завершается.
Вы можете добавить обучающий пул, чтобы протестировать исполнителей. По результатам прохождения тестирования выдавайте навыки исполнителям в соответствии с тем, что они хорошо выполняют.
Затем откройте пулы только для пользователей, имеющих определенный навык — для этого используйте фильтры.
Рейтинг исполнителей не ухудшится: даже если вы будете устанавливать блокировку пользователей на проекте по результатам тестирования, это не повлияет на рейтинг толокера.
Вы можете загрузить боевые и контрольные задания по отдельности, разными файлами.
Если пользователю уже начислены деньги за задания, то обратно их не вернуть.
Да, может, если оба пула ему доступны. Чтобы ограничить доступ исполнителя к следующим заданиям, используйте правило Выполненные задания — выберите блокировку на проекте.
Нет, ответы такого исполнителя автоматически не исключаются из итогового файла.
Но вы можете это сделать самостоятельно. Для этого при скачивании результатов поставьте галочку Не учитывать ответы заблокированных пользователей. Также вы можете отправить все ответы заблокированных пользователей на повторное выполнение другим толокерам — для этого используйте правило.
Да, можно. В этом случае первый обучающий пул нужно сделать на базе тренировочного пула, а второй — экзамен — на базе основного пула. Если в нем будут только контрольные и/или обучающие задания, такой пул может иметь нулевую стоимость.
В экзаменационном пуле можно назначить навык, который будет определять результат сдачи экзамена и служить допуском в основной пул. Например: если количество ответов ≥ 10, то установить навык из поля <экзаменационный навык> % правильных ответов
. В требованиях к пользователям экзаменационного пула укажите: <экзаменационный навык> < 80 или = отсутствует>
. Установите в основном пуле фильтр: <экзаменационный навык> >= 80 и (<основной навык> >= 70 или = отсутствует)
. Значения навыка вы сможете подобрать в зависимости от того, насколько хорошо пользователи справляются с вашим заданием.
Капча используется обычно в простых проектах с автоприемкой: классификация, категоризация, поиск информации; то есть там, где мало вариантов ответов, не нужно загружать файлы или писать тексты. Она позволяет отсеивать ботов и исполнителей, которые размечают очень небрежно.
Процент правильных ответов определяется исходя из общего количества обработанных исполнителем капч в пределах «окна», указанного в поле Сколько последних значений учитывать. Если значение в поле не указано, то в расчет попадают все капчи, которые появляются при выполнении заданий пула, использующего данное правило.
Считаются все ответы в задании. Если на какой-то вопрос ответ отличается, результат всего задания засчитывается как несовпадающий с ответами других исполнителей.
Нет, при такой настройке каждый раз, когда будет выполняться условие правила, исполнителю будет устанавливаться навык = 1
. Чтобы изменять значения по мере проверки заданий, понадобится «ступенчатое» правило (несколько одинаковых правил) с разным значением параметра Количество проверенных ответов.
Технически с одним заданием в обучении — никак. Навык будет или 0
, или 100
. Рекомендуем добавить несколько задний, хотя бы 2: на первом исполнитель потренируется, а второе сможет уже выполнить верно. Тогда можно начать допускать к основному пулу со значением навыка 50
.
Также вы можете создать обучающий пул на основе обычного. Назначайте навык правилом Контрольные задания — тогда к основному пулу вы можете допустить пользователей с любым уровнем навыка, даже нулевым. Но мы бы не советовали допускать к разметке тех, кто не справился с обучением.
Нет. Но вы можете создать обучающий пул с тренировочными заданиями на базе обычного пула и выставить там отложенную приемку.
Нет, не видят.
Если вы передаете тексты во входные данные, то достаточно загрузить в пул 2 разных задания: в одном из них в поле INPUT:<имя входного поля>
вы передадите текст № 1, в другом — текст № 2. А если текст в самом шаблоне задания в блоке HTML, то да, нужно клонировать проект. Чтобы исполнитель мог сделать только одно задание в вашем проекте, используйте правило Выполненные задания . Можно назначить навык или заблокировать исполнителя после того, как он отправит один ответ.
Нет, пользователи не знают о блокировке.
Сами задания не переносятся, только конфигурация проекта и настройки выбранного пула. Но вы можете скачать размеченные задания из пула в Песочнице и загрузить их в созданный пул. Чтобы скачать только контрольные задания (если вы размечали их в интерфейсе), зайдите в Разметчик, затем во вкладку Контрольные задания и нажмите Скачать.
В поле Сколько последних значений учитывать указывается количество последних ответов исполнителя. Если у вас задание с отложенной приемкой, то, чтобы настроить правило по вашей логике, необходимо указать 3
в параметре Количество проверенных ответов.
Чтобы выполнять действия с пользователями (назначение навыка, блокировка), основываясь на мнении большинства, нужно добавить в пул соответствующее правило.
Не забудьте включить опцию Сохранять порядок заданий в параметрах пула. Мнение большинства применяется на проектах с заданными значениями (с радиобаттонами или чекбоксами). Для полей со свободным вводом или файлов это правило работать не будет.
Чтобы ответ на контрольное или обучающее задание был засчитан как верный, он должен полностью совпасть с эталоном. Для этого текст нужно нормализовать с помощью JavaScript: удалить пробелы, знаки препинания, специальные символы и заглавные буквы, а результат записать в отдельное выходное поле. Такой обработанный ответ можно уже сравнивать с контрольным.
Другой вариант отбора исполнителей для проекта такого типа - отложенная приемка.
Это количество любых ответов на контрольные вопросы.
Вы можете создать пул заданий для всех исполнителей и выделить в нем навыки, присвоенные исполнителям. Тогда вы сможете открывать задания только для тех исполнителей, которые имеют нужные навыки. Это не должно повлиять на их рейтинг.
Даже если вы остановите работу исполнителя, наложив запрет на проект, это также не отразится на его рейтинге.