Как сгенерировать тест нейросетью и не пропустить ошибки

Нейросеть быстро пишет черновик теста: вопросы, варианты ответов и ключ. Чат-боты вроде Алисы, GigaChat, ChatGPT или DeepSeek справятся с этим за пару минут, если дать им тему, источник и формат. Но черновик не готовый тест. Правильный ответ может оказаться неправильным, среди вариантов найдутся два верных, а подсказка спрячется в формулировке. Поэтому работа делится на три части: нейросеть пишет, человек проверяет ключ, конструктор считает баллы и показывает результат.

Учебный пример здесь один, тест «Обыкновенные дроби» для 5 класса. Тема выбрана потому, что любую ошибку в ней видно без справочника. Пример вымышленный, это не отчёт о работе какой-то конкретной нейросети. Тот же порядок подходит для теста по регламенту для новых сотрудников, по продукту для менеджеров или по технике безопасности.

Что нейросеть делает хорошо, а что проверять самому

Нейросеть экономит время на самом скучном: придумать двадцать формулировок и по три правдоподобных неверных варианта к каждой. С фактами сложнее. Модель пишет уверенно даже там, где ошибается, и без источника может не отличить верный ответ от похожего на верный. Она похожа на старательного практиканта: пишет быстро и уверенно, а проверять за ней всё равно вам.

Последняя строка важнее, чем кажется. Чат-бот выдаст текст вопросов, но не пришлёт ссылку для класса, не посчитает баллы тридцати учеников и не сохранит их ответы. Для этого тест переносят в конструктор.

Промпт для генерации теста

Чем точнее запрос, тем меньше потом исправлять. Скопируйте поля из таблицы и замените примеры в правой колонке своими.

Ключ отдельным списком нужен не для красоты. Когда ответы стоят сразу под вопросом, при переносе в конструктор их легко перепутать. Отдельный ключ к тому же удобно сверять построчно.

Персональные данные в запрос не вставляйте: ни фамилий учеников, ни ответов сотрудников. Нейросети для генерации нужен только учебный материал.

Где нейросеть ошибается: что проверить в черновике

Ошибки в сгенерированном тесте повторяются, и их удобно ловить по списку. Вот как они выглядят на нашем примере с дробями.

Седьмой пункт проще всего закрыть в конструкторе: в stepFORM у элемента с вариантами есть случайный порядок пунктов, и он меняется при каждом открытии формы. Первые шесть проверяет только человек. На десять вопросов это обычно занимает меньше времени, чем написать их с нуля, но пропускать этот шаг нельзя: тест с неверным ключом снижает баллы тем, кто ответил правильно.

Если ошибок много, не правьте их по одной. Попросите нейросеть переписать вопрос заново с тем же источником или сократите тему. Широкая формулировка вроде «тест по математике за 5 класс» почти гарантирует вопросы мимо того, что вы проходили.

Один вопрос до и после проверки

Так может выглядеть вопрос из черновика:

Ошибка неочевидная: ключ верный, и при беглой проверке вопрос кажется нормальным. Ученик, выбравший 3/6, ответил правильно, а получит ноль. Поэтому проверяют и ключ, и каждый неверный вариант.

Как попросить нейросеть исправить черновик

Иногда быстрее отправить черновик обратно с уточнением, чем править вручную. Несколько запросов, которые помогают:

• «Реши каждый вопрос заново и покажи решение, потом сравни со своим ключом». Так модель иногда находит свои ошибки, но не все, поэтому человеческая проверка остаётся.
• «Проверь, нет ли в вопросах второго правильного варианта». Полезно для тем с равными величинами, синонимами и датами.
• «Перемешай правильные ответы так, чтобы они стояли на разных местах». Впрочем, в конструкторе порядок можно перемешать и так.
• «Сделай три уровня: 4 простых, 4 средних и 2 сложных вопроса». Так проще выставить пороги результата.

Если нейросеть настаивает на неверном ответе, не спорьте с ней в чате. Исправьте ключ сами и сверьтесь с источником.

Как собрать проверенный тест в stepFORM

В stepFORM нет встроенной нейросети, поэтому вопросы переносят из проверенного черновика вручную. Зато дальше конструктор делает то, чего не умеет чат-бот: даёт ссылку на тест, считает баллы, показывает результат и сохраняет ответы. Порядок такой:

1. Вопросы. Каждый вопрос с одним правильным ответом добавьте элементом «Одиночный выбор», варианты перенесите из черновика. В настройках элемента включите случайный порядок пунктов.
2. Баллы. Откройте редактор формулы. В блоке «Значения полей» у каждого варианта есть значение: поставьте 1 правильному ответу и 0 остальным.
3. Сумма. В блоке «Формулы» сложите значения всех вопросов. Итог формулы и есть балл за тест.
4. Результаты. В «Логике переходов» задайте условия по баллам, например 9-10, 6-8 и 0-5, и для каждого диапазона свою страницу с результатом и комментарием. Пример таких условий есть в справке про разные результаты теста.
5. Проверка. Пройдите тест трижды: на все правильные ответы, на все неправильные и вперемешку. Сумма и экран результата должны совпасть с тем, что вы ожидаете по ключу.
6. Публикация. Раздайте ссылку или вставьте тест на сайт кодом. Ответы появятся во вкладке «Ответы», а выгрузка в CSV и XLSX доступна с тарифа «Новичок».

Подробнее о сборке, если вы делаете тест впервые, в статье как создать тест онлайн бесплатно. Если тест нужен для сотрудников, пригодится разбор про тестирование сотрудников: там о проходном балле и разборе результатов.

Вопросы с вводом числа

Не все вопросы удобно задавать с вариантами. В задаче «Сколько двенадцатых в дроби 3/4?» вариантов нет, есть число 9. В stepFORM для этого подойдёт поле ввода с настройкой «Только числовой ввод», а баллы за такой вопрос считают формулой с условием: если введено 9, вопрос даёт 1 балл, иначе 0. Логические выражения в формулах stepFORM поддерживает. Попросите нейросеть сразу пометить, какие вопросы она предлагает задать с вводом ответа, и дать к ним точное число.

У вопросов с вводом свой риск: ответ можно записать по-разному. Дробь, десятичная запись, число с единицами измерения. Формулируйте такой вопрос так, чтобы правильный ответ был одним целым числом.

Кому подходит такой способ

• Учителям для текущих проверочных: десять вопросов по параграфу, ссылка для класса, баллы без ручного подсчёта.
• Обучению сотрудников: вопросы по регламенту или продукту после вводного курса. Источник здесь обязателен, о вашей компании нейросеть ничего не знает.
• Тренерам и авторам курсов: короткий тест после урока, чтобы участник увидел, что стоит повторить.
• Маркетологам: тест, который приводит заявки. Это отдельная задача со своей логикой, о ней в статье как сделать тест, который приносит заявки.

Что поместится в бесплатный тариф

Формулы и «Логика переходов» есть на всех тарифах, включая «Нулевой». Тесно там с объёмом: 3 страницы в форме, 30 элементов и 50 ответов в месяц. Если каждый результат вынесен на свою страницу, три страницы закончатся быстро: одна уйдёт на вопросы, две на результаты. Проверить механику бесплатно можно, а тест с тремя экранами результата удобнее собирать на «Новичке».

Посчитайте страницы заранее. Десять вопросов по одному на странице и три экрана результата дают 13 страниц, больше, чем на «Новичке». Поставьте вопросы по два на страницу, тогда хватит восьми, или берите «Профи». Для класса из тридцати человек 50 ответов в месяц хватит на одно прохождение с небольшим запасом. Все условия на странице тарифов.

Когда генерация не сэкономит время

• Тема узкая и своя. Регламент компании, внутренний продукт, локальные правила. Без вставленного источника нейросеть будет додумывать, а исправлять придётся почти всё.
• Нужны задачи с расчётом. Модель может ошибиться в арифметике, особенно в многошаговых задачах. Каждый ответ всё равно придётся решить самому.
• Тест решает что-то важное. Аттестация, допуск к работе, итоговая оценка. Здесь ключ проверяют двое, а вопросы сверяют с документом построчно.
• Вопросов пять. Их быстрее написать самому, чем объяснять нейросети формат.

Перед публикацией теста

• Каждый ключ сверен с источником или решён вручную.
• В каждом вопросе ровно один верный вариант.
• Правильный ответ не выдаёт себя длиной и формулировкой.
• Включён случайный порядок вариантов.
• Баллы стоят у правильных вариантов, формула складывает все вопросы.
• Три тестовых прохождения дали ожидаемые суммы и экраны результата.

Частые вопросы