Без тестирования не обходится практически ни одна образовательная программа. Оно позволяет оценивать уровень знаний и навыков тестируемых и эффективность образовательной активности. Вопросы тестирования должны быть не только фактически верными, но и соответствовать стандартам тестирования (например, Российскому стандарту тестирования персонала или Стандартам педагогического и психологического тестирования AERA, APA и NCME).

Почему это важно?

В случае если вопрос не удовлетворяет стандартам, то он рискует не выполнить свою задачу. Например, вы составили тестирование, которое должно измерить прирост знания по итогу курса, а вопросы сформулированы по принципу «угадайки» и фактически не дают оценить наличие тех или иных компетенций. Кроме того, такое тестирование вполне может ухудшить образовательный опыт, что негативно отразится на метриках удовлетворенности и доходимости.
В рамках этой статьи мы расскажем об одном из самых популярных видов тестирования — тестовые задания с единственным и множественным выбором Multiple Choice Questions, посмотрим на преимущества и недостатки, примеры использования, а также обсудим рекомендации по составлению таких вопросов.


Multiple choice questions: преимущества, недостатки и примеры использования

При оценивании в обучении часто используются тестовые задания с выбором из предложенных ответных опций, известные как Multiple Choice Questions (MCQ). Для ответа тестируемому предлагается выбрать один или несколько верных ответных опций, которые ему кажутся верными. Эти задания широко распространены благодаря своей эффективности и простоте использования.

Какие преимущества и недостатки у этого метода оценки?

Преимущества

• Объективность оценки: вопросы закрытого типа не требуют субъективной оценки третьим лицом, что позволяет обеспечить справедливую оценку.
• Легкость проверки: благодаря заранее заданным вариантам ответов возможно автоматизировать процесс проверки, что существенно ускоряет и упрощает оценку больших объёмов тестов.
• Эффективность проверки знаний: есть возможность проверить широкий спектр компетенций в короткие сроки, так как для проверки одной компетенции нужно всего от трех вопросов, а время ответа на них будет сравнительно небольшим.
• Стандартизация тестирования: все тестируемые отвечают на одни и те же вопросы, что обеспечивает равные условия.
• Универсальность: этот тип вопросов можно использовать для проверки знаний из разных областей.
• Масштабируемость: оценить любое количество тестируемых можно быстро и экономично, что делает MCQ идеальным форматом как для крупномасштабного тестирования, так и для мелкомасштабного.
• Возможность использования в дистанционных условиях: MCQ легко переносятся в онлайн-формат, что особенно актуально для современных дистанционных форм обучения.

Недостатки

• Ограниченность: вопросы с выбором ответа хорошо проверяют знание и понимание, но гораздо сложнее применять их для оценки образовательных результатов на более высоких уровнях. Однако по этому поводу есть разные мнения: например, существуют приемы составления MCQ, позволяющие оценить уровень применения и анализа по таксономии Блума.
• Невозможность измерить сложные конструкты: вопросы MCQ не позволяют измерять сложные конструкты, такие как креативное мышление. Для них нужно использовать другие инструменты оценивания — например, симуляционное или геймифицированное тестирование.
• Вероятность угадывания: несмотря на то что риск угадывания можно минимизировать, используя подходящее количество вопросов в тесте, ответных опций, а также обеспечивая надлежащее их качество, вероятность случайного выбора правильного ответа остаётся.
• Непростой процесс подготовки вопросов: создание хорошего вопроса, который проверяет именно желаемые компетенции, может быть затруднительным, несмотря на кажущуюся простоту — требуются значительные усилия, время и специализированные навыки.
• Риск использования менее глубоких стратегий обучения: при подготовке к тестированию в формате MCQ студенты могут фокусироваться на запоминании информации, не стремясь к глубокому пониманию материала, что может отрицательно сказаться на общем уровне образования.

Примеры использования MCQ на практике

• При необходимости проведения массовых тестирований, таких как вступительные экзамены в университеты или квалификационные профессиональные тесты.
• В случаях, когда нужно быстро и эффективно оценить знания по широкому спектру тем.
• Для начальных этапов отборочных процессов кандидатов, где требуется оперативно сократить количество претендентов.

В каких случаях формат вопросов MCQ, скорее всего, не подойдет

• В дисциплинах, требующих подробного анализа или креативного подхода, таких как гуманитарные науки или искусство.
• Если важно оценить не только конечный ответ, но и логику размышления тестируемого. Вопросы MCQ не нацелены на выявление того, как студент строит логические цепочки.

Рекомендации по созданию тестовых заданий формата multiple-choice

Создание качественных тестовых заданий — основной этап разработки измерительных инструментов в образовании. Такие задания должны надежно измерять компетенции тестируемых. Грамотно составленные вопросы помогают обеспечить объективность и точность тестирования, минимизируя риски угадывания и влияния посторонних факторов. Ниже мы рассмотрим ключевые рекомендации по разработке MCQ.


Проверяем формат вопроса и количество ответных опций
Убедитесь, что ваш вопрос соответствует формату MCQ и включает достаточное количество ответных опций. Обычно это четыре варианта ответа с опцией выбора единственного правильного. Если у вопроса только два варианта ответа, вероятность угадать правильный ответ составляет 50%, что снижает точность оценки знаний тестируемых. При этом важно не переборщить, так как большое количество опций может сбивать с толку: тогда помимо знаний на выбор ответа начинают влиять объем рабочей памяти и индивидуальные характеристики внимания.

Пример правильного формата
Какой газ необходим для процесса фотосинтеза?
А) Углекислый
Б) Природный
В) Угарный
Г) Азотный

Пример неправильного формата
Кислород необходим для процесса фотосинтеза?
А) Да
Б) Нет


Проверяем формулировку задания
Формулировка стема (вопроса или задания) должна быть четкой, объективной и актуальной. Четкость означает, что вопрос не должен содержать двусмысленностей или сложных для понимания конструкций. Объективность предполагает отсутствие субъективных мнений или предположений. Актуальность подразумевает, что вопрос соответствует текущему уровню знаний и интересам тестируемых, а также то, что вопрос не устарел. Нечеткие или двусмысленные вопросы могут вызвать неправильное понимание задания у тестируемых, что приведет к некорректной оценке их знаний; необъективные вопросы не измеряют знания, а собирают мнения людей.

Пример корректной формулировки
Какое из перечисленных химических соединений является кислотой?
А) NaCl
Б) H2SO4
В) NH3
Г) CH4

Пример необъективной формулировки
Какое из следующих соединений лучше всего растворяется?

Пример неактуальной формулировки
Какое из перечисленных химических соединений использовалось вчера на практической работе?

Пример нечеткой формулировки
Какое из перечисленных соединений отличается от остальных?


Проверяем ответы: нет противоречий
Ответы не должны противоречить друг другу или вопросу. Например, если одна из опций верна, другие не должны включать частично правильную информацию. Это может запутать тестируемых.

Пример непротиворечивых ответов
Какой из перечисленных элементов является неметаллом?
А) Железо
Б) Медь
В) Кислород
Г) Серебро

Пример противоречивых ответов
из каких атомов состоит молекула воды?
А) Из двух атомов водорода и одного атома кислорода
Б) Из атомов неметаллов
В) Из H2O
Г) Вода не состоит из атомов


Проверяем ответы: единообразие
Ответы должны быть одинаковыми по длине и структуре. Если один вариант ответа значительно длиннее других или выделяется иным образом, тогда помимо измеряемых компетенций на правильность выбора будет влиять способность удерживать внимание и сравнивать различные характеристики. Старайтесь делать все ответы схожими по форме и стилю.

Пример единообразных ответов
Из каких атомов состоит вода?
А) Из двух атомов водорода и одного атома кислорода
Б) Из двух атомов кислорода и одного атома водорода
В) Из трех атомов водорода и одного атома кислорода
Г) Из одного атома водорода и трех атомов кислорода

Пример неединообразных ответов
Какое из следующих утверждений о воде верно?
А) Она содержит кислород и азот
Б) В воде нельзя что-то растворить
В) Вода имеет жидкую форму при температуре 150 градусов по Цельсию и давлению 1 000 атм
Г) Это соединение


Проверяем вопрос в целом: емкий и не перегруженный, нет лишней информации
Вопросы должны быть краткими и содержательными, без излишней информации, которая может отвлекать тестируемого. Каждое слово в вопросе и ответах должно быть на своем месте и служить определенной цели — измерению компетенций тестируемого.

Пример емкого вопроса
Какая планета самая большая в Солнечной системе?
А) Земля
Б) Юпитер
В) Сатурн
Г) Нептун

Пример перегруженного вопроса
Солнечная система состоит из восьми планет: это Меркурий, Венера, Земля, Марс, Юпитер, Сатурн, Уран и Нептун. Какая из этих планет имеет самый большой диаметр?
А) Земля
Б) Юпитер
В) Сатурн
Г) Нептун

В рамках статьи мы рассмотрели один из самых популярных видов тестирования — тестовые задания с единственным и множественным выбором, сформулировали рекомендации по их составлению, которые уже сейчас можно использовать в ваших образовательных программах. Следующий этап работы — оценка эффективности тестирования. В следующей статье мы расскажем про основные психометрические параметры тестирования — надежность, валидность, трудность и дискриминативность теста. Посмотрим, как убедиться в том, что ваше тестирование действительно работает.

На главную альманаха →