Преимущества и недостатки компьютерного тестирования. Создание тестов и компьютерное тестирование
Преимуществами компьютерного тестирования являются:
- * Объективность. Исключается фактор субъективного подхода со стороны экзаменатора. Обработка результатов теста проводится через компьютер.
- * Валидность. Исключается фактор "лотереи" обычного экзамена, на котором может достаться "несчастливый билет" или задача - большое количество заданий теста охватывает весь объем материала того или иного предмета, что позволяет тестируемому шире проявить свой кругозор и не "провалиться" из-за случайного пробела в знаниях.
- * Простота. Тестовые вопросы конкретнее и лаконичнее обычных экзаменационных билетов и задач и не требуют развернутого ответа или обоснования - достаточно выбрать правильный ответ и установить соответствие.
- * Демократичность. Все тестируемые находятся в равных условиях, результаты тестирования прозрачны.
- * Массовость и кратковременность. Возможность за определенный установленный промежуток времени охватить итоговым контролем большое количество тестируемых. При этом оставшееся время использовать на изучение нового материала или закрепление старого.
- * Технологичность. Проведение экзамена в форме тестирования весьма технологично, так как позволяет использовать автоматическую обработку.
- * Достоверность информации об объеме усвоенного материала и об уровне его усвоения.
- * Надежность. Тестовая оценка однозначна и воспроизводима.
- * Дифференцирующая способность. За счет наличия заданий различного уровня трудности.
- * Реализация индивидуального подхода в обучении. Возможна индивидуальная проверка и самопроверка знаний учащихся.
Наряду с преимуществами у компьютерных методов есть и свои недостатки:
1) Общение человека с компьютером имеет свою специфику, и не все одинаково спокойно относятся к компьютерному тестированию. Например, если процедура тестирования затянется или содержание теста не заинтересует человека, положительный настрой может смениться противоположным: будут утомлять и раздражать однообразие и монотонность работы, "глупость" вопросов и заданий. Иногда негативное отношение к компьютерному тестированию бывает вызвано и отсутствием обратной связи. А когда тестируемый человек не получает обратной связи, возрастает вероятность ошибочных ответов (можно неверно понять инструкцию, перепутать клавиши для ответов и др.).
Были проведены специальные исследования, чтобы определить, как люди относятся к компьютерному тестированию. Оказалось, что у некоторых людей возникает так называемый эффект психологического барьера, а у некоторых - эффект сверхдоверия. Бывает, человек вообще не способен справиться с заданием потому, что "боится" компьютера. Возможно и включение психологических защитных механизмов, связанных с нежеланием тестируемого раскрываться, стремлением избежать излишней откровенности или намеренным искажением результатов.
- 2) При компьютерном тестировании специалисты имеют дело только с полученными результатами. Они не видят тестируемого, не общаются с ним, а значит, не владеют о нем дополнительной информацией, не могут выяснить его действительный объем знаний.
- 3) Тестовый контроль не способствует развитию устной и письменной речи учащихся.
- 4) Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.
- 5) В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.
Компьютерное тестирование – недавно возникшее направление психодиагностических исследований (обследований), связанное с использованием средств электронно-вычислительной техники. Появление компьютерной психодиагностики обусловлено развитием информационных технологий. Попытки автоматизировать предъявление стимульного материала испытуемому и последующую обработку результатов предпринимались начиная с 30-х гг. XX в. Но лишь с 70-х гг. начинается подлинное развитие компьютерной психодиагностики в связи с появлением персональных компьютеров. С 80-х гг. компьютерные тесты разрабатываются в массовых масштабах. Сначала как компьютерные версии уже известных бланковых методик, а в 90-е гг. как специальные методики, учитывающие возможности современной техники и неупотребимые в бланковом виде, поскольку рассчитаны на сложный, изменяющийся в пространстве и времени стимульный материал, специфическое звуковое сопровождение и т. п. Начало XXI века отмечено тем, что все чаще управление тестированием передается компьютеру. Если в прошлые годы автоматизировались отдельные стадии исследования, например предъявление материала (очень удобно использовать компьютер вместо тахис-тоскопа), обработка данных (особенно громоздких в обработке тестов типа MMPI, 16PF, социометрии), интерпретация результатов (тест Люшера), то на современном этапе все чаще можно встретить программы, которые берут на себя все обследование целиком, вплоть до постановки диагноза, что сводит необходимость присутствия психолога к минимуму. И в этом есть свои плюсы и минусы.
Безусловными достоинствами компьютерных тестов (КТ) являются: быстрое проведение; высокая скорость и безошибочность обработки; возможность безотлагательного получения результатов; обеспечение стандартных условий тестирования для всех испытуемых; четкий контроль процедуры тестирования (невозможен пропуск вопросов, при необходимости может быть фиксация времени каждого ответа, что особенно важно для тестов на интеллект); возможность исключения психолога как дополнительной переменной (что имеет особое значение при проведении экспертизы); наглядность и занимательность процесса (поддержка внимания с помощью цвета, звука, игровых элементов, что особенно важно для обучающих программ); легкая архивация результатов; возможность объединения тестов в батареи (пакеты программ) с единой итоговой интерпретацией; мобильность экспериментатора (весь инструментарий на одной дискете); возможность проведения массовых исследований (например, через Интернет).
Недостатки компьютерных тестов: сложность, трудоемкость и дороговизна разработки программ; необходимость дорогостоящей компьютерной техники; сложность использования ЭВМ в полевых условиях; необходимость специального обучения испытуемого работе с КТ; трудности работы с невербальным материалом, особая сложность перевода в компьютерную форму проективных тестов; отсутствие индивидуального подхода к тестируемому (потеря части психодиагностической информации, получаемой в беседе и наблюдении); латентность этапов обработки и интерпретации данных (качество этих процедур полностью зависит от разработчиков программ). У некоторых испытуемых при взаимодействии с компьютером могут возникать эффекты «психологического барьера» или «сверхдоверия» . Поэтому данные о валидности, надежности и репрезентативности бланковых тестов не могут быть автоматически перенесены на их компьютерные аналоги, что ведет к необходимости новой стандартизации тестов.
Недостатки КТ вызывают настороженное отношение к ним психологов. Мало используются КТ в клинической психологии, где цена ошибки слишком высока.
Л. С. Выготский выделял три уровня психодиагностики: симптоматический (выявление симптомов), этиологический (выявление причин) и типологический (целостная, динамическая картина личности, на основе чего строится прогноз) . Компьютерная психодиагностика на сегодняшний день находится на низшем уровне – уровне симптоматического диагноза, практически не давая материала для выявления причин и вынесения прогноза.
Но, по-видимому, КТ имеют большое будущее, где наверняка многие из перечисленных недостатков компьютерной психодиагностики будут решены благодаря дальнейшему развитию электронной техники и совершенствованию психодиагностических технологий. Залогом такого оптимизма является нарастающий интерес науки и практики к компьютерной диагностике, в арсенале которой уже сейчас имеется свыше 1000 КТ .
Если попытаться классифицировать ныне существующие КТ, то можно выделить следующие их виды:
1. По структуре
а) аналоги бланковых тестов;
б) собственно КТ.
2. По количеству тестируемых
а) КТ индивидуального тестирования;
б) КТ группового тестирования (для одновременной подачиидентичного материала на компьютерах, объединенных влокальную сеть).
3. По степени автоматизации тестирования
а) автоматизирующие один или несколько этапов обследования;
б) автоматизирующие все обсследование.
4. По задаче
а) диагностические КТ;
б) обучающие КТ (тесты-тренажеры, развивающие программы).
5. По адресату
а) профессиональные психологические;
б) полупрофессиональные;
в) непрофессиональные (развлекательные).
Пользователем профессиональных КТ является психолог, поэтому они разрабатываются специализированными лабораториями или центрами компьютерной психодиагностики (из числа которых стоит упомянуть центр «Гуманитарные технологии» в Москве, ЗАО «Иматон-М», лабораторию клинической психологии Психоневрологического института им. В. М. Бехтерева в Санкт-Петербурге и др.). Эти тесты имеют ряд специфических особенностей: 1) наличие архива (базы данных); 2) наличие пароля на вход в тест или базу данных для обеспечения конфиденциальности результатов; 3) развернутая интерпретация результатов с использованием профессиональных терминов, коэффициентов, с построением графиков (профилей); 4) наличие информации о разработчиках методики, сведений о валидности и надежности, справочных материалов о лежащих в основе методики теоретических положениях. Полупрофессиональные КТ ориентированы на специалистов смежных профессий, например на педагогов, менеджеров по персоналу. Такие тесты зачастую снабжены редуцированной интерпретацией без использования специальной лексики, просты в освоении и работе. Тесты подобного уровня могут быть предназначены и для неспециалиста, рядового пользователя персонального компьютера, интересующегося психологией. Наконец, существует также большое число непрофессиональных КТ, направленных на популяризацию психологических идей или преследующих развлекательные цели.
Пользуясь профессиональными или полупрофессиональными КТ, необходимо соблюдать те же этические принципы, что и при бланковом тестировании. Важно не распространять результаты тестирования и защищать свои файлы паролем, особенно если у компьютера несколько пользователей. И главное – «не сотворить себе кумира». Помнить, что КТ является только средством, только помощником и имеет свои границы применения (знанием чего профессиональный психолог отличается от шарлатана от психологии).
Еще по теме 13.7. Компьютерное тестирование:
- «Виртуальная реальность», или Педагогические возможности игровой эстетической компьютерной среды в курсе «Компьютерная графика и анимация» Елена ХРАМЦОВА
Лекция 11. Компьютерное тестирование в образовании.
1.Специфика компьютерного тестирования и его формы.
2.Инновационные формы тестовых заданий при компьютерном тестировании.
3. Компьютерное адаптивное тестирование.
4.Online -тестирование, его применение в дистанционном обучении.
1. Специфика компьютерного тестирования и его формы
Общие представления о компьютерном тестировании. С начала XXI в. в образовании тестирования стали широко применяться компьютеры. В педагогических инновациях появилось отдельное направление – компьютерное тестирование, при котором предъявление тестов, оценивание результатов учащихся и выдача им результатов осуществляется с помощью ПК.
Этап генерации тестов технологически может протекать по–разному, в том числе путем ввода в компьютер бланковых тестов. На сегодняшний день по компьютерному тестированию имеются многочисленные публикации, разработаны программно-инструментальные средства для генерации и предъявления тестов
Когда необходимо обращаться к компьютерному тестированию. Хотя компьютерное тестирование значительно облегчает работу учителя при предъявлении и оценивании результатов выполнения тестов, его распространение во многом не более чем дань моде, все негативные последствия которые до сих пор не выявлены по полной мере. Выбор компьютерного формата экзамена должен основываться на более важных и обоснованных предпосылках, чем просто увлечение инновациями, поскольку он порождает множество проблем и ставит учащихся в неравные условия. Обращаться к компьютерному тестированию следует в тех случаях, когда есть настоятельная потребность в отказе от традиционных бланковых тестов.
Например, компьютерное тестирование необходимо при проведении ЕГЭ в труднодоступных районах России. Сбор выпускников отдельных районов в обозначенное время проведения ЕГЭ становится настолько сложным и дорогостоящим мероприятием, что обойтись без компьютерного тестирования и современных средств коммуникации просто невозможно. Компьютерное тестирование целесообразно также применять при проведении экзаменов для детей с ограниченными возможностями, имеющих серьезные нарушения зрения или слуха. С помощью ПК можно использовать большие по размерам шрифты, аудиозаписи, дополнительные устройства для ввода данных тестирования и другие приспособления, компенсирующие на экзаменах потенциальное отставание детей с ограниченными возможностями.
Формы осуществления компьютерного тестирования. Компьютерное тестирование может проводиться в различных формах, различающихся по технологии объединения заданий в тест (рис.17). часть из них пока не получили специального названия в литературе по тестовой проблематике.
Рис.17. Формы компьютерного тестирования
Первая форма – самая простая. Готовый тест, стандартизированный или предназначенный для текущего контроля, вводится в специальную оболочку, функции которой могут различаться по степени полноты. Обычно при итоговом тестировании оболочка позволяет предъявлять задания на экране, оценивать результаты их выполнения, формировать матрицу результатов тестирования, обрабатывать ее и шкалировать первичные баллы испытуемых путем перевода в одну из стандартных шкал для выдачи каждому испытуемому тестового балла и протокола его оценок по заданиям теста.
Вторая форма компьютерного тестирования предполагает автоматизированную генерацию вариантов теста, осуществляемую с помощью инструментальных средств. Варианты создаются перед экзаменом или непосредственно во время его проведения из банка калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Калибровка достигается благодаря длительной предварительной работе по формированию бланка, параметры заданий которого получают на репрезентативной выборке учащихся, как правило, на протяжении 3-4 лет с помощью бланковых тестов. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.
Третья форма – компьютерное адаптивное тестирование – базируется на специальных адаптивных тестах. В основе идей адаптивности лежат соображения о том, что учащемуся бесполезно давать задания теста, которые он выполнит наверняка правильно без малейших затруднений, или гарантированно не справится в силу высокой трудности. Поэтому предлагается оптимизировать трудность заданий, адаптируя ее к уровню подготовленности каждого испытуемого, и сократить за счет исключения части заданий длину теста.
Достоинства и недостатки компьютерного тестирования. Компьютерное тестирование имеет определенные преимущества по сравнению с традиционным бланковым тестирование, которые проявляются особенно заметно при массовых проверках, например при проведении национальных экзаменов типа ЕГЭ. Предъявление вариантов теста на компьютере позволяет сэкономить средства, рекомендуемые обычно на печать и транспортировку бланковых тестов.
Благодаря компьютерному тестированию можно повысить информационную безопасность и предотвратить рассекречивание теста за счет высокой скорости передачи информации и специальной защиты электронных файлов. Упрощается также процедура подсчета результирующих баллов в тех случаях, когда тест содержит только задания с выбором ответов.
Другие преимущества компьютерного тестирования проявляются в текущем контроле, при самоконтроле и самоподготовке учащихся; благодаря компьютеру можно незамедлительно выдать тестовый балл и принять неотложные меры по коррекции усвоения нового материала на основе анализа протоколов по результатам выполнения корректирующих и диагностических тестов. Возможности педагогического контроля при компьютерном тестировании значительно увеличивается за счет расширения спектра измеряемых умений и навыков в инновационных типах тестовых заданий, использующих многообразные возможности компьютера при включении аудио- и видеофайлов, интерактивности, динамической постановки проблем с помощью мультимедийных средств и др.
Благодаря компьютерном тестированию повышаются информационные возможности процесса контроля, появляется возможность сбора дополнительных данных о динамике прохождения теста отдельными учащимися и для осуществления дифференциации пропущенных и не доступных заданий теста.
Помимо неоспоримых достоинств компьютерное тестирование имеет ряд недостатков, которые представлены на рис. 18.
Рис.18 Проблемы, возникающие при компьютерном тестировании
Типичные психологические и эмоциональные реакции учащихся на компьютерном тестировании. Обычно психологические и эмоциональные реакции учащихся на компьютерное тестирование носят позитивный характер. Учащимся нравится незамедлительная выдача тестовых баллов, протокола тестирования с результатами по каждому заданию, а также сам инновационный характер контроля в том случае, когда привлекаются современные гипермедийные технологии по выдачи теста. Динамическое мультимедийное сопровождение заданий на компьютере, объединенное программными средствами для представления в интерактивном режиме, по мнению учащихся, обеспечивает более точную оценку знаний и умений, сильнее мотивирует к выполнению заданий по сравнению с бланковыми тестами. Удобно также то, что вместо заполнения специальных форм для ответов можно просто выбрать ответ мышью. Если тестирование проходит в адаптивном режиме, то сокращается время проведения экзамена и длина теста.
Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдачи заданий в компьютерном тестировании. Например, фиксируется либо порядок предъявления заданий, либо максимально возможное время выполнения каждого задания, после истечения которого независимо от желания испытуемого появляется следующее задание теста. В адаптивном тестировании учащиеся бывают недовольны тем, что они не имеют возможности пропустить очередное задание, просмотреть весь тест до начала работы над ним и изменить ответы на предыдущие задания. Иногда школьники возражают против компьютерного тестирования из-за трудностей, которые возникают при выполнении и записи математических вычислений и т.д.
Воздействие на выполнение теста предшествующего уровня компьютерного опыта. Результаты зарубежных исследований показали, что опыт работы на компьютерах, имеющийся у школьников, во многих случаях значительно влияет на валидность результатов выполнения теста. Если в тест включены задания без инноваций с выбором ответов, то влияние опыта работы с компьютером на результаты тестирования незначительно, поскольку от учащихся в таких заданиях не требуется никаких сложных действий при выполнении теста. При предъявлении на экране инновационных типов заданий, широко использующих средства компьютерной графики, и другие новшества, влияние предшествующего компьютерного опыта на тестовый балл становится очень значительным. Таким образом, при компьютерном тестировании необходимо учитывать уровень компьютерного уровня учащихся, для которого предназначается тест.
Влияние интерфейса пользователя на результаты компьютерного тестирования. Интерфейс пользователя включает доступные учащемуся функции и возможности движения по заданиям теста, элементы размещения информации на экране, а также общий визуальный стиль представления информации. Хороший интерфейс пользователя должен обладать ясностью и корректностью логической последовательности взаимодействия с экзаменуемым, отражая общие принципы дизайна графической информации. Чем более продуман интерфейс, тем меньше внимания учащийся на него обращает, сосредоточивая все свои усилия на выполнении заданий теста.
2. Инновационные формы тестовых заданий при компьютерном тестировании.
Цели разработки инновационных заданий в компьютерном тестировании . Инновационные задания, использующие возможности компьютерного тестирования, на сегодняшний день являются наиболее перспективным направлением развития автоматизации педагогических измерений. Основной причиной этого является большой потенциал инновационных заданий для повышения информативности педагогических измерений и увеличения содержательной валидности тестов.
Основная цель разработки инновационных заданий для компьютерного тестирования состоит в оценивании тех когнитивных умений, функциональной грамотности и коммуникативных умений, которые остаются не выявленными при традиционном контроле, или использовании бланковых тестов.
Предметом оценивания при инновациях может быть уровень аналитико-синтетической деятельности обучаемого, скорость обобщения новой информации, гибкость мыслительного процесса и многие другие показатели умственной деятельности, сформировавшиеся в процессе обучения и не поддающиеся оцениванию с помощью обычных тестов.
Возможности инновационных задании в компьютерном тестировании. В использовании инновационных заданий можно выделить два аспекта: дидактический и психолого-педагогический. Первый предполагает развернутую содержательную интерпретацию результатов тестирования в контексте освоенных на момент предъявления теста когнитивных, учебных и общеучебных умений, а второй позволяет оценить уровень развития мыслительных процессов у учащегося и выявить особенности усвоения им новых знаний. Большинство инновационных заданий, разработанных к настоящему времени, обеспечивают совершенствование измерений в обоих направлениях. Таким образом, инновационные задания позволяют расширить возможности самого педагогического измерения за счет получения результатов в новых, недоступных ранее направлениях оценивания качества подготовленности учащихся. Например, для оценивания уровня сформированности функциональной грамотности экзаменующимся, можно предложить отрывок текста, в котором есть ошибки, а затем попросить идентифицировать их и исправить путем перепечатывания разделов текста.
Инновационные задания способствуют сокращению влияния случайного угадывания за. счет увеличения числа возможных ответов без нарастания громоздкости заданий теста. Например, при оценивании понимания прочитанного текста можно попросить учащегося выбрать ключевое предложение в тексте и указать на него щелчком мыши. Таким образом, каждое предложение в текстовом отрывке становится опцией для выбора вместо 4-5 ответов в традиционных заданиях с готовыми ответами. Для совершенствования формы заданий используют сложный рисунок, динамические элементы, включая изображения, мультипликацию или видео; тем самым сокращается время чтения условия. Расширение возможностей тестирования происходит при включении звука, что позволяет вести диалог с учащимся, оценивать фонетические особенности его произношения при тестировании по иностранному языку, проверять, правильность интерпретации различных звуков.
Основные направления инноваций при разработке заданий. Инновации при разработке заданий для компьютерного тестирования охватывают пять связанных между собой направлений. К ним относятся: форма задания, действия испытуемого при ответе, уровень использования мультимедийных технологий, уровень интерактивности и методика подсчета баллов.
Нововведения в форме задания включают визуальный и звуковой информационные ряды или их сочетание. Визуальная информация может носить реалистический (фото, кино) и синтезированный (рисунок, анимация) характер. Тип информации в сочетании с тестовой формой определяет формат ответа, выбираемого или создаваемого экзаменующимся. При использовании фотографий или рисунков информация, содержащаяся в тестовых заданиях, носит статический характер. Кино, отражающее реальный мир, и анимация вносят динамику в выполнение, теста.
Действия учащегося при ответе на задания зависят от тех инновационных средств, которые включены в тест. При включении в задания звуковой информации, предполагающей голосовой ответ учащегося, для ответа используются клавиатура, мышь или микрофон. Значительное место при ответах отводится интерактивным процессам. Интерактивный режим работы учащихся при компьютерном тестировании означает поочередную выдачу аудиовизуальной информации, при которой каждое новое высказывание со стороны учащегося или компьютера строится с учетом предыдущей информации с той и другой стороны. При организаций интерактивного режима в компьютерном тестировании используется в основном экранное меню, в котором учащийся для ответа на тестовые задания выбирает, создает или перемещает объекты - компоненты ответа. Реже в интерактивном режиме применяют голосовой ввод ответа.
В целом уровень интерактивности, обеспеченный в компьютерном тестировании, характеризует степень, в которой определенная форма задания реагирует или отвечает на ввод информации со стороны экзаменующегося. Этот уровень варьируется от простейшего случая, когда совершается один шаг, до сложных, многошаговых заданий с разветвлением после каждого очередного ответа ученика.
Сравнительная характеристика инновационных форм заданий при компьютерном тестировании для различных целей совершенствования педагогического измерения приведена в табл. 5.
Проблемы, возникающие при использовании заданий повышенной трудности в компьютерном тестировании. Задания повышенной трудности всегда требуют больше времени для ответов вне зависимости от того, предъявляются ли они с помощью компьютерного моделирования виртуальной реальности, имеют ли форму лабораторной работы, эссе или используют мультимедийные технологии. Из-за временных затрат число сложных заданий должно быть незначительно - не более 10-15 %, в отдельных случаях - 20-25%. Многообразие звуковых и зрительных образов в компьютерном тестировании приводит к возникновению у школьников усталости, поэтому при включении в тест даже небольшого количества трудных инновационных заданий приходится, значительно уменьшать длину теста, что негативно сказывается на содержательной валидности, надежности и информационной безопасности педагогического измерения.
Несмотря на преимущества инновационных форм заданий, предъявляемых с помощью компьютера, к ним нужно относиться с осторожностью, тщательно анализировать их адекватность целям измерения и уместность в тесте. Обычно инновационные задания высокой трудности выделяют в отдельный блок и помещают в конце теста* Их выполнение не должно отнимать времени у наиболее слабых учащихся, которые, скорее всего, не дойдут до конца теста.
Таблица 5
Сравнительная характеристика инновационных форм заданий при компьютерном тестировании
Цель совершенствования педагогического измерения |
Характеристика формы ответа |
Основные направления инноваций |
Характеристика трудности Задания |
Снизить эффект угадывания |
Ответ числовой (или текстовый), конструируемый учащимся, вводе клавиатуры или голосовой через микрофон |
Использование формы задания с конструируемым ответом |
Обычно высокая |
Повысить содержательную валидность |
Ответ выбирается мышью на графическом изображении, используется обычное меню или гипертекст |
Использование аудиовизуально-го ряда. Включение мультимедиа без интерактивности |
Низкая или средняя |
Обеспечить повышение конструктной и содержательной валидности |
Ответ выбирается мышью на графическом изображении, запрашивается дополнительная информация, используется гипертекст |
Использование мультимедиа для моделирования естественной окружающей среды и действий пользователя в ней. Представление объектов с помощью анимации вне режима интерактивности |
Средняя или высокая |
Расширить возможность измерения интеллектуальных умений, когнитивных навыков |
Ответ осуществляется перемещением объектов на экране и конструируется учащимся, используется клавиатура, левая и правая кнопки мыши. Возможен интерактив |
Использование формы задания с конструируемым ответом и интерактивом простейшего уровня |
Средняя или высокая |
Обеспечить возможность оценивания творческих и практических умений |
При конструировании ответа учащимся обязательно исполь- зуется двухступенчатый или многоступенчатый разветвляющийся интерактивный переход к различным этапам выполнения задания |
Использование формы задания с конструируемым ответом и интерактивом сложного уровня |
Средняя или высокая |
Обеспечить повышение конструктной и содержательной валидности; расширить охват содержания; реализовать возможность измерения коммуникативных и интеллектуальных умений, когнитивных навыков |
Ответ моделируется учащимся пошагово с использованием многоступенчатого разветвляющегося интерактивного перехода к различным этапам выполнения задания и виртуальной реальности |
Действия испытуемого при ответе |
Высокая |
Подсчет баллов учащихся. Если в компьютерном тестировании не используются мультимедийные и интерактивные технологии, то подсчет первичных баллов учащихся проводится традиционно путем суммирования оценок по отдельным заданиям. Привлечение мультимедийных технологий приводит к многомерности результатов выполнения теста, поскольку оценивание целого спектра творческих, коммуникативных, общепредметных и других умений с помощью инновационных форм заданий всегда связано с несколькими переменными измерения. Появление интерактивности еще больше усложняет процедуру подсчета баллов учащихся, она становится зависимой от ответа экзаменующегося на каждом шаге выполнения заданий теста и требует политомических оценок.
Проверка результатов выполнения заданий с конструируемым регламентированным ответом осуществляется путем сравнения ответа экзаменующегося с эталоном, хранящимся в памяти компьютера, и включает различные синонимы правильного, ответа с приемлемыми орфографическими ошибками.
Намного сложнее автоматизированный подсчет баллов в заданиях со свободно конструируемым ответом (типа эссе) в гуманитарных дисциплинах. На сегодняшний день зарубежными тестоло гами разработаны специальные программы для автоматизированной проверки эссе. Критерии оценивания в этих программах довольно разнообразны: от рассмотрения поверхностных характеристик эссе типа длины и степени полноты ответа до сложных случаев анализа с использованием достижений компьютерной лингвистики. Обычно все эти различные автоматизированные программы подсчета баллов требуют участия экспертов только на момент начала работы, когда квалифицированным педагогам необходимо «обучить» компьютерную программу оцениванию любых развернутых ответов.
Тесты фиксированной длины, компьютерная генерация параллельных вариантов теста
Основные компоненты процесса автоматизированной компоновки теста для компьютерного предъявления. Процесс автоматизированной компоновки теста в том случае, когда он. происходит заранее и не в адаптивном режиме, включает сборку (генерацию) параллельных вариантов, выбор правила подсчета баллов тестируемых учащихся и коррекцию вариантов для выполнения требований теории педагогических измерений.
Неизбежные различия по трудности вариантов, возникающие вследствие существования ошибок измерения, устраняются после тестирования путем выравнивания шкал, получаемых при подсчете тестовых баллов по отдельным вариантам теста. К числу сопутствующих вопросов, решение которых также необходимо при автоматизированной компоновке теста, относится работа по наполнению банка тестовых заданий и оцениванию информационной безопасности тестирования.
Компьютерная генерация параллельных вариантов теста фиксированной длины. Автоматизированная сборка теста с фиксированным числом, заданий предполагает наличие установленной длины теста, его спецификации и банка калиброванных заданий, В работоспособный банк, поддерживающий генерацию многовариантного теста, должны входить фреймы заданий различной трудности по каждому содержательному элементу с устойчивыми оценками параметров. С помощью специального программно-инструментального, обеспечения получается аналог традиционного бланкового теста, готовый к предъявлению спустя несколько минут от начала генерации и обеспечивающий высокое качество педагогических измерений.
Метод автоматизированной компоновки теста для компьютерного предъявления в режиме offline (без использования локальных компьютерных сетей или Интернета) или в режиме online (с использованием локальных компьютерных сетей или Интернета) называют автоматизированным тестовым дизайном. Целью дизайна является формирование вариантов теста, удовлетворяющих целому ряду условий, к которым относятся: число заданий, структура содержания, частота выбора заданий в варианты, а также ряд требований, обеспечивающих генерацию параллельных вариантов теста.
Технология компоновки вариантов должна поддерживать систематический контроль за. частотой включения каждого задания из банка в тест. Количество одинаковых заданий в параллельных вариантах, используемых для выравнивания шкал по вариантам, не должно превышать 15-20 %. Для контроля частоты включения задания в варианты в качестве ограничения вводится максимально возможный процент выбора каждого задания из банка. При его достижении задание перестает использоваться в дальнейших процедурах генерации теста.
Обычно многочисленные параллельные или квазипараллельные варианты теста создаются в режиме offline для последующего предъявления в режиме online , в том числе при интерактивном взаимодействии с обучающимися . Дня расширения коммуникативных возможностей компьютерного контроля в real time рекомендуется, использование адаптивного тестирования:, обеспечивающего пошаговую оптимизацию подбора-трудности заданий при генерации адаптивного теста (см. раздел 8.4).
3. Компьютерное адаптивное тестирование
Адаптивное тестирование и его возможности. Появление адаптивного тестирования было вызвано стремлением к повышению эффективности педагогических измерений, которая, как правило, связывалась с уменьшением числа заданий, времени, стоимости тестирования, а также с повышением точности оценок учащихся. В основе адаптивного подхода лежит индивидуализация процедуры отбора заданий теста, которая за счет оптимизации трудности заданий применительно к уровню подготовленности обучаемых обеспечивает генерацию эффективных тестов .
Оптимизация трудности заданий обычно проводится пошагово. Если учащийся выполняет задание, верно, то затем ему дается более трудное задание. При неправильном выполнении задания совершается отход назад к более легким заданиям банка. При невыполнении трех заданий подряд процесс останавливается и специальными методами (чаще всего с помощью теорий IRT ) определяется балл учащегося за выполненные задания по сформированному специально для него адаптивному тесту. Таким образом, в компьютерном адаптивном предъявлении число тестовых заданий и их трудность индивидуально подбираются для каждого экзаменующегося на основании его ответов, а индивидуальная совокупность заданий образует адаптивный тест. Адаптивные тесты в группе испытуемых состоят в основном из разных заданий и различаются по количеству и трудности заданий тем сильнее, чем больше разброс среди испытуемых тестируемой группы по подготовленности.
Получить одновременный прирост эффективности измерений по всем критериям невозможно, поэтому обычно при организации адаптивного тестирования на первый план выходит один; в лучшем случае, два критерия. Например, в одних случаях при экспресс-диагностике в адаптивном режиме наибольшее внимание уделяется минимизации времени испытания и количеству предъявляемых заданий, а вопросы точности оценок отходят на второй план. В других случаях приоритетной может быть точность измерения и тестирование каждого испытуемого продолжается до тех Нор, пока не достигается запланированная минимальная ошибка измерения.
На длине адаптивного теста существенно сказывается качество структуры знаний учащихся. Обычно испытуемые с четкой структурой знаний выполняют задания нарастающей трудности, уточняя с каждым очередным верно выполненным заданием оценку подготовленности. Они выполняют небольшое число заданий адаптивного теста и быстро доходят до порога своей компетентности. Учащиеся с нечеткой структурой знаний, у которых чередуются верные и неверные ответы, получают колеблющиеся по трудности задания. Процесс тестирования затягивается, поскольку при скачкообразном изменении трудности заданий не происходит пошагового нарастания точности измерения и число заданий, адаптированных по трудности, нередко оказывается даже большим, чем в обычном, традиционном тесте.
Преимущества адаптивного тестирования. К числу важных преимуществ компьютеризованного адаптивного тестирования можно отнести:
Высокую эффективность;
Высокий уровень секретности;
Индивидуализацию темпа выполнения теста;
Высокий уровень мотивации к тестированию у наиболее слабых обучающихся за счет исключения из процесса предъявления излишне трудных заданий;
Сообщение результата в интервальной шкале тестовых баллов каждому испытуемому незамедлительно, сразу после окончания его работы над индивидуально подобранным набором заданий в адаптивном тесте.
Стратегии адаптивного тестирования. Стратегии предъявления тестовых заданий в адаптивном тестировании можно разделить на двухшаговые и многошаговые, сообразно которым используется различная технология формирования адаптивных тестов. Двухшаговая стратегия предполагает наличие двух этапов. На первом этапе всем испытуемым выдается одинаковый входной тест, цель которого - осуществление предварительной дифференциации учащихся вдоль оси переменной измерения. По результатам дифференциации на втором этапе организуется адаптивный режим и строятся адаптивные тесты. :
В результате развития теории IRT , обеспечивающей единую интервальную шкалу для оценок параметров испытуемых и трудности заданий теста, появилась возможность по-новому осуществить оптимизацию процедуры отбора заданий для моделирования эффективных адаптивных тестов: Стали развиваться многошаговые стратегии адаптивного тестирования, в рамках которых в процессе выполнения наборов заданий каждый испытуемый движется по своей индивидуальной траектории.
Многошаговые стратегии адаптивного тестирования подразделяются на фиксировано-ветвящиеся и варьирующе-ветвящиеся в зависимости от того, как конструируются многошаговые адаптивные тесты. Если один и тот же набор заданий с их фиксированным расположением на оси трудности используется для всех испытуемых, но каждый учащийся движется по набору заданий индивидуальным путем в зависимости от результатов выполнения очередного задания, то стратегия адаптивного тестирования является фиксировано-ветвящейся.
Заданий по трудности в наборе заданий обычно располагают на равном расстоянии друг от друга или выбирают убывающий шаг сообразно нарастанию трудности, что позволяет подстроить темп тестирования под испытуемого, поскольку по мере выполнения заданий у него нарастает утомление и снижается мотивация к выполнению заданий теста.
Варьирующе-ветвящаяся стратегия адаптивного тестирования предполагает отбор заданий непосредственно из банка по определенным алгоритмам, которые прогнозируют оптимальную трудность последующего задания по результатам выполнения испытуемым предыдущего задания адаптивного теста. Таким образом, шаг за шагом из Отдельных заданий получается адаптивный тест. В нем варьирует не только трудность, но и шаг, определяемый разностью трудностей двух соседних заданий адаптивного теста. Отличительной особенностью варьирующей ветвящейся стратегии адаптивного тестирования является пошаговая переоценка уровня подготовленности испытуемого, предпринимаемая после каждого выполнения очередного задания теста.
Рис. 19. Алгоритм варьирующего многошагового тестирования
Алгоритм, реализующий варьирующую стратегию адаптивного тестирования, носит циклический характер и имеет вид, представленный на рис. 19.
Вход и выход из адаптивного тестирования . Выбор начальных оценок для входа в адаптивное тестирование осуществляется по-разному, в зависимости от вида стратегии и имеющихся технологических возможностей при генерации адаптивных тестов. Один из методов определения начальных оценок основан на выдаче испытуемым перед началом адаптивного тестирования входного протеста. В протест обычно включают 5-10 заданий из разлитых разделов содержания, охватывающих по трудности весь диапазон предполагаемого расположения тестируемой выборки учащихся на оси переменной измерения. Иногда входное тестирование заменяют процессом самоадаптации, в котором испытуемому предлагают набор заданий возрастающей трудности. Он выполняет задание, отражающее уровень его знаний и умений.
Для выхода из режима тестирования либо вводят ограничения по времени или по числу заданий, либо задаются планируемой точностью измерений. Ориентация на точность при организации адаптивных циклов порождает многообразие индивидуальных траекторий испытуемых, которые можно визуализировать в виде ломаных линий. Вершины ломаной линии соответствуют отдельным заданиям адаптивного теста, длина звена определяется варьирующим шагом, размер которого равен разности оценок параметра трудности двух смежных заданий адаптивного теста. Очевидно, что чем меньше длина ломаной, тем лучше структура знаний учащегося и эффективнее подобраны по трудности задания адаптивного теста (рис. 20).
Рис. 20. Визуализация индивидуальных траекторий испытуемых: в кружках - номера заданий
На рис. 20 изображены траектории адаптивного тестирования трех учащихся, начинавших свой вход в адаптивный режим по результатам выполнения протеста. Чем выше расположена вершина ломаной, тем труднее было первое задание адаптивного теста. На момент входа в протесте самый высокий результат показал первый учащийся, поэтому он начинает адаптивное тестирование с более трудного задания. Для удобства обсуждения результатов визуализации на рисунке приводятся непересекающиеся траектории. Над ломаными ставится «плюс» в тех случаях, когда испытуемый выполнил задание верно, или «минус», если испытуемый выполнил задание неверно. В качестве критерия окончания тестирования выбрано простое правило: тестирование прекращается, если учащимся подряд выполнены, верно, или неверно три задания адаптивного теста.
Несмотря на высокий начальный результат, первый учащийся, по-видимому, обладает плохо структурированными знаниями, что следует из чередования верных и неверных ответов. Тестирование первого ученика прекращается, если ему удается справиться с идущими подряд тремя заданиями адаптивного теста. Траектория ответов второго учащегося намного короче благодаря хорошо структурированным знаниям. После неудачи при выполнении первого задания он все делает верно, и поэтому быстро заканчивает адаптивный тест. Третий учащийся самый слабый. Он начинает тестирование с наиболее легкого задания, с которым не справляется. Второе, более легкое задание он также выполняет неверно. Наконец, после трех следующих подряд неправильных ответов он выходит из адаптивного теста.
Представленный рисунок является идеализацией, иллюстрирующей реальные ситуации варьирующих многошаговых стратегий генерации адаптивных тестов, в которых после выполнения каждого задания осуществляется пересчет текущей оценки уровня подготовленности для выбора очередного задания адаптивного теста.
Надежность, валидность и длина теста ори адаптивном тестировании. Так же как и при традиционном тестировании, отбор заданий в адаптивные тесты осуществляется в соответствии со спецификацией теста. Оптимизируя трудность; можно лишь уменьшить число предъявляемых заданий по каждому разделу и сохранить при этом для каждого испытуемого содержательный план теста. Таким образом, адаптивное тестирование вне зависимости от стратегии предъявления заданий и их числа должно обеспечивать высокую содержательную валидность каждого генерируемого адаптивного теста.
Надежность в адаптивном тестировании зависит от совокупности факторов. К ним относятся: число заданий, наличие систематического контроля за частотой выбора заданий банка при генерации адаптивного теста. На надежность также влияют характеристики банка тестовых заданий, связанные с качеством измерений (устойчивость и диапазон вариации оценок трудности) и качеством входного (стартового) контроля.
Адаптивный алгоритм организуется так, что после каждого очередного предъявления задания проверяется разность между полученной и запланированной точностью измерений. По достижению запланированной точности алгоритм подбора заданий приостанавливается, достигается ожидаемая надежность адаптивного теста.
5. Online -тестирование, его применение в дистанционном
обучении
Уровни интерактивности . В самом простом понимании интерактивного режима обучения учащийся имеет возможность получать (читать, смотреть, слушать) только ту информацию, которую он выбирает для усвоения с использованием компьютера. Усложнение возможностей и технологии осуществления интерактивного режима приводит к моделированию окружающего мира и поведения объектов в нем, позволяя имитировать реальность.
Конечно, на сегодняшний день, в силу многих причин, в обучении используются далеко не все возможности интерактивного режима. В частности, по мнению А. Г: Шмелева, являющегося крупнейшим специалистом в России по применению интерактивных технологий в образовательном и психологическом тестировании (система «Телетестинг»), в современном Интернете преобладают неинтерактивные формы преподнесения образовательной информации .
Простейший интерактивный режим в локальной сети и в Интернете. В соответствии с классификацией компьютерных сетей на локальные и глобальные простейший интерактивный режим,организуется в пределах одной комнаты, или учебного заведения либо с использованием Интернета. Как правило, интерактивность основывается на асинхронной коммуникационной связи, когда реакция педагога на результаты тестирования носит отсроченный характер из-за времени, которое необходимо на проверку теста в автоматизированном режиме и подсчет баллов учащихся по результатам его выполнения.
В первом случае, когда в локальную сеть объединено несколько десятков или сотен компьютеров, специальная программа-реализатор - инструментальная оболочка - обеспечивает выдачу заданий online -теста для всей группы тестируемых, обычно в индивидуальном временном.режиме. На экране каждого компьютера из локальной сети появляется задание одного из параллельных вариантов, теста. При обеспечении режима информационной безопасности для всей группы учащихся может использоваться только один вариант теста.
Выполнение online -теста с использованием Интернета не имеет принципиальных отличий от случая применения локальной сети при простейшем уровне интерактивности без адаптивного режима, когда все учащиеся выполняют одинаковые варианты теста. Задания в подавляющем большинстве требуют от учащихся выбора одного или нескольких правильных ответов с помощью таких известных диалоговых объектов, как «селекторные кнопки» (radio - buttons ). Подсчет тестовых баллов производится путем сличения ответов учащихся с ключом и сводится, чаше всего, к простому суммированию. Передача итогового балла по тесту может быть осуществлена с помощью электронной почты.
Время, затраченное на предъявление результата тестирования, определяется длительностью пересылки (обычно от нескольких секунд до нескольких часов) и тем временным промежутком, который пройдет до момента, когда учащийся прочтет пришедшую ему почту. В отдельных случаях, когда учащемуся требуется документальное подтверждение баллов, результаты тестирования могут быть доставлены offline с помощью записи на носитель информации. Таким образом, низкий уровень интерактивности вполне пригоден для итогового тестирования вне адаптивного режима, когда учащийся должен работать без помощи педагога, а получение результатов может носить отсроченный по времени характер.
Средний уровень интерактивности в online -тестировании. В текущем контроле при дистанционном обучении обычно реализуется средний уровень интерактивности. В соответствии с возможностями синхронного обмена информацией в реальном времени с помощью интернет-пейджеров учащемуся обеспечиваются помощь и консультации педагога при выполнении заданий корректирующего и диагностического тестов.
При среднем уровне интерактивности большое разнообразие приобретают формы тестовых заданий. В частности у школьника появляется возможность редактирования текста, представленного в задании, с помощью введения новых предложений или замены одной части текста на другую. В заданиях на установление правильной последовательности сразу после выбора испытуемым некоторого порядка элементов компьютер отображает новую последовательность на экране и т.д. Если установлению синхронной связи не мешают временные пояса, интерактив незамедлительно обеспечивает эффект «педагог рядом», благодаря которому при выполнении заданий текущего контроля ученик получает помощь, оценку или подсказку педагога.
Высокий уровень интерактивности в online -тестировании. Высокий уровень интерактивности обеспечивается в тех случаях, когда при взаимодействии с педагогом используются звук и видеоизображение, что требует значительных финансовых затрат, но без труда позволяет идентифицировать личность учащегося, выполняющего тест в дистанционном контроле.
С педагогической точки зрения высокому уровню интерактивности отвечает адаптивное тестирование, включающее разветвленные технологии оптимизации трудности заданий в зависимости от ответов учащегося на каждое предыдущее задание адаптивного теста.
Введение ………………………………………………………………………......3
Глава I . Тесты как средства контроля ………………………………………..5
1.1. Схема создания тестовых заданий………………………………………...7
1.2. Применение компьютерного тестирования для контроля знаний. Мотивационный эффект……………………………………………….......14
1.3. Технологии и системы тестирования……………………………………21
1.4. Технология проектирования компьютерных тестов предметной области………………………………………………………………………30
1.5. Методические основы создания компьютерных тестов………………..33
Глава II . Типовые тестирования
2.1. Правила разработки тестового задания и теста…………………………39
2.2. Типовые ошибки разработки тестовых заданий………………………...42
2.3. Основные правила тестирования для тестирующих и испытуемых…..50
2.4. Оценивание тестирования………………………………………………..52
2.5. Анализ и обоснование тестирования…………………………………….57
2.6. Дидактические и методические вопросы организации контроля в компьютерных обучающих средах…………………………………………..62
2.7.Требования, предъявляемые к системам компьютерного тестирования…………………………………………………………………..64
2.8. Работа с тестером ADSoftTester………………………………………...66
Заключение …………………………………………………………………….75
Список литературы …………………………………………………………...77
Приложение ……………………………………………………………………79
Введение.
Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации, при инвариантном учебном времени, за которое должна быть усвоена эта информация.
Составление компьютерных тестов является довольно сложным делом. Очень важно научиться отличать профессионально сделанный добротный тест от популярно-развлекательного журнального опросника. Настоящий, действенный, валидный и эффективно работающий тест - это завершенный продукт, обладающий определенными свойствами и характеристиками и отвечающий современным методическим требованиям. Тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста проявляется во взаимосвязи заданий, включенных в тест. Ни одно из заданий не может быть изъято из теста без ущерба для него. Структура же его проявляется в способе связи заданий между собой.
Создание теста предполагает тщательный анализ содержания учебной дисциплины, классификацию учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц с последующим представлением этих единиц через элементы композиции задания.
Одним из путей, обеспечивающих разрешение противоречия, возникшего в составлении тестов, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.
Когда говорят о тестах, всегда упоминаются их важнейшие характеристики – валидность и надёжность, определяющие качество теста, как инструмента педагогического измерения. Мы же поставили своей целью проанализировать мотивационный эффект использования контрольных тестовых заданий.
Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов.
Цель данной работы- показать что с помощью тестирования удобнее проводить проверку знаний учащихся, это занимает меньше времени и дает объективную оценку знаний, что является очень важным в обучающем процессе.
Задачи данной работы:
1. раскрыть тему компьютерного тестирования;
2. показать как создаются тестовые задания, каковы правила разработки тестовых заданий и тестов, как они оцениваются, как производится анализ тестирования, каковы технологии и системы тестирования, какие типовые ошибки допускаются при разработке тестовых заданий;
3. ближе познакомится с работой одного из тестологов, ADSoftTester;
4. основываясь на данном тестере разработать несколько тестов по предметам: информатика и английский язык.
Глава I . Тесты как средства контроля.
Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации при инвариантном учебном времени, за которое должна быть усвоена эта информация.
Одним из путей, обеспечивающих разрешение этого противоречия, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.
Тестирование является одним из наиболее технологичных методов проведения автоматизированного контроля с заложенными в него параметрами качества.
Компьютерное тестирование
Обучение - многогранный процесс, и контроль знаний - лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них тестирование занимает ведущую роль. В ряде стран тестирование потеснило традиционные формы контроля - устные и письменные экзамены и собеседования.
По-видимому, многие преподаватели уже прошли через некоторую эйфорию при создании тестов и поняли, что это - весьма непростое дело. Куча бессистемно надерганных вопросов и ответов - далеко еще не тест. Оказывается, что для создания адекватного и эффективного теста надо затратить много труда. Компьютер может оказать в этом деле немалую помощь.
Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов. Не будем в нее углубляться, сосредоточившись в основном на технологических аспектах.
Как отмечалось выше, широкое распространение в настоящее время получают инструментальные авторские системы по созданию педагогических средств: обучающих программ, электронных учебников, компьютерных тестов. Особую актуальность для преподавателей школ и вузов приобретают программы для создания компьютерных тестов - тестовые оболочки. Подобных программных средств существует множество, и программисты-разработчики готовы строить новые варианты, так называемых, авторских систем. Однако широкое распространение этих программных средств сдерживается отсутствием простых и нетрудоемких методик составления тестовых заданий, с помощью которых можно “начинять” оболочки. В настоящем разделе представлены некоторые подходы к разработке компьютерных тестов.
Для упрощения дальнейшего изложения введем ряд определений и понятий.
Прежде чем начать рассматривать данную тему, мы обратимся к словарю компьютерных терминов по информатике с целью выяснения точного определения термина тест. Согласно словарю компьютерных терминов по информатике(В. Д. Валединский) тест(test) –это проверка работоспособности аппаратуры или программы, обнаружение и устранение ошибок. Тестирование является важным этапом при разработке программного обеспечения.
Тестирование - процесс оценки соответствия личностной модели знаний ученика экспертной модели знаний. Главная цель тестирования - обнаружение несоответствия этих моделей (а не измерение уровня знаний), оценка уровня их несоответствия. Тестирование проводится с помощью специальных тестов, состоящих из заданного набора тестовых заданий.
Тестовое задание - это четкое и ясное задание по предметной области, требующее однозначного ответа или выполнения определенного алгоритма действий.
Тест - набор взаимосвязанных тестовых заданий, позволяющих оценить соответствие знаний ученика экспертной модели знаний предметной области.
Тестовое пространство - множество тестовых заданий по всем модулям экспертной модели знаний.
Класс эквивалентности - множество тестовых заданий, таких, что выполнение учеником одного из них гарантирует выполнение других.
Полный тест - подмножество тестового пространства, обеспечивающее объективную оценку соответствия между личностной моделью и экспертной моделью знаний. Эффективный тест - оптимальный по объему полный тест.
Самой сложной задачей эксперта по контролю является задача разработки тестов, которые позволяют максимально объективно оценить уровень соответствия или несоответствия личностной модели знаний ученика и экспертной модели.
1.1. Схема создания тестовых заданий.
Самый простой способ составления тестовых заданий - формирование вопросов к понятиям, составляющим узлы семантического графа, разработка упражнений, требующих для их выполнения знания свойств выбранного понятия. Более сложным этапом является разработка тестовых заданий, определяющих отношения между понятиями. Еще более глубокий уровень заданий связан с их подбором, выявляющим связь понятий между отдельными модулями.
Множество тестовых заданий (тестовое пространство), вообще говоря, согласно принципу исчерпывающего тестирования, может быть бесконечным. Например, для исчерпывающего контроля знании таблицы умножения целых чисел от 1 до 100 необходимо использовать 100х100 всех возможных комбинаций двух чисел. А для всех натуральных чисел тестовое пространство становится бесконечным.
Источник:Аннотация
Компьютерное обучение (КО) может иметь большой потенциал, при надлежащем использовании в целях повышения качества обучения. Однако это качество может повышаться путём использованием компьютерного тестирования (КТ) и, более конкретно, с использованием компьютерного адаптивного тестирования (КAT). В целях данной работы автор описывает механизм и преимущества компьютерного адаптивного тестирования, а также каким образом оно может улучшить процесс обучения в предметной области науки. Педагогу предлагается принять к рассмотрению некоторые ограничения и проблемы в реализации, также будет обсуждаться естественнонаучное образование. КЛЮЧЕВЫЕ СЛОВА Компьютерное адаптивное тестирование, КАТ, компьютерное тестирование, компьютерное обучение, естественнонаучное образование, оценивание, формирование обратной связи.
ВВЕДЕНИЕ
Компьютерное обучение имеет крайне большой потенциал для улучшения обучения во многих областях и дисциплинах, в том числе и в предметной области науки. Однако, компьютерное обучение должно тесно и постоянно контролироваться, для обеспечения его эффективности. Это особенно верно, так как некоторые предварительные исследования показали, что использование компьютера отрицательно коррелирует с достижениями в области математики и науки (Papanastasiou и Фердиг, 2003). Хотя не ясно, при каких обстоятельствах эти негативные последствия развиваются, и если есть причинно-следственная связь между этими переменными, почему она все еще существует. Следовательно, эти отношения должны напомнить педагогу, что использование компьютера - не обязательно "панацея", и что он не должен использоваться безответственно и занимать внимание студентов, которым трудно иметь дело с ним. Также эта отрицательная связь между использованием компьютера и достижением результатов должна напомнить педагогам о существовании значительной потребности в непрерывной созидательной и итоговой оценки в науке. С помощью правильного оценивания, проблемы, которые возникают во время обучения, могут быть определены и, возможно, исправлены, если их обнаружили достаточно рано. Однако, оценка также должна использоваться с умом таким образом, чтобы она могла дополнять процесс обучения. Так как компьютерное обучение является целью этой конференции, эта статья будет связана с компьютерным оцениванием. Цель данной работы - выйти за рамки простого компьютерного обучения для описания компьютерного адаптивного тестирования, и обсудить его последствия, преимущества, и как оно может эффективно дополнять компьютерное обучение в данной области науки.
Описание
Компьютерное тестирование (КT) может быть определено как любой вид оценивания, который осуществляется посредством компьютера. Однако компьютерное тестирование может принимать различные формы, в зависимости от того, насколько адаптирован тест (College Board, 2000). Например, некоторые компьютерные тесты, которые также называются фиксированные компьютеризированные испытания, являются чисто линейными (Парсхолл, брызг, Kalohn и Дэви, 2002). Это тесты, которые наиболее близко напоминают бумагу и карандаш для тестирования, поскольку они фиксированной формы, фиксированной длины, и тестовые задания заранее поставлены в определенном порядке. В отличие от фиксированных компьютеризированных испытаний, компьютерные адаптивные тесты (КАТ) представляют собой компьютерные тесты, которые имеют максимальную степень адаптивности, так как они могут быть адаптированы для каждого студента, исходя из суммарной сложности и порядка, в котором вопросы предоставляются испытуемому. Так что компьютерные адаптивные тесты (КAT) это компьютерны е тесты, которые созданы и адаптированы специально для каждого испытуемого на основе оценивания способностей тестируемого, и исх одя из ответов на предыдущих шагах.
Преимущества компьютерных адаптивных тестов
Основными преимуществами компьютерного адаптивного тестирования связаны с тем, что они являются эффективными с точки зрения времени, а также используемых ресурсов. Эти преимущества будут обсуждены в следующем разделе с точки зрения испытуемых, с точки зрения педагога, который хочет определить уровень знаний студента, а также с точки зрения разработчика теста.
Эффективность
Адаптивные тесты дают возможность оценить способности испытуемого более точно и с меньшими затратами, чем с помощью бумажных тестов. Типичные бумажные тесты создаются для массового тестирования, так чтобы тест использовался для большой группы студентов, различных по способностям. Для того чтобы сделать это большинство вопросов этого теста среднего уровня сложности (так как большинство студентов имеют среднюю успеваемость) В результате, тест такого содержания создает проблемы для студентов с высокой и низкой успеваемостью. Испытуемый с низким уровнем знаний в состоянии ответить на первые несколько относительно лёгких вопросов. А на вопросы среднего и высокого уровня сложности студенту будет нелегко ответить. Следовательно, испытуемый может в конечном итоге угадать ответы на эти вопросы, или может просто оставить их пустыми. В таком случае тяжело реально оценить его знания и возможности, так как какие-либо выводы должны основываться только на ответах на первые несколько вопросов, которые студент смог разобрать. Другой, более конкретный пример такой ситуации приводится ниже. Преподаватель хочет провести тестирование по биологии на тему «печень» Вопрос низкого уровня требует установить место положения печени на картинках человека, а вопросы высокого уровня предполагают способность студента диагностировать болезнь печени по картинкам. В этом случае, если студент не может даже определить местонахождение печени на картине человеческого тела, нет причин задавать ему более сложный вопрос. При рассмотрении таких испытаний с точки зрения студента с глубокими знаниями биологии, ситуация несколько лучше, хотя она по-прежнему не совершенна. Большинство вопросов для него будет слишком легким для этого человека. Адаптивные тесты позволяют эффективно подбирать вопросы, которые специально предназначены для определённого уровня знаний каждого испытуемого. Когда все вопросы чётко направлены на способности каждого студента, педагог может достичь более надежных и достоверных выводов о фактических знаниях студента.
Обратная связь
Еще один из преимуществ компьютерного испытания в целом, а также компьютерных адаптивных тестов, является то, что они могут управлять прямой и непосредственной обратной связью студента и преподавателя (Wise & Plake, 1990). С типичным бумажным тестом, всегда возникает задержка по времени между преподавателем и тестируемым. Без формирования оценки, преподаватели не смогут определить призвано ли компьютерное обучение действительно помогать студенту в обучении или нет. Это особенно важно, потому что без надлежащего оценивания, некоторые студенты могут оказаться в невыгодном положении из компьютерного обучения. В дополнение к суммарной оценке, такой вид оценивания показывает, как каждый студент усвоил материал в целом, также возможно предоставление списка областей и предметов, вопросы по которым встречались у каждого студента, на основе его показателей в адаптивном тестировании. Однако у преподавателя может возникнуть такой вопрос, при непрерывном тестировании, возможно, что некоторые студенты запомнят тестовые вопросы и проинформируют других студентов о них. Однако, если адаптивный тест содержит относительно большую базу вопросов, такой проблемы не возникнет, особенно в свете того, что разные студенты должны получить разные задания, основанные на уровне их индивидуальных способностей.
Время
С точки зрения разработчика тестов, создание адаптивного теста отнимает много времени, но является более эффективным с точки зрения педагога. В частности, студенты при адаптивном тестировании должны ответить на меньшее количество вопросов, чем во время обыкновенного тестирования. Кроме того, обычное тестирование, как правило, проводится всей группой, определённое количество времени, которое может не устраивать некоторых студентов. Преподаватель и вся группа должна ждать, пока все студенты завершат тестирование, прежде чем они смогут перейти к другому виду деятельности. С компьютерным адаптивным тестированием, студенты могут сдавать экзамен, когда будут готовы, единственным условием является доступность компьютера, и они не должны ждать, пока вся группа будет готова приступать к тестированию, или пока вся группа закончит его. С точки зрения преподавателя, адаптивное тестирование является экономным по времени, а также ему больше не придется беспокоиться о создании тестов для группы до тех пор, пока КАТ в состоянии охватить изученный материал. Кроме того, преподаватель экономит время на проверке работ, так как тест оценивается компьютером.
Другие преимущества
Компьютерное адаптивное тестирование также имеет некоторые дополнительные преимущества. В компьютерном адаптивном тестировании высокий уровень безопасности, так как список вопросов больше не может быть украден, и списывание у соседей не выгодно, так как большинство вопросов теста для каждого индивидуально. Кроме того, при помощи КАТ могут быть собраны другие типы данных, такие как количество времени, затраченное для ответа на каждый вопрос или количество изменений, которые сделаны для студентов во время прохождения теста.
ЗАКЛЮЧЕНИЕ
Современные исследования в области тестирования и оценивания показали, что потенциал компьютер адаптивных тестов увеличился. Преимущества и возможности компьютерного адаптивного тестирования дают возможность шагнуть ещё дальше. Это заметно по количеству крупномасштабных тестирований (например, GRE, TOEFL, ASVAB), которые стали или становятся адаптивными (Papanastasiou, 2001). Тем не менее, на такой шаг всегда нужно идти с умом, чтобы такая процедура оценивания хорошо интегрировалась в процесс обучения для обеспечения его максимальной эффективности.
Ссылки
1.Bennett, R. E. (1999). Using new technology to improve assessment. RR99-6. Princeton, NJ: Educational Testing Service. 2. Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum associates. 3. Meijer, R. R. & Nerling, M. L. (1999). Computerized adaptive testing: Overview and introduction. Applied psychological measurement, 23(3), 187-194. 4. O’Neill, K. (1995). Performance of examinees with disabilities on computer-based academic skills tests. Paper presented at the American educational research association, San Francisco, April, 1995. 5. Papanastasiou, E. C. (2001). A ‘Rearrangement Procedure’ for administering adaptive tests when review options are permitted. (Doctoral dissertation, Michigan State University, 2001). 6. Papanastasiou, E. (2002a). A ‘rearrangement procedure’ for scoring adaptive tests with review options. Paper presented at the National Council of Measurement in Education, New Orleans, LA. 7. Papanastasiou, E. (2002b). Factors that differentiate mathematics students in Cyprus, Hong Kong, and the USA. Educational Research and Evaluation, 8 (1), 129-146. 8. Papanastasiou, E. C. & Ferdig, R. E. (2003, January). Computer use and mathematical literacy. An analysis of existing and potential relationships. Paper presented at the third Mediterranean conference on mathematics education, Athens, Greece, January 3-5, 2003. 9. Parshall, C. G., Spray, J. A., Kalohn, J. C. & Davey, T. (2002). Practical considerations in computer- based testing. NY: Springer. 10. Parshall, C. G., Stewart, R. & Ritter, J. (1996). Innovations: Graphics, sound and alternative response modes. Paper presented at the National Council of Measurement in Education, April 9-11, 1996, New York. 11. The College Board. (2000, April). An overview of computer-based testing. RN-09. 12. Wainer, H. (2000). CATs: Whither and whence. Psicologica, 21(1-2), 121-133. 13. Wise, S. L. & Plake, B. S. (1990). Computer-based testing in higher education. Measurement and evaluation in counseling and development, 23, 3-10.
Elena C. Papanastasiou, Ph.D. University of Kansas and University of Cyprus Department of Education P.O. Box 20537 1678 Nicosia Cyprus
Похожие статьи
-
Что такое Вселенная и из чего она состоит?
Многим из нас приходилось слышать от своих родных и друзей: «Прекрати вести себя так, как будто ты центр Вселенной!» «Футурист» объясняет, почему с точки зрения науки вы имеете право считать себя центром мира – хотя для закоренелых...
-
К вопросу о том где же летает мкс - в космосе или атмосфере
Одним из величайших достояний человечества является международная космическая станция, или МКС. Для ее создания и работы на орбите объединилось несколько государств: Россия, некоторые страны Европы, Канада, Япония и США. Этот аппарат...
-
коч - древнее поморское судно
Игорь Козырь, капитан 1 ранга запаса, кандидат технических наук, старший научный сотрудник, член президиума РОО "Полярный конвой", пресс-секретарь Морского литературно-художественного фонда им. Виктора Конецкого 23 февраля в...
-
Учебно-методический материал по окружающему миру (подготовительная группа) на тему: Стихи и загадки ко Дню Космонавтики
Тема космоса всегда привлекает детей. Они с удовольствием играют в космические игры, рисуют инопланетных гостей и конструируют космические корабли. В апреле можно планировать различные космические путешествия и развлечения, физминутки и...
-
Обещаю вернуться живым (Ю
"Когда государство начинает убивать людей, оно всегда называет себя Родиной"Ромул Августул (последний император Рима). Война - это кровавая "забава" псевдолюдей и дегенератов всех времен и народов,прорвавшихся к власти, а гибнут в...
-
Карточки для заучивания английском слов
Изучение английского языка для детей в большинстве случаев начинается со знакомства с карточками, на которых представлена подборка иностранных слов. Такая подача материала значительно облегчает освоение языка на начальной стадии. Карточки...