1 сущность и достоинства компьютерного тестирования

Тестирование является более качественным и объективным способом оценивания, его объективность достигается путем стандартизации процедуры проведения, проверки показателей качества заданий и

Тестирование является более качественным и объективным способом оценивания, его объективность достигается путем стандартизации процедуры проведения, проверки показателей качества заданий и тестов целиком.

Тестирование — более справедливый метод, оно ставит всех студентов в равные условия, как в процессе контроля, так и в процессе оценки, практически исключая субъективизм преподавателя.

Тесты — это более объёмный инструмент, поскольку тестирование может включать в себя задания по всем темам курса, в то время как на устный экзамен обычно выносится 2-4 темы, а на письменный — 3-5. Это позволяет выявить знания учащегося по всему курсу, исключив элемент случайности при вытаскивании билета. При помощи тестирования можно установить уровень знаний студентов по предмету в целом и по отдельным его разделам.

Тест — это более точный инструмент, так, например, шкала оценивания теста из 20 вопросов, состоит из 20 делений, в то время, как обычная шкала оценки знаний — только из четырёх.

Тестирование более эффективно с экономической точки зрения. Основные затраты при тестировании приходятся на разработку качественного инструментария, то есть имеют разовый характер. Затраты же на проведение теста значительно ниже, чем при письменном или устном контроле. Проведение тестирования и контроль результатов в группе из 30 человек занимает полтора два часа, устный или письменный экзамен — не менее четырёх часов.

Тестирование — это более мягкий инструмент, они ставят всех учащихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений.

Наряду с преимуществами у компьютерных методов есть и свои недостатки:

· Разработка качественного тестового инструментария — длительный, трудоемкий и дорогостоящий процесс. Стандартные наборы тестов для большинства дисциплин ещё не разработаны, а разработанные обычно имеют очень низкое качество.

· Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания.

· Широта охвата тем в тестировании имеет и обратную сторону. Студент при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.

· Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внесение в задания изменений.

· В тестировании присутствует элемент случайности. Например, студент, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.

Заключение

По сравнению с традиционными формами контроля компьютерное тестирование имеет ряд преимуществ: быстрое получение результатов испытания, освобождение преподавателя от трудоемкой работы по обработке результатов тестирования, однозначность фиксирования ответов, конфиденциальность при анонимном тестировании.

Проанализировав современную литературу по данной проблематике, были выявлены следующие требования к унифицированной автоматизированной тестирующей системе:

· защита от несанкционированного доступа к вопросам теста. Решение данной проблемы может осуществляться средствами шифровки данных; неограниченная тестовая база, которая предназначена как для разнообразия теста, так и для меньшей повторяемости вопросов;

· простота интерфейса программы.Многие специалисты, особенно специализация которых не связанна с информационными технологиями, довольно плохо умеют обращаться с компьютером и компьютерными программами, поэтому понятность и доступность интерфейса – немаловажное требование к тестирующей системе;

· простота администрирования теста. Это требование также немаловажно. Чем легче будет среда разработки, тем и тестов, тем меньше будет возникать вопросов, касающихся работы на компьютере. Простота администрирования решается посредством использования отдельной программы создания или занесения тем и тестов в базу и установки параметров;

· полная автоматизация процесса тестирования. Тестирование должно проводиться без контроля преподавательского состава за ходом тестирования. Поэтому весь процесс – от задания вопросов теста преподавателем, идентификации специалиста, проведения тестирования, до оценки полученного результата и занесения этого результата в файл данных, должен проходить в полностью автономном режиме;

Анализ литературы позволил выявить следующие типы вопросов компьютерного контроля знаний: произвольный тип, или, ввод с клавиатуры; ввод нескольких ответов в определенной последовательности (ранжирование); ввод пропущенных частей строк или букв; выборочный тип вопроса; альтернативный тип вопроса; последовательный тип вопроса. Для эффективного контроля знаний необходимо грамотно использовать все типы вопросов. В настоящий момент существует два способа определения результата ответа – по правильным или неправильным ответам в целом на вопрос и по существенным операциям. При выборе принципа оценки следует предполагать, что оценка по существенным операциям гибче и объективнее, так как она позволяет выявлять неполные, не совсем верные, частично ошибочные и другие подобные ответы и вычислять их в конкретных цифрах коэффициента усвоения.

Тестовая система имеет следующие важные характеристики:

· адаптивность, т.е. способность системы приспосабливаться к изменяющимся условиям (техническим и программным средствам);

· открытость определяется способностью системы подстраиваться под контроль конкретных учебных дисциплин;

· стандартность системы выражается использованием функций и дизайна, применяемых в программах общего пользования;

· унифицированность заключается в том, что на основе данной системы можно создать ей подобные.

Список использованной литературы

1. Андреев А.Б. Компьютерное тестирование: системный подход к оценке качества знаний студентов /- М., 2001.

2. Зырянова Н.М. «О плюсах и минусах компьютерного тестирования» // Кадровый менеджмент. № 1(5), февраль 2003 г. www.begin.ru.

3. Алешин Л.И. Компьютерное тестирование студентов библиотечного факультета МГУК // http://laleshin.narod.ru/ktsbf.htm.

4. Аванесов В.С. Методологические и теоретические основы тестового педагогического контроля: Автореф. д-ра пед. наук/ Санкт-Петербургский гос. Ун-т. – СПб., 2001.

5. Алешин Л.И. Компьютерное тестирование студентов библиотечного факультета МГУК // http://laleshin.narod.ru/ktsbf.htm.

6. Шмелев А.Г. Компьютеризация экзаменов: проблема защиты от фальсификаций. – М., 2002. – С. 71-73.

7. Аванесов В.С. Научные проблемы тестового контроля знаний. – М., 1994.

8. Майоров А.Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования). – М., 2001.

9. Шафрин Ю.А. Информационные технологии. – М.: Лаборатория Базовых Знаний, 1998.

10. Воскерчьян С.Н. Об использовании метода тестов при учёте успеваемости школьников // Советская педагогика. – 1973, № 10.

Преимуществами компьютерного тестирования являются:

  • * Объективность. Исключается фактор субъективного подхода со стороны экзаменатора. Обработка результатов теста проводится через компьютер.
  • * Валидность. Исключается фактор «лотереи» обычного экзамена, на котором может достаться «несчастливый билет» или задача — большое количество заданий теста охватывает весь объем материала того или иного предмета, что позволяет тестируемому шире проявить свой кругозор и не «провалиться» из-за случайного пробела в знаниях.
  • * Простота. Тестовые вопросы конкретнее и лаконичнее обычных экзаменационных билетов и задач и не требуют развернутого ответа или обоснования — достаточно выбрать правильный ответ и установить соответствие.
  • * Демократичность. Все тестируемые находятся в равных условиях, результаты тестирования прозрачны.
  • * Массовость и кратковременность. Возможность за определенный установленный промежуток времени охватить итоговым контролем большое количество тестируемых. При этом оставшееся время использовать на изучение нового материала или закрепление старого.
  • * Технологичность. Проведение экзамена в форме тестирования весьма технологично, так как позволяет использовать автоматическую обработку.
  • * Достоверность информации об объеме усвоенного материала и об уровне его усвоения.
  • * Надежность. Тестовая оценка однозначна и воспроизводима.
  • * Дифференцирующая способность. За счет наличия заданий различного уровня трудности.
  • * Реализация индивидуального подхода в обучении. Возможна индивидуальная проверка и самопроверка знаний учащихся.

Наряду с преимуществами у компьютерных методов есть и свои недостатки:

1) Общение человека с компьютером имеет свою специфику, и не все одинаково спокойно относятся к компьютерному тестированию. Например, если процедура тестирования затянется или содержание теста не заинтересует человека, положительный настрой может смениться противоположным: будут утомлять и раздражать однообразие и монотонность работы, «глупость» вопросов и заданий. Иногда негативное отношение к компьютерному тестированию бывает вызвано и отсутствием обратной связи. А когда тестируемый человек не получает обратной связи, возрастает вероятность ошибочных ответов (можно неверно понять инструкцию, перепутать клавиши для ответов и др.).

Были проведены специальные исследования, чтобы определить, как люди относятся к компьютерному тестированию. Оказалось, что у некоторых людей возникает так называемый эффект психологического барьера, а у некоторых — эффект сверхдоверия. Бывает, человек вообще не способен справиться с заданием потому, что «боится» компьютера. Возможно и включение психологических защитных механизмов, связанных с нежеланием тестируемого раскрываться, стремлением избежать излишней откровенности или намеренным искажением результатов.

  • 2) При компьютерном тестировании специалисты имеют дело только с полученными результатами. Они не видят тестируемого, не общаются с ним, а значит, не владеют о нем дополнительной информацией, не могут выяснить его действительный объем знаний.
  • 3) Тестовый контроль не способствует развитию устной и письменной речи учащихся.
  • 4) Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.
  • 5) В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.

Компьютерное тестирование – недавно возникшее направление психодиагностических исследований (обследований), связанное с использованием средств электронно-вычислительной техники. Появление компьютерной психодиагностики обусловлено развитием информационных технологий. Попытки автоматизировать предъявление стимульного материала испытуемому и последующую обработку результатов предпринимались начиная с 30-х гг. XX в. Но лишь с 70-х гг. начинается подлинное развитие компьютерной психодиагностики в связи с появлением персональных компьютеров. С 80-х гг. компьютерные тесты разрабатываются в массовых масштабах. Сначала как компьютерные версии уже известных бланковых методик, а в 90-е гг. как специальные методики, учитывающие возможности современной техники и неупотребимые в бланковом виде, поскольку рассчитаны на сложный, изменяющийся в пространстве и времени стимульный материал, специфическое звуковое сопровождение и т. п. Начало XXI века отмечено тем, что все чаще управление тестированием передается компьютеру. Если в прошлые годы автоматизировались отдельные стадии исследования, например предъявление материала (очень удобно использовать компьютер вместо тахис-тоскопа), обработка данных (особенно громоздких в обработке тестов типа MMPI, 16PF, социометрии), интерпретация результатов (тест Люшера), то на современном этапе все чаще можно встретить программы, которые берут на себя все обследование целиком, вплоть до постановки диагноза, что сводит необходимость присутствия психолога к минимуму. И в этом есть свои плюсы и минусы.

Безусловными достоинствами компьютерных тестов (КТ) являются: быстрое проведение; высокая скорость и безошибочность обработки; возможность безотлагательного получения результатов; обеспечение стандартных условий тестирования для всех испытуемых; четкий контроль процедуры тестирования (невозможен пропуск вопросов, при необходимости может быть фиксация времени каждого ответа, что особенно важно для тестов на интеллект); возможность исключения психолога как дополнительной переменной (что имеет особое значение при проведении экспертизы); наглядность и занимательность процесса (поддержка внимания с помощью цвета, звука, игровых элементов, что особенно важно для обучающих программ); легкая архивация результатов; возможность объединения тестов в батареи (пакеты программ) с единой итоговой интерпретацией; мобильность экспериментатора (весь инструментарий на одной дискете); возможность проведения массовых исследований (например, через Интернет).

Недостатки компьютерных тестов: сложность, трудоемкость и дороговизна разработки программ; необходимость дорогостоящей компьютерной техники; сложность использования ЭВМ в полевых условиях; необходимость специального обучения испытуемого работе с КТ; трудности работы с невербальным материалом, особая сложность перевода в компьютерную форму проективных тестов; отсутствие индивидуального подхода к тестируемому (потеря части психодиагностической информации, получаемой в беседе и наблюдении); латентность этапов обработки и интерпретации данных (качество этих процедур полностью зависит от разработчиков программ). У некоторых испытуемых при взаимодействии с компьютером могут возникать эффекты «психологического барьера» или «сверхдоверия» . Поэтому данные о валидности, надежности и репрезентативности бланковых тестов не могут быть автоматически перенесены на их компьютерные аналоги, что ведет к необходимости новой стандартизации тестов.

Недостатки КТ вызывают настороженное отношение к ним психологов. Мало используются КТ в клинической психологии, где цена ошибки слишком высока.

Л. С. Выготский выделял три уровня психодиагностики: симптоматический (выявление симптомов), этиологический (выявление причин) и типологический (целостная, динамическая картина личности, на основе чего строится прогноз) . Компьютерная психодиагностика на сегодняшний день находится на низшем уровне – уровне симптоматического диагноза, практически не давая материала для выявления причин и вынесения прогноза.

Но, по-видимому, КТ имеют большое будущее, где наверняка многие из перечисленных недостатков компьютерной психодиагностики будут решены благодаря дальнейшему развитию электронной техники и совершенствованию психодиагностических технологий. Залогом такого оптимизма является нарастающий интерес науки и практики к компьютерной диагностике, в арсенале которой уже сейчас имеется свыше 1000 КТ .

Если попытаться классифицировать ныне существующие КТ, то можно выделить следующие их виды:

1. По структуре

а) аналоги бланковых тестов;

б) собственно КТ.

2. По количеству тестируемых

а) КТ индивидуального тестирования;

б) КТ группового тестирования (для одновременной подачиидентичного материала на компьютерах, объединенных влокальную сеть).

3. По степени автоматизации тестирования

а) автоматизирующие один или несколько этапов обследования;

б) автоматизирующие все обсследование.

4. По задаче

а) диагностические КТ;

б) обучающие КТ (тесты-тренажеры, развивающие программы).

5. По адресату

а) профессиональные психологические;

б) полупрофессиональные;

в) непрофессиональные (развлекательные).

Пользователем профессиональных КТ является психолог, поэтому они разрабатываются специализированными лабораториями или центрами компьютерной психодиагностики (из числа которых стоит упомянуть центр «Гуманитарные технологии» в Москве, ЗАО «Иматон-М», лабораторию клинической психологии Психоневрологического института им. В. М. Бехтерева в Санкт-Петербурге и др.). Эти тесты имеют ряд специфических особенностей: 1) наличие архива (базы данных); 2) наличие пароля на вход в тест или базу данных для обеспечения конфиденциальности результатов; 3) развернутая интерпретация результатов с использованием профессиональных терминов, коэффициентов, с построением графиков (профилей); 4) наличие информации о разработчиках методики, сведений о валидности и надежности, справочных материалов о лежащих в основе методики теоретических положениях. Полупрофессиональные КТ ориентированы на специалистов смежных профессий, например на педагогов, менеджеров по персоналу. Такие тесты зачастую снабжены редуцированной интерпретацией без использования специальной лексики, просты в освоении и работе. Тесты подобного уровня могут быть предназначены и для неспециалиста, рядового пользователя персонального компьютера, интересующегося психологией. Наконец, существует также большое число непрофессиональных КТ, направленных на популяризацию психологических идей или преследующих развлекательные цели.

Пользуясь профессиональными или полупрофессиональными КТ, необходимо соблюдать те же этические принципы, что и при бланковом тестировании. Важно не распространять результаты тестирования и защищать свои файлы паролем, особенно если у компьютера несколько пользователей. И главное – «не сотворить себе кумира». Помнить, что КТ является только средством, только помощником и имеет свои границы применения (знанием чего профессиональный психолог отличается от шарлатана от психологии).

Еще по теме 13.7. Компьютерное тестирование:

  1. «Виртуальная реальность», или Педагогические возможности игровой эстетической компьютерной среды в курсе «Компьютерная графика и анимация» Елена ХРАМЦОВА

Лекция 11. Компьютерное тестирование в образовании.

1.Специфика компьютерного тестирования и его формы.

2.Инновационные формы тестовых заданий при компьютерном
тестировании.

3. Компьютерное адаптивное тестирование.

4.Online
-тестирование, его применение
в дистанционном обучении.

1.
Специфика компьютерного тестирования и его формы

Общие представления о компьютерном тестировании.
С начала
XXI
в. в образовании тестирования стали
широко применяться компьютеры. В педагогических инновациях появилось
отдельное направление – компьютерное тестирование, при котором
предъявление тестов, оценивание результатов учащихся и выдача им
результатов осуществляется с помощью ПК.

Этап генерации тестов технологически может протекать по–разному, в
том числе путем ввода в компьютер бланковых тестов. На сегодняшний
день по компьютерному тестированию имеются многочисленные публикации,
разработаны программно-инструментальные средства для генерации и
предъявления тестов

Когда необходимо обращаться к компьютерному тестированию.

Хотя компьютерное тестирование значительно облегчает работу учителя
при предъявлении и оценивании результатов выполнения тестов, его
распространение во многом не более чем дань моде, все негативные
последствия которые до сих пор не выявлены по полной мере. Выбор
компьютерного формата экзамена должен основываться на более важных и
обоснованных предпосылках, чем просто увлечение инновациями,
поскольку он порождает множество проблем и ставит учащихся в
неравные условия. Обращаться к компьютерному тестированию следует в
тех случаях, когда есть настоятельная потребность в отказе от
традиционных бланковых тестов.

Например, компьютерное тестирование необходимо при проведении ЕГЭ в
труднодоступных районах России. Сбор выпускников отдельных районов в
обозначенное время проведения ЕГЭ становится настолько сложным и
дорогостоящим мероприятием, что обойтись без компьютерного
тестирования и современных средств коммуникации просто невозможно.
Компьютерное тестирование целесообразно также применять при
проведении экзаменов для детей с ограниченными возможностями,
имеющих серьезные нарушения зрения или слуха. С помощью ПК можно
использовать большие по размерам шрифты, аудиозаписи, дополнительные
устройства для ввода данных тестирования и другие приспособления,
компенсирующие на экзаменах потенциальное отставание детей с
ограниченными возможностями.

Формы осуществления компьютерного тестирования.
Компьютерное
тестирование может проводиться в различных формах, различающихся по
технологии объединения заданий в тест (рис.17). часть из них пока не
получили специального названия в литературе по тестовой
проблематике.

Рис.17. Формы компьютерного тестирования

Первая форма – самая простая. Готовый тест, стандартизированный или
предназначенный для текущего контроля, вводится в специальную
оболочку, функции которой могут различаться по степени полноты.
Обычно при итоговом тестировании оболочка позволяет предъявлять
задания на экране, оценивать результаты их выполнения, формировать
матрицу результатов тестирования, обрабатывать ее и шкалировать
первичные баллы испытуемых путем перевода в одну из стандартных шкал
для выдачи каждому испытуемому тестового балла и протокола его
оценок по заданиям теста.

Вторая форма компьютерного тестирования предполагает
автоматизированную генерацию вариантов теста, осуществляемую с
помощью инструментальных средств. Варианты создаются перед экзаменом
или непосредственно во время его проведения из банка калиброванных
тестовых заданий с устойчивыми статистическими характеристиками.
Калибровка достигается благодаря длительной предварительной работе
по формированию бланка, параметры заданий которого получают на
репрезентативной выборке учащихся, как правило, на протяжении 3-4
лет с помощью бланковых тестов. Содержательная валидность и
параллельность вариантов обеспечиваются за счет строго
регламентированного отбора заданий каждого варианта в соответствии
со спецификацией теста.

Третья форма – компьютерное адаптивное тестирование – базируется на
специальных адаптивных тестах. В основе идей адаптивности лежат
соображения о том, что учащемуся бесполезно давать задания теста,
которые он выполнит наверняка правильно без малейших затруднений,
или гарантированно не справится в силу высокой трудности. Поэтому
предлагается оптимизировать трудность заданий, адаптируя ее к уровню
подготовленности каждого испытуемого, и сократить за счет исключения
части заданий длину теста.

Достоинства и недостатки компьютерного тестирования.

Компьютерное тестирование имеет определенные преимущества по
сравнению с традиционным бланковым тестирование, которые проявляются
особенно заметно при массовых проверках, например при проведении
национальных экзаменов типа ЕГЭ. Предъявление вариантов теста на
компьютере позволяет сэкономить средства, рекомендуемые обычно на
печать и транспортировку бланковых тестов.

Благодаря компьютерному тестированию можно повысить информационную
безопасность и предотвратить рассекречивание теста за счет высокой
скорости передачи информации и специальной защиты электронных файлов.
Упрощается также процедура подсчета результирующих баллов в тех
случаях, когда тест содержит только задания с выбором ответов.

Другие преимущества компьютерного тестирования проявляются в текущем
контроле, при самоконтроле и самоподготовке учащихся; благодаря
компьютеру можно незамедлительно выдать тестовый балл и принять
неотложные меры по коррекции усвоения нового материала на основе
анализа протоколов по результатам выполнения корректирующих и
диагностических тестов. Возможности педагогического контроля при
компьютерном тестировании значительно увеличивается за счет
расширения спектра измеряемых умений и навыков в инновационных типах
тестовых заданий, использующих многообразные возможности компьютера
при включении аудио- и видеофайлов, интерактивности, динамической
постановки проблем с помощью мультимедийных средств и др.

Благодаря компьютерном тестированию повышаются информационные
возможности процесса контроля, появляется возможность сбора
дополнительных данных о динамике прохождения теста отдельными
учащимися и для осуществления дифференциации пропущенных и не
доступных заданий теста.

Помимо неоспоримых достоинств компьютерное тестирование имеет ряд
недостатков, которые представлены на рис. 18.

Рис.18 Проблемы, возникающие при компьютерном тестировании

Типичные психологические и эмоциональные реакции учащихся на
компьютерном тестировании.
Обычно психологические и
эмоциональные реакции учащихся на компьютерное тестирование носят
позитивный характер. Учащимся нравится незамедлительная выдача
тестовых баллов, протокола тестирования с результатами по каждому
заданию, а также сам инновационный характер контроля в том случае,
когда привлекаются современные гипермедийные технологии по выдачи
теста. Динамическое мультимедийное сопровождение заданий на
компьютере, объединенное программными средствами для представления в
интерактивном режиме, по мнению учащихся, обеспечивает более точную
оценку знаний и умений, сильнее мотивирует к выполнению заданий по
сравнению с бланковыми тестами. Удобно также то, что вместо
заполнения специальных форм для ответов можно просто выбрать ответ
мышью. Если тестирование проходит в адаптивном режиме, то
сокращается время проведения экзамена и длина теста.

Негативные реакции обычно вызывают различные ограничения, которые
иногда накладываются при выдачи заданий в компьютерном тестировании.
Например, фиксируется либо порядок предъявления заданий, либо
максимально возможное время выполнения каждого задания, после
истечения которого независимо от желания испытуемого появляется
следующее задание теста. В адаптивном тестировании учащиеся бывают
недовольны тем, что они не имеют возможности пропустить очередное
задание, просмотреть весь тест до начала работы над ним и изменить
ответы на предыдущие задания. Иногда школьники возражают против
компьютерного тестирования из-за трудностей, которые возникают при
выполнении и записи математических вычислений и т.д.

Воздействие на выполнение теста предшествующего уровня
компьютерного опыта.
Результаты зарубежных исследований
показали, что опыт работы на компьютерах, имеющийся у школьников, во
многих случаях значительно влияет на валидность результатов
выполнения теста. Если в тест включены задания без инноваций с
выбором ответов, то влияние опыта работы с компьютером на результаты
тестирования незначительно, поскольку от учащихся в таких заданиях
не требуется никаких сложных действий при выполнении теста. При
предъявлении на экране инновационных типов заданий, широко
использующих средства компьютерной графики, и другие новшества,
влияние предшествующего компьютерного опыта на тестовый балл
становится очень значительным. Таким образом, при компьютерном
тестировании необходимо учитывать уровень компьютерного уровня
учащихся, для которого предназначается тест.

Влияние интерфейса пользователя на результаты компьютерного
тестирования.
Интерфейс пользователя включает доступные
учащемуся функции и возможности движения по заданиям теста, элементы
размещения информации на экране, а также общий визуальный стиль
представления информации. Хороший интерфейс пользователя должен
обладать ясностью и корректностью логической последовательности
взаимодействия с экзаменуемым, отражая общие принципы дизайна
графической информации. Чем более продуман интерфейс, тем меньше
внимания учащийся на него обращает, сосредоточивая все свои усилия
на выполнении заданий теста.

2. Инновационные формы тестовых
заданий при компьютерном

тестировании.

Цели разработки инновационных заданий
в компьютерном тес­тировании

.
Инновационные задания, использующие возможности компьютерного
тестирования, на сегодняшний день являются наи­более перспективным
направлением развития автоматизации пе­дагогических измерений.
Основной причиной этого является боль­шой потенциал инновационных
заданий для повышения инфор­мативности педагогических измерений и
увеличения содержатель­ной валидности тестов.

Основная цель разработки инновационных
заданий для компь­ютерного тестирования состоит в оценивании тех
когнитивных умений, функциональной грамотности и коммуникативных
уме­ний, которые остаются не выявленными при традиционном кон­троле,
или использовании бланковых тестов.

Предметом оценивания при инновациях может
быть уровень аналитико-синтетической деятельности обучаемого,
скорость обоб­щения новой информации, гибкость мыслительного
процесса и многие другие показатели умственной деятельности,
сформировавшиеся в процессе обучения и не поддающиеся оцениванию с
помощью обычных тестов.

Возможности инновационных задании в
компьютерном тестиро­вании.

В
использовании инновационных заданий можно выделить два аспекта:
дидактический и психолого-педагогический. Первый предполагает
развернутую содержательную интерпретацию резуль­татов тестирования в
контексте освоенных на момент предъявле­ния теста когнитивных,
учебных и общеучебных умений, а
вто­рой позволяет оценить
уровень развития мыслительных процес­сов у учащегося и выявить
особенности усвоения им новых зна­ний. Большинство инновационных
заданий, разработанных к на­стоящему времени, обеспечивают
совершенствование измерений в обоих направлениях. Таким образом,
инновационные задания позволяют расширить возможности самого
педагогического изме­рения за счет получения результатов в новых,
недоступных ранее направлениях оценивания качества подготовленности
учащихся. Например, для оценивания уровня сформированности
функцио­нальной грамотности экзаменующимся, можно предложить
отры­вок текста, в котором есть ошибки, а затем попросить
идентифи­цировать их и исправить путем перепечатывания разделов
текста.

Инновационные задания способствуют
сокращению влияния слу­чайного угадывания за. счет увеличения числа
возможных ответов без нарастания громоздкости заданий теста.
Например, при оцени­вании понимания прочитанного текста можно
попросить учащего­ся выбрать ключевое предложение в тексте и указать
на него щелч­ком мыши. Таким образом, каждое предложение в текстовом
от­рывке становится опцией для выбора вместо 4-5 ответов в
тради­ционных заданиях с готовыми ответами. Для совершенствования
формы заданий используют сложный рисунок, динамические эле­менты,
включая изображения, мультипликацию или видео; тем самым сокращается
время чтения условия. Расширение возможно­стей тестирования
происходит при включении звука, что позволя­ет вести диалог с
учащимся, оценивать фонетические особенности его произношения при
тестировании по иностранному языку, про­верять, правильность
интерпретации различных звуков.

Основные направления инноваций при
разработке заданий.

Ин­новации
при разработке заданий для компьютерного тестирова­ния охватывают
пять связанных между собой направлений. К ним относятся: форма
задания, действия испытуемого при ответе, уро­вень использования
мультимедийных технологий, уровень интер­активности и методика
подсчета баллов.

Нововведения в форме задания включают
визуальный и звуко­вой информационные ряды или их сочетание.
Визуальная инфор­мация может носить реалистический (фото, кино) и
синтезиро­ванный (рисунок, анимация) характер. Тип информации в
соче­тании с тестовой формой определяет формат ответа, выбираемого
или создаваемого экзаменующимся. При использовании фото­графий или
рисунков информация, содержащаяся в тестовых заданиях, носит
статический характер. Кино, отражающее реаль­ный мир, и анимация
вносят динамику в выполнение, теста.

Действия учащегося при ответе на задания
зависят от тех ин­новационных средств, которые включены в тест. При
включении в задания звуковой информации, предполагающей голосовой
от­вет учащегося, для ответа используются клавиатура, мышь или
микрофон. Значительное место при ответах отводится интерак­тивным
процессам. Интерактивный режим работы учащихся при компьютерном
тестировании означает поочередную выдачу аудио­визуальной
информации, при которой каждое новое высказыва­ние со стороны
учащегося или компьютера строится с учетом пре­дыдущей информации с
той и другой стороны. При организаций интерактивного режима в
компьютерном тестировании использу­ется в основном экранное меню, в
котором учащийся для ответа на тестовые задания выбирает, создает
или перемещает объекты — компоненты ответа. Реже в интерактивном
режиме применяют голосовой ввод ответа.

В целом уровень интерактивности,
обеспеченный в компью­терном тестировании, характеризует степень, в
которой опреде­ленная форма задания реагирует или отвечает на ввод
информа­ции со стороны экзаменующегося. Этот уровень варьируется от
простейшего случая, когда совершается один шаг, до сложных,
многошаговых заданий с разветвлением после каждого очередно­го
ответа ученика.

Сравнительная характеристика
инновационных форм заданий при компьютерном тестировании для
различных целей совершен­ствования педагогического измерения
приведена в табл. 5.

Проблемы, возникающие при
использовании заданий повышен­ной трудности в компьютерном
тестировании.

Задания
повышен­ной трудности всегда требуют больше времени для ответов вне
зависимости от того, предъявляются ли они с помощью компью­терного
моделирования виртуальной реальности, имеют ли фор­му лабораторной
работы, эссе или используют мультимедийные технологии. Из-за
временных затрат число сложных заданий дол­жно быть незначительно —
не более 10-15 %, в отдельных случа­ях — 20-25%. Многообразие
звуковых и зрительных образов в компьютерном тестировании приводит к
возникновению у школь­ников усталости, поэтому при включении в тест
даже небольшого количества трудных инновационных заданий приходится,
значи­тельно уменьшать длину теста, что негативно сказывается на
со­держательной валидности, надежности и информационной
без­опасности педагогического измерения.

Несмотря на преимущества инновационных
форм заданий, предъявляемых с помощью компьютера, к ним нужно
относиться с осторожностью, тщательно анализировать их адекватность
це­лям измерения и уместность в тесте. Обычно инновационные за­дания
высокой трудности выделяют в отдельный блок и помеща­ют в конце
теста* Их выполнение не должно отнимать времени у наиболее слабых
учащихся, которые, скорее всего, не дойдут до конца теста.

Таблица 5

Сравнительная характеристика
инновационных форм заданий при компьютерном тестировании

Цель

совершенствования
педагогического измерения

Характеристика формы ответа

Основные

направления инноваций

Характеристика трудности

Задания

Снизить эффект угадывания

Ответ числовой (или текстовый),
конст­руируемый учащим­ся, вводе клавиату­ры или
голосовой
через
микрофон

Использование формы задания с
конструируе­мым ответом

Обычно

высокая

Повысить содержательную
валидность

Ответ выбирается

мышью на графиче­ском
изображении, используется обыч­ное меню или гипер­текст

Использование

аудиовизуально-го ряда.
Включение мультиме­диа без интерактивности

Низкая или

средняя

Обеспечить

повышение конструктной и
содержательной валидности

Ответ выбирается

мышью на графиче­ском
изображении, запрашивается допол­нительная информа­ция,
используется гипертекст

Использование мультимедиа для
моделирования естественной ок­ружающей сре­ды и действий
пользователя в ней. Представле­ние объектов с помощью
анима­ции вне режима интерактивности

Средняя или высокая

Расширить возможность
измерения ин­теллектуаль­ных

умений, когнитивных навыков

Ответ осуществляется
перемещением объек­тов на экране и конст­руируется
учащимся, используется клавиа­тура, левая и правая
кнопки мыши. Воз­можен интерактив

Использование формы задания с
конструируе­мым ответом и интерактивом простейшего
уровня

Средняя или высокая

Обеспечить

возможность

оценивания

творческих и

практических

умений

При конструирова­нии ответа
учащимся обязательно исполь- зуется двухступенча­тый или
многосту­пенчатый разветв­ляющийся интерактивный переход
к различным этапам выполнения задания

Использование формы задания с
конструируе­мым ответом и

интерактивом сложного уровня

Средняя или

высокая

Обеспечить по­вышение
кон­структной и содержательной валидности; расширить
охват содержа­ния; реализо­вать возможность измерения
коммуникативных и интеллектуальных уме­ний, когнитив­ных
навыков

Ответ моделируется учащимся
пошагово с использованием многоступенчатого
разветвляющегося интерактивного пе­рехода к различным
этапам выполнения задания и виртуаль­ной реальности

Действия ис­пытуемого при
ответе

Высокая

Подсчет баллов учащихся.


Если в компьютерном тестировании не используются мультимедийные и
интерактивные технологии, то подсчет первичных баллов учащихся
проводится традиционно путем суммирования оценок по отдельным
заданиям. Привлечение мультимедийных технологий приводит к
многомерности результа­тов выполнения теста, поскольку оценивание
целого спектра твор­ческих, коммуникативных, общепредметных и других
умений с помощью инновационных форм заданий всегда связано с
несколь­кими переменными измерения. Появление интерактивности еще
больше усложняет процедуру подсчета баллов учащихся, она ста­новится
зависимой от ответа экзаменующегося на каждом шаге вы­полнения
заданий теста и требует политомических оценок.

Проверка результатов выполнения заданий с
конструируемым регламентированным ответом осуществляется путем
сравнения ответа экзаменующегося с эталоном, хранящимся в памяти
компьютера, и включает различные синонимы правильного, ответа с
приемлемыми орфографическими ошибками.

Намного сложнее автоматизированный
подсчет баллов в зада­ниях со свободно конструируемым ответом (типа
эссе) в гумани­тарных дисциплинах. На сегодняшний день зарубежными
тестоло
гами разработаны
специальные программы для автоматизирован­ной проверки эссе.
Критерии оценивания в этих программах до­вольно разнообразны: от
рассмотрения поверхностных характе­ристик эссе типа длины и степени
полноты ответа до сложных случаев анализа с использованием
достижений компьютерной лингвистики. Обычно все эти различные
автоматизированные про­граммы подсчета баллов требуют участия
экспертов только на момент начала работы, когда квалифицированным
педагогам не­обходимо «обучить» компьютерную программу оцениванию
лю­бых развернутых ответов.

Тесты фиксированной длины,
компьютерная генерация параллельных вариантов теста

Основные компоненты процесса
автоматизированной компонов­ки теста для компьютерного предъявления.

Процесс автоматизи­рованной
компоновки теста в том случае, когда он. происходит заранее и не в
адаптивном режиме, включает сборку (генерацию) параллельных
вариантов, выбор правила подсчета баллов тести­руемых учащихся и
коррекцию вариантов для выполнения требо­ваний теории педагогических
измерений.

Неизбежные

различия по трудности вариантов,
возникающие вследствие существования ошибок измерения, устраняются
пос­ле тестирования путем выравнивания шкал, получаемых при
под­счете тестовых баллов по отдельным вариантам теста. К числу
со­путствующих вопросов, решение которых также необходимо при
автоматизированной компоновке теста, относится работа по на­полнению
банка тестовых заданий и оцениванию информацион­ной безопасности
тестирования.

Компьютерная генерация параллельных
вариантов теста фикси­рованной длины.


Автоматизированная сборка теста с фиксирован­ным числом, заданий
предполагает наличие установленной длины теста, его спецификации и
банка
калиброванных заданий, В
рабо­тоспособный банк, поддерживающий генерацию многовариант­ного
теста, должны входить фреймы заданий различной трудно­сти по каждому
содержательному элементу с устойчивыми оцен­ками параметров. С
помощью специального программно-инстру­ментального, обеспечения
получается аналог традиционного блан­кового теста, готовый к
предъявлению спустя несколько минут от начала генерации и
обеспечивающий высокое качество педагоги­ческих измерений.

Метод автоматизированной компоновки теста
для компьютер­ного предъявления в
режиме
offline

(без использования локаль­ных

компьютерных сетей или Интернета) или в режиме

online

(с использованием локальных компьютерных сетей или Интернета)
называют автоматизированным тестовым дизайном.
Целью дизай­на
является формирование вариантов теста, удовлетворяющих целому ряду
условий, к которым относятся: число заданий, струк­тура содержания,
частота выбора заданий в варианты, а также ряд требований,
обеспечивающих генерацию параллельных вариантов теста.

Технология компоновки вариантов должна
поддерживать сис­тематический контроль за. частотой включения
каждого задания из банка в тест. Количество одинаковых заданий в
параллельных вариантах, используемых для выравнивания шкал по
вариантам, не должно превышать 15-20 %. Для контроля частоты
включения задания в варианты в качестве ограничения вводится
максимально
возможный процент
выбора каждого задания из банка. При его до­стижении задание
перестает использоваться в дальнейших проце­дурах генерации теста.

Обычно многочисленные параллельные или
квазипараллель­ные
варианты теста
создаются в режиме

offline
для последующего
предъявления в режиме

online
,
в том числе при интерактивном

взаимодействии с обучающимися . Дня расширения коммуни­кативных
возможностей компьютерного контроля в

real time

ре­комендуется, использование адаптивного тестирования:,
обеспе­чивающего пошаговую

оптимизацию подбора-трудности заданий при генерации адаптивного
теста (см. раздел 8.4).

3. Компьютерное адаптивное
тестирование

Адаптивное тестирование и его
возможности.

Появление
адап­тивного тестирования было вызвано стремлением к повышению
эффективности педагогических измерений, которая, как прави­ло,
связывалась с уменьшением числа заданий, времени, стоимо­сти
тестирования, а также с повышением точности оценок уча­щихся. В
основе адаптивного подхода лежит индивидуализация процедуры отбора
заданий теста, которая за счет оптимизации трудности заданий
применительно к уровню подготовленности обучаемых обеспечивает
генерацию эффективных тестов .

Оптимизация трудности заданий обычно
проводится пошаго­во. Если учащийся выполняет задание, верно, то
затем ему дается более трудное задание. При неправильном
выполнении задания совершается отход назад к более легким заданиям
банка. При не­выполнении трех заданий подряд процесс
останавливается и спе­циальными методами (чаще всего с помощью
теорий
IRT
)
опре­деляется балл учащегося за выполненные задания по
сформиро­ванному специально для него адаптивному тесту. Таким
образом, в компьютерном адаптивном предъявлении число тестовых
зада­ний и их трудность индивидуально подбираются для каждого
эк­заменующегося на основании его ответов, а индивидуальная
со­вокупность заданий образует адаптивный тест. Адаптивные тесты в
группе испытуемых состоят в основном из разных заданий и различаются
по количеству и трудности заданий тем сильнее, чем больше разброс
среди испытуемых тестируемой группы по подго­товленности.

Получить одновременный прирост
эффективности измерений по всем критериям невозможно, поэтому обычно
при организа­ции адаптивного тестирования на первый план выходит
один; в лучшем случае, два критерия. Например, в одних случаях при
экспресс-диагностике в адаптивном режиме наибольшее внима­ние
уделяется минимизации времени испытания и количеству предъявляемых
заданий, а вопросы точности оценок отходят на второй план. В других
случаях приоритетной может быть точность измерения и тестирование
каждого испытуемого продолжается до тех Нор, пока не достигается
запланированная минимальная ошиб­ка измерения.

На длине адаптивного теста существенно
сказывается качество структуры знаний учащихся. Обычно испытуемые с
четкой струк­турой знаний выполняют задания нарастающей трудности,
уточ­няя с каждым очередным верно выполненным заданием оценку
подготовленности. Они выполняют небольшое число заданий адап­тивного
теста и быстро доходят до порога своей компетентности. Учащиеся с
нечеткой структурой знаний, у которых чередуются верные и неверные
ответы, получают колеблющиеся по трудно­сти задания. Процесс
тестирования затягивается, поскольку при скачкообразном изменении
трудности заданий не происходит пошагового нарастания точности
измерения и число заданий, адап­тированных по трудности, нередко
оказывается даже большим, чем в обычном, традиционном тесте.

Преимущества адаптивного тестирования.


К числу важных пре­имуществ компьютеризованного адаптивного
тестирования мож­но отнести:

Высокую эффективность;

Высокий уровень секретности;

Индивидуализацию темпа выполнения
теста;

Высокий уровень мотивации к тестированию
у наиболее сла­бых обучающихся за счет исключения из процесса
предъявления излишне трудных заданий;

Сообщение результата в интервальной
шкале тестовых баллов каждому испытуемому незамедлительно, сразу
после окончания его работы над индивидуально подобранным набором
заданий в адаптивном тесте.

Стратегии адаптивного тестирования.


Стратегии предъявления тестовых заданий в адаптивном тестировании
можно разделить на двухшаговые и многошаговые, сообразно которым
используется различная технология формирования адаптивных тестов.
Двухшаговая стратегия предполагает наличие двух этапов. На первом
этапе всем испытуемым выдается одинаковый входной тест, цель
которого — осуществление предварительной дифференциации уча­щихся
вдоль оси переменной измерения. По результатам диффе­ренциации на
втором этапе организуется адаптивный ре­жим и строятся адаптивные
тесты. :

В результате развития теории

IRT
,
обеспечивающей единую интервальную шкалу для оценок параметров
испытуемых и труд­ности заданий теста, появилась возможность
по-новому осуще­ствить оптимизацию процедуры отбора заданий для
моделирова­ния эффективных адаптивных тестов: Стали развиваться
многоша­говые стратегии адаптивного тестирования, в рамках которых в
процессе выполнения наборов заданий каждый испытуемый дви­жется по
своей индивидуальной траектории.

Многошаговые стратегии адаптивного
тестирования подразде­ляются на фиксировано-ветвящиеся
и
варьирующе-ветвящиеся
в за­висимости от того, как конструируются
многошаговые адаптив­ные тесты. Если один и тот же набор заданий с
их фиксирован­ным расположением на оси трудности используется для
всех ис­пытуемых, но каждый учащийся движется по набору заданий
индивидуальным путем в зависимости от результатов выполнения
очередного задания, то стратегия адаптивного тестирования является
фиксировано-ветвящейся.

Заданий по трудности в наборе заданий
обычно располагают на равном расстоянии друг от друга или выбирают
убывающий шаг сообразно нарастанию трудности, что позволяет
подстроить темп тестирования под испытуемого, поскольку по мере
выполнения заданий у него нарастает утомление и снижается мотива­ция
к выполнению заданий теста.

Варьирующе-ветвящаяся стратегия
адаптивного тестирования предполагает отбор заданий непосредственно
из банка по опреде­ленным алгоритмам, которые прогнозируют
оптимальную труд­ность последующего задания по результатам
выполнения испыту­емым предыдущего задания адаптивного теста. Таким
образом, шаг за шагом из Отдельных заданий получается адаптивный
тест. В нем варьирует не только трудность, но и шаг, определяемый
разно­стью трудностей двух соседних заданий адаптивного теста.
Отли­чительной особенностью варьирующей ветвящейся стратегии
адаптивного тестирования является пошаговая переоценка уровня
под­готовленности испытуемого, предпринимаемая после каждого

выполнения очередного задания теста.

Рис. 19. Алгоритм варьирующего
многошагового тестирования

Алгоритм, реализующий варьирующую
стратегию адаптивного тестирования, носит циклический характер и
имеет вид, пред­ставленный на рис. 19.

Вход и выход из адаптивного
тестирования

. Выбор начальных
оценок для входа в адаптивное тестирование осуществляется
по-разному, в зависимости от вида стратегии и имеющихся
техноло­гических возможностей при генерации адаптивных тестов. Один
из методов определения начальных оценок основан на выдаче
испы­туемым перед началом адаптивного тестирования входного
протеста. В протест обычно включают 5-10 заданий из разлитых
разде­лов содержания, охватывающих по трудности весь диапазон
пред­полагаемого расположения тестируемой выборки учащихся на оси
переменной измерения. Иногда входное тестирование заменяют
про­цессом самоадаптации, в котором испытуемому предлагают набор
заданий возрастающей трудности. Он выполняет задание, отража­ющее
уровень его знаний и умений.

Для выхода из режима тестирования либо
вводят ограничения по времени или по числу заданий, либо задаются
планируемой точностью измерений. Ориентация на точность при
организации адаптивных циклов порождает многообразие индивидуальных
тра­екторий испытуемых, которые можно визуализировать в виде
ло­маных линий. Вершины ломаной линии соответствуют отдельным
заданиям адаптивного теста, длина звена определяется варьирую­щим
шагом, размер которого равен разности оценок параметра трудности
двух смежных заданий адаптивного теста. Очевидно, что чем меньше
длина ломаной, тем лучше структура знаний учаще­гося и эффективнее
подобраны по трудности задания адаптивно­го теста (рис. 20).

Рис. 20. Визуализация индивидуальных
траекторий испытуемых: в круж­ках — номера заданий

На рис. 20 изображены траектории
адаптивного тестирования трех учащихся, начинавших свой вход в
адаптивный режим по результатам выполнения протеста. Чем выше
расположена вер­шина ломаной, тем труднее было первое задание
адаптивного теста. На момент входа в протесте самый высокий
результат по­казал первый учащийся, поэтому он начинает адаптивное
тес­тирование с более трудного задания. Для удобства обсуждения
ре­зультатов визуализации на рисунке приводятся непересекающие­ся
траектории. Над ломаными ставится «плюс» в тех случаях, ког­да
испытуемый выполнил задание верно, или «минус», если ис­пытуемый
выполнил задание неверно. В качестве критерия окон­чания
тестирования выбрано простое правило: тестирование пре­кращается,
если учащимся подряд выполнены, верно, или неверно три задания
адаптивного теста.

Несмотря на высокий начальный результат,
первый учащий­ся, по-видимому, обладает плохо структурированными
знания­ми, что следует из чередования верных и неверных ответов.
Тести­рование первого ученика прекращается, если ему удается
спра­виться с идущими подряд тремя заданиями адаптивного теста.
Траектория ответов второго учащегося намного короче благодаря хорошо
структурированным знаниям. После неудачи при выполнении первого
задания он все делает верно, и поэтому быстро за­канчивает
адаптивный тест. Третий учащийся самый слабый. Он начинает
тестирование с наиболее легкого задания, с которым не справляется.
Второе, более легкое задание он также выполняет неверно. Наконец,
после трех следующих подряд неправильных ответов он выходит из
адаптивного теста.

Представленный рисунок является
идеализацией, иллюстри­рующей реальные ситуации варьирующих
многошаговых страте­гий генерации адаптивных тестов, в которых после
выполнения каждого задания осуществляется пересчет текущей оценки
уровня подготовленности для выбора очередного задания адаптивного
теста.

Надежность, валидность и длина теста
ори адаптивном тестиро­вании.


Так же как и при традиционном тестировании, отбор зада­ний в
адаптивные тесты осуществляется в соответствии со специ­фикацией
теста. Оптимизируя трудность; можно лишь уменьшить число
предъявляемых заданий по каждому разделу и сохранить при этом для
каждого испытуемого содержательный план теста. Таким образом,
адаптивное тестирование вне зависимости от стра­тегии предъявления
заданий и их числа должно обеспечивать вы­сокую содержательную
валидность каждого генерируемого адап­тивного теста.

Надежность в адаптивном тестировании
зависит от совокупно­сти факторов. К ним относятся: число заданий,
наличие система­тического контроля за частотой выбора заданий банка
при гене­рации адаптивного теста. На надежность также влияют
характери­стики банка тестовых заданий, связанные с качеством
измерений (устойчивость и диапазон вариации оценок трудности) и
каче­ством входного (стартового) контроля.

Адаптивный алгоритм организуется так, что
после каждого очередного предъявления задания проверяется разность
между полученной и запланированной точностью измерений. По
дости­жению запланированной точности алгоритм подбора заданий
при­останавливается, достигается ожидаемая надежность адаптивного
теста.

5.

Online
-тестирование,
его применение в дистанционном

обучении

Уровни интерактивности

.
В самом простом понимании интерак­тивного режима обучения учащийся
имеет возможность получать (читать, смотреть, слушать) только ту
информацию, которую он выбирает для усвоения с использованием
компьютера. Усложне­ние возможностей и технологии осуществления
интерактивного режима приводит к моделированию окружающего мира и
поведе­ния объектов в нем, позволяя имитировать реальность.

Конечно, на сегодняшний день, в силу
многих причин, в обу­чении используются далеко не все возможности
интерактивного режима. В частности, по мнению А. Г: Шмелева,
являющегося круп­нейшим специалистом в России по применению
интерактивных технологий в образовательном и психологическом
тестировании (система «Телетестинг»), в современном Интернете
преобладают неинтерактивные формы преподнесения образовательной
инфор­мации .

Простейший интерактивный режим в
локальной сети и в Интер­нете.


В соответствии с классификацией компьютерных сетей на локальные и
глобальные простейший интерактивный режим,орга­низуется в пределах
одной комнаты, или учебного заведения либо с использованием
Интернета. Как правило, интерактивность ос­новывается на асинхронной
коммуникационной связи, когда ре­акция педагога на результаты
тестирования носит отсроченный характер из-за времени, которое
необходимо на проверку теста в автоматизированном режиме и подсчет
баллов учащихся по ре­зультатам его выполнения.

В первом случае, когда в локальную сеть
объединено несколько десятков или сотен компьютеров, специальная
программа-реали­затор — инструментальная оболочка — обеспечивает
выдачу зада­ний

online
-теста для всей группы
тестируемых, обычно в индиви­дуальном временном.режиме. На экране
каждого компьютера из локальной сети появляется задание одного из
параллельных вари­антов, теста. При обеспечении режима
информационной безопас­ности для всей группы учащихся может
использоваться только один вариант теста.

Выполнение

online
-теста
с использованием Интернета не име­ет принципиальных отличий от
случая применения локальной сети при простейшем уровне
интерактивности без адаптивного режи­ма, когда все учащиеся
выполняют одинаковые варианты теста. Задания в подавляющем
большинстве требуют от учащихся выбо­ра одного или нескольких
правильных ответов с помощью таких известных диалоговых объектов,
как «селекторные кнопки» (
radio

buttons
).
Подсчет тестовых баллов производится путем сличения ответов учащихся
с ключом и сводится, чаше всего, к простому суммированию. Передача
итогового балла по тесту может быть осуществлена с помощью
электронной почты.

Время, затраченное на предъявление
результата тестирования, определяется длительностью пересылки
(обычно от нескольких секунд до нескольких часов) и тем временным
промежутком, который пройдет до момента, когда учащийся прочтет
пришед­шую ему почту. В отдельных случаях, когда учащемуся требуется
документальное подтверждение баллов, результаты тестирования могут
быть доставлены

offline
с помощью записи на
носитель ин­формации. Таким образом, низкий уровень интерактивности
вполне пригоден для итогового тестирования вне адаптивного режима,
когда учащийся должен работать без помощи педагога, а получе­ние
результатов может носить отсроченный по времени характер.

Средний уровень интерактивности в
online
-тестировании.


В теку­щем контроле при дистанционном обучении обычно реализуется
средний уровень интерактивности. В соответствии с возможностя­ми
синхронного обмена информацией в реальном времени с по­мощью
интернет-пейджеров учащемуся обеспечиваются помощь и консультации
педагога при выполнении заданий корректирую­щего и диагностического
тестов.

При среднем уровне интерактивности большое разнообразие
приобретают формы тестовых заданий. В частности у школьника
появляется возможность редактирования текста, представленного в
задании, с помощью введения новых предложений или замены одной части
текста на другую. В заданиях на установление пра­вильной
последовательности сразу после выбора испытуемым не­которого порядка
элементов компьютер отображает новую после­довательность на экране и
т.д. Если установлению синхронной связи не мешают временные пояса,
интерактив незамедлительно обеспечивает эффект «педагог рядом»,
благодаря которому при выполнении заданий текущего контроля ученик
получает помощь, оценку или подсказку педагога.

Высокий уровень интерактивности в
online
-тестировании.


Высо­кий уровень интерактивности обеспечивается в тех случаях, когда
при взаимодействии с педагогом используются звук и
видеоизоб­ражение, что требует значительных финансовых затрат, но
без труда позволяет идентифицировать личность учащегося,
выпол­няющего тест в дистанционном контроле.

С педагогической точки зрения высокому
уровню интерактив­ности отвечает адаптивное тестирование, включающее
разветв­ленные технологии оптимизации трудности заданий в
зависимо­сти от ответов учащегося на каждое предыдущее задание
адаптив­ного теста.

Введение

……………………………………………………………………………3

Глава

I

. Тесты как средства контроля

………………………………………..5

1.1. Схема создания тестовых заданий…………………………………………7

1.2. Применение компьютерного тестирования для контроля знаний. Мотивационный эффект…………………………………………………….14

1.3. Технологии и системы тестирования……………………………………21

1.4. Технология проектирования компьютерных тестов предметной области………………………………………………………………………30

1.5. Методические основы создания компьютерных тестов………………..33

Глава

II

. Типовые тестирования

2.1. Правила разработки тестового задания и теста…………………………39

2.2. Типовые ошибки разработки тестовых заданий…………………………42

2.3. Основные правила тестирования для тестирующих и испытуемых…..50

2.4. Оценивание тестирования………………………………………………..52

2.5. Анализ и обоснование тестирования…………………………………….57

2.6. Дидактические и методические вопросы организации контроля в компьютерных обучающих средах…………………………………………..62

2.7.Требования, предъявляемые к системам компьютерного тестирования…………………………………………………………………..64

2.8. Работа с тестером ADSoftTester…………………………………………66

Заключение

…………………………………………………………………….75

Список литературы

……………………………………………………………77

Приложение

……………………………………………………………………79

Введение.

Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации, при инвариантном учебном времени, за которое должна быть усвоена эта информация.

Составление компьютерных тестов является довольно сложным делом. Очень важно научиться отличать профессионально сделанный добротный тест от популярно-развлекательного журнального опросника. Настоящий, действенный, валидный и эффективно работающий тест — это завершенный продукт, обладающий определенными свойствами и характеристиками и отвечающий современным методическим требованиям. Тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста проявляется во взаимосвязи заданий, включенных в тест. Ни одно из заданий не может быть изъято из теста без ущерба для него. Структура же его проявляется в способе связи заданий между собой.

Создание теста предполагает тщательный анализ содержания учебной дисциплины, классификацию учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц с последующим представлением этих единиц через элементы композиции задания.

Одним из путей, обеспечивающих разрешение противоречия, возникшего в составлении тестов, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.

Когда говорят о тестах, всегда упоминаются их важнейшие характеристики – валидность и надёжность, определяющие качество теста, как инструмента педагогического измерения. Мы же поставили своей целью проанализировать мотивационный эффект использования контрольных тестовых заданий.

Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов.

Цель данной работы- показать что с помощью тестирования удобнее проводить проверку знаний учащихся, это занимает меньше времени и дает объективную оценку знаний, что является очень важным в обучающем процессе.

Задачи данной работы:

1. раскрыть тему компьютерного тестирования;

2. показать как создаются тестовые задания, каковы правила разработки тестовых заданий и тестов, как они оцениваются, как производится анализ тестирования, каковы технологии и системы тестирования, какие типовые ошибки допускаются при разработке тестовых заданий;

3. ближе познакомится с работой одного из тестологов, ADSoftTester;

4. основываясь на данном тестере разработать несколько тестов по предметам: информатика и английский язык.

Глава

I

. Тесты как средства контроля.

Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации при инвариантном учебном времени, за которое должна быть усвоена эта информация.

Одним из путей, обеспечивающих разрешение этого противоречия, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.

Тестирование является одним из наиболее технологичных методов проведения автоматизированного контроля с заложенными в него параметрами качества.

Компьютерное тестирование

Обучение — многогранный процесс, и контроль знаний — лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них тестирование занимает ведущую роль. В ряде стран тестирование потеснило традиционные формы контроля — устные и письменные экзамены и собеседования.

По-видимому, многие преподаватели уже прошли через некоторую эйфорию при создании тестов и поняли, что это — весьма непростое дело. Куча бессистемно надерганных вопросов и ответов — далеко еще не тест. Оказывается, что для создания адекватного и эффективного теста надо затратить много труда. Компьютер может оказать в этом деле немалую помощь.

Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов. Не будем в нее углубляться, сосредоточившись в основном на технологических аспектах.

Как отмечалось выше, широкое распространение в настоящее время получают инструментальные авторские системы по созданию педагогических средств: обучающих программ, электронных учебников, компьютерных тестов. Особую актуальность для преподавателей школ и вузов приобретают программы для создания компьютерных тестов — тестовые оболочки. Подобных программных средств существует множество, и программисты-разработчики готовы строить новые варианты, так называемых, авторских систем. Однако широкое распространение этих программных средств сдерживается отсутствием простых и нетрудоемких методик составления тестовых заданий, с помощью которых можно “начинять” оболочки. В настоящем разделе представлены некоторые подходы к разработке компьютерных тестов.

Для упрощения дальнейшего изложения введем ряд определений и понятий.

Прежде чем начать рассматривать данную тему, мы обратимся к словарю компьютерных терминов по информатике с целью выяснения точного определения термина тест. Согласно словарю компьютерных терминов по информатике(В. Д. Валединский) тест(test) –это проверка работоспособности аппаратуры или программы, обнаружение и устранение ошибок. Тестирование является важным этапом при разработке программного обеспечения.

Тестирование — процесс оценки соответствия личностной модели знаний ученика экспертной модели знаний. Главная цель тестирования — обнаружение несоответствия этих моделей (а не измерение уровня знаний), оценка уровня их несоответствия. Тестирование проводится с помощью специальных тестов, состоящих из заданного набора тестовых заданий.

Тестовое задание — это четкое и ясное задание по предметной области, требующее однозначного ответа или выполнения определенного алгоритма действий.

Тест — набор взаимосвязанных тестовых заданий, позволяющих оценить соответствие знаний ученика экспертной модели знаний предметной области.

Тестовое пространство — множество тестовых заданий по всем модулям экспертной модели знаний.

Класс эквивалентности — множество тестовых заданий, таких, что выполнение учеником одного из них гарантирует выполнение других.

Полный тест — подмножество тестового пространства, обеспечивающее объективную оценку соответствия между личностной моделью и экспертной моделью знаний. Эффективный тест — оптимальный по объему полный тест.

Самой сложной задачей эксперта по контролю является задача разработки тестов, которые позволяют максимально объективно оценить уровень соответствия или несоответствия личностной модели знаний ученика и экспертной модели.

1.1.

Схема создания тестовых заданий.

Самый простой способ составления тестовых заданий — формирование вопросов к понятиям, составляющим узлы семантического графа, разработка упражнений, требующих для их выполнения знания свойств выбранного понятия. Более сложным этапом является разработка тестовых заданий, определяющих отношения между понятиями. Еще более глубокий уровень заданий связан с их подбором, выявляющим связь понятий между отдельными модулями.

Множество тестовых заданий (тестовое пространство), вообще говоря, согласно принципу исчерпывающего тестирования, может быть бесконечным. Например, для исчерпывающего контроля знании таблицы умножения целых чисел от 1 до 100 необходимо использовать 100х100 всех возможных комбинаций двух чисел. А для всех натуральных чисел тестовое пространство становится бесконечным.

Источник:

  • http://cblis.utc.sk/cblis-cd-old/2003/3.PartB/Papers/Science_Ed/Testing-Assessment/Papanastasiou.pdf
  • Аннотация

    Компьютерное обучение (КО) может иметь большой потенциал, при надлежащем использовании в целях повышения качества обучения. Однако это качество может повышаться путём использованием компьютерного тестирования (КТ)
    и, более конкретно, с использованием компьютерного адаптивного тестирования (КAT). В целях данной работы автор описывает механизм и преимущества компьютерного адаптивного тестирования, а также каким образом оно может улучшить процесс обучения в предметной области науки. Педагогу предлагается принять к рассмотрению некоторые ограничения и проблемы в реализации, также будет обсуждаться естественнонаучное образование.
    КЛЮЧЕВЫЕ СЛОВА
    Компьютерное адаптивное тестирование, КАТ, компьютерное тестирование, компьютерное обучение, естественнонаучное образование, оценивание, формирование обратной связи.

    ВВЕДЕНИЕ

    Компьютерное обучение имеет крайне большой потенциал для улучшения обучения во многих областях и дисциплинах, в том числе
    и в предметной области науки. Однако, компьютерное обучение должно тесно и постоянно контролироваться, для обеспечения его
    эффективности. Это особенно верно, так как некоторые предварительные исследования показали, что использование компьютера
    отрицательно коррелирует с достижениями в области математики и науки (Papanastasiou и Фердиг, 2003). Хотя не ясно, при каких
    обстоятельствах эти негативные последствия развиваются, и если есть причинно-следственная связь между этими переменными, почему
    она все еще существует. Следовательно, эти отношения должны напомнить педагогу, что использование компьютера — не обязательно
    «панацея», и что он не должен использоваться безответственно и занимать внимание студентов, которым трудно иметь дело с ним.
    Также эта отрицательная связь между использованием компьютера и достижением результатов должна напомнить педагогам о существовании
    значительной потребности в непрерывной созидательной и итоговой оценки в науке. С помощью правильного оценивания, проблемы,
    которые возникают во время обучения, могут быть определены и, возможно, исправлены, если их обнаружили достаточно рано. Однако,
    оценка также должна использоваться с умом таким образом, чтобы она могла дополнять процесс обучения. Так как компьютерное обучение
    является целью этой конференции, эта статья будет связана с компьютерным оцениванием. Цель данной работы — выйти за рамки простого
    компьютерного обучения для описания компьютерного адаптивного тестирования, и обсудить его последствия, преимущества, и как оно может
    эффективно дополнять компьютерное обучение в данной области науки.

    Описание

    Компьютерное тестирование (КT) может быть определено как любой вид оценивания, который осуществляется посредством компьютера.
    Однако компьютерное тестирование может принимать различные формы, в зависимости от того, насколько адаптирован тест
    (College Board, 2000). Например, некоторые компьютерные тесты, которые также называются фиксированные компьютеризированные испытания, являются чисто линейными (Парсхолл, брызг, Kalohn и Дэви, 2002). Это тесты, которые наиболее близко напоминают бумагу и карандаш для
    тестирования, поскольку они фиксированной формы, фиксированной длины, и тестовые задания заранее поставлены в определенном порядке.
    В отличие от фиксированных компьютеризированных испытаний, компьютерные адаптивные тесты (КАТ) представляют собой компьютерные тесты,
    которые имеют максимальную степень адаптивности, так как они могут быть адаптированы для каждого студента, исходя из суммарной
    сложности и порядка, в котором вопросы предоставляются испытуемому. Так что компьютерные адаптивные тесты (КAT) это компьютерны
    е тесты, которые созданы и адаптированы специально для каждого испытуемого на основе оценивания способностей тестируемого, и исх
    одя из ответов на предыдущих шагах.

    Преимущества компьютерных адаптивных тестов

    Основными преимуществами компьютерного адаптивного тестирования связаны с тем, что они являются эффективными с точки зрения времени, а также
    используемых ресурсов. Эти преимущества будут обсуждены в следующем разделе с точки зрения испытуемых, с точки зрения педагога, который хочет
    определить уровень знаний студента, а также с точки зрения разработчика теста.

    Эффективность

    Адаптивные тесты дают возможность оценить способности испытуемого более точно и
    с меньшими затратами, чем с помощью бумажных тестов. Типичные бумажные тесты создаются для массового тестирования, так чтобы тест использовался для большой группы студентов, различных по способностям. Для того чтобы сделать это большинство вопросов этого теста среднего уровня сложности (так как большинство студентов имеют среднюю успеваемость) В результате, тест такого содержания создает проблемы для студентов с высокой и низкой успеваемостью. Испытуемый с низким уровнем знаний в состоянии ответить на первые несколько относительно лёгких вопросов. А на вопросы среднего и высокого уровня сложности студенту будет нелегко ответить. Следовательно,
    испытуемый может в конечном итоге угадать ответы на эти вопросы, или может просто оставить их пустыми. В таком случае тяжело реально оценить его знания и возможности, так как какие-либо выводы должны основываться только на ответах на первые несколько вопросов, которые студент смог разобрать.
    Другой, более конкретный пример такой ситуации приводится ниже. Преподаватель хочет провести тестирование по биологии на тему «печень» Вопрос низкого уровня требует установить место положения печени на картинках человека, а вопросы высокого уровня предполагают способность студента диагностировать болезнь печени по картинкам.
    В этом случае, если студент не может даже определить местонахождение печени на картине человеческого тела, нет причин задавать ему более сложный вопрос. При рассмотрении таких испытаний с точки зрения студента с глубокими знаниями биологии, ситуация несколько лучше, хотя она по-прежнему не совершенна. Большинство вопросов для него будет слишком легким для этого человека. Адаптивные тесты позволяют эффективно подбирать вопросы, которые специально предназначены для определённого уровня знаний каждого испытуемого. Когда все вопросы чётко направлены на способности каждого студента, педагог может достичь более надежных и достоверных
    выводов о фактических знаниях студента.

    Обратная связь

    Еще один из преимуществ компьютерного испытания в целом, а также компьютерных адаптивных тестов, является то, что они могут управлять прямой и непосредственной обратной связью студента и преподавателя (Wise & Plake, 1990). С типичным бумажным тестом, всегда возникает задержка по времени между преподавателем и тестируемым. Без формирования оценки, преподаватели не смогут определить призвано ли компьютерное обучение действительно помогать студенту в обучении или нет. Это особенно важно, потому что без надлежащего оценивания, некоторые студенты могут оказаться в невыгодном положении из компьютерного обучения.
    В дополнение к суммарной оценке, такой вид оценивания показывает, как каждый студент усвоил материал в целом, также возможно предоставление списка областей и предметов, вопросы по которым встречались у каждого студента, на основе его показателей в адаптивном тестировании. Однако у преподавателя может возникнуть такой вопрос, при непрерывном тестировании, возможно, что некоторые студенты запомнят тестовые вопросы и проинформируют других студентов о них. Однако, если адаптивный тест содержит относительно большую базу вопросов, такой проблемы не возникнет, особенно в свете того, что разные студенты должны получить разные задания, основанные на уровне их индивидуальных способностей.

    Время

    С точки зрения разработчика тестов, создание адаптивного теста отнимает много времени, но является более эффективным с точки зрения педагога.
    В частности, студенты при адаптивном тестировании должны ответить на меньшее количество вопросов, чем во время обыкновенного тестирования.
    Кроме того, обычное тестирование, как правило, проводится всей группой, определённое количество времени, которое может не устраивать некоторых
    студентов. Преподаватель и вся группа должна ждать, пока все студенты завершат тестирование, прежде чем они смогут перейти к другому виду
    деятельности. С компьютерным адаптивным тестированием, студенты могут сдавать экзамен, когда будут готовы, единственным условием является
    доступность компьютера, и они не должны ждать, пока вся группа будет готова приступать к тестированию, или пока вся группа закончит его. С
    точки зрения преподавателя, адаптивное тестирование является экономным по времени, а также ему больше не придется беспокоиться о создании
    тестов для группы до тех пор, пока КАТ в состоянии охватить изученный материал. Кроме того, преподаватель экономит время на проверке работ,
    так как тест оценивается компьютером.

    Другие преимущества

    Компьютерное адаптивное тестирование также имеет некоторые дополнительные преимущества. В компьютерном адаптивном тестировании высокий уровень
    безопасности, так как список вопросов больше не может быть украден, и списывание у соседей не выгодно, так как большинство вопросов теста для
    каждого индивидуально. Кроме того, при помощи КАТ могут быть собраны другие типы данных, такие как количество времени, затраченное для ответа
    на каждый вопрос или количество изменений, которые сделаны для студентов во время прохождения теста.

    ЗАКЛЮЧЕНИЕ

    Современные исследования в области тестирования и оценивания показали, что потенциал компьютер адаптивных тестов увеличился.
    Преимущества и возможности компьютерного адаптивного тестирования дают возможность шагнуть ещё дальше. Это заметно по количеству
    крупномасштабных тестирований (например, GRE, TOEFL, ASVAB), которые стали или становятся адаптивными (Papanastasiou, 2001).
    Тем не менее, на такой шаг всегда нужно идти с умом, чтобы такая процедура оценивания хорошо интегрировалась в процесс обучения
    для обеспечения его максимальной эффективности.

    Ссылки

    1.Bennett, R. E. (1999). Using new technology to improve assessment. RR99-6. Princeton, NJ:
    Educational Testing Service.
    2. Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ:
    Lawrence Erlbaum associates.
    3. Meijer, R. R. & Nerling, M. L. (1999). Computerized adaptive testing: Overview and introduction.
    Applied psychological measurement, 23(3), 187-194.
    4. O’Neill, K. (1995). Performance of examinees with disabilities on computer-based academic skills
    tests. Paper presented at the American educational research association, San Francisco, April, 1995.
    5. Papanastasiou, E. C. (2001). A ‘Rearrangement Procedure’ for administering adaptive tests when
    review options are permitted. (Doctoral dissertation, Michigan State University, 2001).
    6. Papanastasiou, E. (2002a). A ‘rearrangement procedure’ for scoring adaptive tests with review options.
    Paper presented at the National Council of Measurement in Education, New Orleans, LA.
    7. Papanastasiou, E. (2002b). Factors that differentiate mathematics students in Cyprus, Hong Kong, and
    the USA. Educational Research and Evaluation, 8 (1), 129-146.
    8. Papanastasiou, E. C. & Ferdig, R. E. (2003, January). Computer use and mathematical literacy. An
    analysis of existing and potential relationships. Paper presented at the third Mediterranean conference
    on mathematics education, Athens, Greece, January 3-5, 2003.
    9. Parshall, C. G., Spray, J. A., Kalohn, J. C. & Davey, T. (2002). Practical considerations in computer-
    based testing. NY: Springer.
    10. Parshall, C. G., Stewart, R. & Ritter, J. (1996). Innovations: Graphics, sound and alternative response
    modes. Paper presented at the National Council of Measurement in Education, April 9-11, 1996, New York.
    11. The College Board. (2000, April). An overview of computer-based testing. RN-09.
    12. Wainer, H. (2000). CATs: Whither and whence. Psicologica, 21(1-2), 121-133.
    13. Wise, S. L. & Plake, B. S. (1990). Computer-based testing in higher education. Measurement and
    evaluation in counseling and development, 23, 3-10.

    Elena C. Papanastasiou, Ph.D.
    University of Kansas and University of Cyprus
    Department of Education
    P.O. Box 20537
    1678 Nicosia
    Cyprus

    Министерство 
    образования и 
    науки Республики Казахстан
    Карагандинский

    государственный
    технический университет
     
     
     
     
     

                                                                                                     
    Кафедра: ПО и НВП
     
     
     
     
     
     
     

         Курсовая 
    работа
     
     

         По 
    дисциплине: «Педагогика»
     

         Тема:
    «Тестовый компьютерный
    контроль: преимущества
    и недостатки»
     
     
     
     
     

         __________________

               
    (оценка)
     
     
     
     
     

                                                                                
    Выполнил: студент гр.
    ГиК-09-2

                         
                                               
    Мордасова А.М.
     

                                                             
    Научный руководитель:

                                                                      
    Готтинг В.В.
     
     
     
     
     

         Караганда
    2011

    СОДЕРЖАНИЕ 
     

    Введение…..………………………………………………………………………………4

    Глава 1 Компьютерное
    тестирование…………………………………………….……6                   

      1. Сущность
        понятия «Тест»…………………………………………….….…6
      2. Специфика
        компьютерного тестирования и его формы…………………8
      3. Преимущества
        и недостатки компьютерного тестирования…………..….9

    Глава
    2 Компьютерный контроль знаний……………………………………………12

         
    2.1     Классификация видов компьютерных
    тестов………………………….…12

         
    2.2     Требования, предъявляемые
    к системам компьютерного тестирования………………………………………………………………………………………15

         
    2.3     Формирование тестовых
    заданий для компьютерного контроля знаний………………………………………………………………………………………19

         
    2.4     Типы вопросов компьютерного
    контроля…………………………….…..24

    Глава 3 Методика
    проведения компьютерного опроса учащихся……..
    …………27

         
    3.1     Методика проведения программированного
    опроса ..…. .….…….……..27

         
    3.2     Обработка результатов
    тестирования……………………………….….…28

    Заключение……………………………………………………………………………..30

    Список использованной
    литературы……………………………………….……..…32
     

           
    Необходимость в оценке и проверке уровня
    и качества знаний возникает в любой деятельности
    человека. Проблема адекватности и валидности
    результатов теста становиться еще острее
    при дистанционном и повсеместном использовании
    информационных технологий для тестирования
    и проверки знаний студентов, школьников,
    преподавателей и других категорий людей
    для которых результаты теста имеют важное
    личностное значение.

         Контроль
    уровня знаний является важной составной
    частью процесса обучения. Он обеспечивает
    обратную связь в системе «обучаемый –
    педагог». Контроль знаний выполняет в
    учебном процессе контролирующую, обучающую,
    диагностическую, воспитательную, мотивирующую
    и другие функции. Для управления процессом
    обучения на различных этапах, контролирующий
    специалист должен постоянно иметь сведения
    о том, как учащиеся воспринимают и усваивают
    учебный материал.

         Контроль 
    с точки зрения преподавателя 
    — длительная и трудоемкая часть 
    работы. Облегчить и систематизировать 
    ее можно путем использования 
    так называемых инструментальных программных
    средств. Проблема реализации связанных
    с контролем функции распадается на три
    направления — функции подготовки к контролю,
    функции проведения контроля и функции
    обеспечения обратной связи в процессе
    обучения. Набор инструментальных средств,
    связанных с логикой и идеей, может составлять
    инструментальную систему. Использования
    компьютерной инструментальной системы
    контроля выступает как средство реализации
    системы компьютерного контроля.

         Проконтролировать
    деятельность учащихся можно при наличии
    специальных контролирующих тестов. Тесты
    представляют собой особого вида задания,
    позволяющие групповым способом оперативно
    проконтролировать степень усвоения знаний
    и приобретения умений и навыков учащимися
    на занятиях теоретического и производственного
    обучения, установить внутреннюю и внешнюю
    обратные связи, на основании которых
    учащиеся и преподаватель осуществляют
    функции управления процессом обучения.
    Тестирование давно уже появилось в педагогике
    как метод контроля знаний.

         В
    настоящее время появляется множество
    компьютерных программ, служащих для проведения
    тестирования. Существует как множество
    продуктов (в том числе мультимедийных),
    с готовыми тестовыми заданиями, так и
    программы-оболочки для самостоятельного
    создания тестов. Существует ряд инструментальных
    программ, созданных отечественными и
    зарубежными специалистами. Разработанные
    на их основе компьютерные тесты обладают
    свойствами, присущими подобным системам:
    адаптивностью, открытостью, стандартностью,
    возможностью ее расширения и наращивания,
    способностью осуществлять индивидуальный
    и групповой контроль знаний студентов
    и др. Тестовая система за счет своей универсальности
    представляет собой автоматизированную
    поддержку самостоятельной работы студентов,
    позволяющую проводить контроль и самоконтроль
    уровня усвоения материала, выступать
    в роли тренажера при подготовке к экзаменам.

         Цель
    работы:
    Анализ эффективности применения
    в учебном процессе компьютерного тестирования
    контроля знаний.

         Выбор
    данной цели обусловил необходимость 
    решения следующих задач:

    1. анализ существующих
      классических систем тестирования;
    2. характеристика
      преимуществ и недостатков тестовых программных
      продуктов, которые уже существуют;
    3. выявление
      тех качеств или свойств тестовых программных
      продуктов, которые отсутствуют у существующих
      тестов;

         Объект 
    исследования:

    Учебно-воспитательный процесс в образовательных
    учреждениях.

         Предмет
    исследования:

    Эффективность компьютерных тестирующих
    программ.

         Методы 
    исследования:
    Сбор информации,
    изучение, синтез, анализ, отбор.

         Методологическая 
    база:
    Личностно — деятельный подход,
    государственная программа по информатизации
    общества, принципы и методики обучения
    с использованием современных информационных
    технологий, современные концепции, раскрывающие
    закономерности развития системы образования.

         Структура
    курсовой работы:

         Курсовая 
    работа состоит из введения, трех глав,
    заключения и списка использованных источников.

         Во 
    введение приводится обоснование актуальности
    тестового компьютерного контроля,
    поставлены цели и задачи для ее
    реализации, указывается объект и предмет
    исследования.

         В
    первой главе раскрывается сущность
    понятия «тест» в педагогике, формы 
    тестового компьютерного контроля. Перечислены
    недостатки и преимущества тестового
    компьютерного контроля.

         Во 
    второй главе представлена классификация
    видов компьютерных тестов и описываются
    требования, предъявляемые к системам
    компьютерного тестирования.

         В
    третьей главе описывается методика
    проведения программированного опроса
    и обработка результатов тестирования.

         В
    заключении содержатся краткие выводы
    и результаты курсового исследования.

         В
    списке использованной источников приводится
    весь перечень использованной литературы
    и других источников.

         1.1
    Сущность понятия «Тест»
     

                
    Для понимания сущности тестов важно
    разобраться в системе понятий.   
    Понятия вообще образуют основу любой
    науки, и в этом смысле деятельность по
    разработке и эффективному применению
    тестов не является исключением. Начиная
    с 30-х годов наука о тестах называлась
    буржуазной, все цели которой считались
    «реакционными». И хотя такие суждения
    пролеткультовского толка теперь уже
    считаются неадекватными духу нашего
    времени, все-таки появляются публикации,
    где тестам по-прежнему пытаются отказать
    в научности.

           
    Первые научные труды по теории тестов
    появилась в начале ХХ века, на стыке психологии,
    социологии, педагогики и других так называемых
    поведенческих наук. Зарубежные психологи
    называют эту науку психометрикой, а педагоги
    — педагогическим измерением. Поскольку
    общего названия на русском языке пока
    нет, автор называл эту науку тестологией,
    которая может быть педагогической, психологической
    или социологической, в зависимости от
    того, где применяется и развивается. Незамутненная
    идеологией и политикой, интерпретация
    названия «тестология» проста и прозрачна:
    наука о тестах. В XXI веке название этой
    науки Аванэсов привёл в соответствие
    с её названием на Западе — Педагогические
    Измерения.

           
      Остановимся на определении понятия «тест»,
    так как в настоящее время он применяется
    в широком диапазоне.

            
    Тест (англ. test — проба, испытание, исследование)
    экспериментальный метод в психологии
    и педагогике, стандартизированные задания,
    позволяющие измерить психофизиологические
    и личностные характеристики, а также
    знания, умения и навыки испытуемого.

         Тесты
    начали применяться в 1864 году Дж. Фишером 
    в Великобритании для проверки знаний
    учащихся. Теоретические основы тестирования
    были разработаны английским психологом
    Ф. Гальтоном в 1883 году: применение серии
    одинаковых испытаний к большому числу
    индивидов, статистической обработке
    результатов, выделение эталонов оценки.

           
    Термин «тест» впервые ввёл американский
    психолог Дж. Кеттел в 1890 году. Предложенная
    им серия из 50 тестов фактически представляла
    программу определения примитивных психофизиологических
    характеристик: базирующихся на наиболее
    разработанных в то время психологических
    экспериментах (например, измерение силы
    правой и левой рук посредством динамометра,
    скорости реакции на звук, и т.д.)

           
    Слово «тест» вызывает самые 
    различные представления. Одни полагают,
    что это вопросы или задачи с одним готовым
    ответом, который надо угадать. Другие
    считают тест формой игры или забавы. Третьи
    пытаются истолковать это как перевод
    с английского слова «test», (проба,
    испытание, проверка). В общем, по этому
    вопросу нет единства мнений. Тем более
    что в учебниках педагогики об этом не
    пишут. А если где и пишут, то нередко написанное
    трудно понять. Не случайно размах мнений
    о тестах оказывается слишком широким:
    от суждений обыденного сознания до попыток
    научного истолкования сущности тестов.

            
    В науке приводят существенные различия
    между простым переводом слова и смыслом
    понятия. Чаще всего мы встречаемся с упрощенным
    восприятием понятия «тест» как простой
    выбор одного ответа из нескольких предложенных
    к заданию. Многочисленные примеры таких,
    казалось бы, «тестов» легко найти
    в газетно-журнальной периодике, в различных
    конкурсах и в многочисленных книжных
    публикациях под названием «Тесты».
    Но и это часто оказываются не тесты, а
    нечто внешне похожее на них. Обычно это
    сборники вопросов и задач, рассчитанных
    на выбор одного правильного ответа из
    числа предложенных. Они только по внешней
    видимости похожи на настоящий тест. Различия
    в понимании сущности тестов порождают
    различия в отношении к тестам.

          
    Прочитаем какова формулировка понятие
    «ТЕСТ» в словарях?

          
    Большой Энциклопедический 
    словарь
         Тест
    (англ. test — проба, испытание, исследование),
    1) в психологии и педагогике — стандартизированного
    задания, по результатам выполнения которых
    судят о психофизиологических и личностных
    характеристиках, а также знаниях, умении
    и навыках испытуемого. 2) В физиологии
    и медицине — пробные воздействия на организм
    с целью изучения различных физиологических
    процессов в нем, а также для определения
    функционального состояния отдельных
    органов, тканей и организма в целом. 3)
    В вычислительной технике — контрольная
    задача для проверки правильности работы
    ЭВМ. 4) В распознавании образов множество
    функционально взаимозависимых признаков,
    характеризующих образ (класс).

         
         Современный
    толковый словарь русского
    языка Т.Ф.Ефремовой
         Тест
    м. 1) Задание, испытание стандартной формы,
    по результатам выполнения которых можно
    судить о способности, предрасположенности
    и т.п. кого-л. к чему-л., а также о знаниях,
    умениях испытуемого. 2) Метод исследования,
    диагностики, заключающийся в пробном
    воздействии на организм (в физиологии,
    медицине). 3) Вопросник, используемый при
    социологических исследованиях. 4) Задача
    с известным решением, предназначенная
    для проверки правильности работы ЭВМ
    (в вычислительной технике).
         Толковый 
    словарь русского
    языка Д.Н.Ушакова
         (тэст),
    теста, м. (англ. test) (псих.). Психотехническое 
    испытание, состоящее в том, что испытуемому
    предлагается решить одну или несколько
    задач для определения тех или иных его
    способностей (памяти, внимания, быстроты
    реакции и т.д.).
     
         

    Необходимость в оценке и проверке уровня и качества знаний возникает в любой деятельности человека. Проблема адекватности и валидности результатов теста становиться еще острее при дистанционном и повсеместном использовании информационных технологий для тестирования и проверки знаний студентов, школьников, преподавателей и других категорий людей, для которых результаты теста имеют важное личностное значение.

    Контроль уровня знаний является важной составной частью процесса обучения. Он обеспечивает обратную связь в системе «обучаемый – педагог». Контроль знаний выполняет в учебном процессе контролирующую, обучающую, диагностическую, воспитательную, мотивирующую и другие функции. Для управления процессом обучения на различных этапах, контролирующий специалист должен постоянно иметь сведения о том, как учащиеся воспринимают и усваивают учебный материал.

    Контроль с точки зрения преподавателя – длительная и трудоемкая часть работы. Облегчить и систематизировать ее можно путем использования так называемых инструментальных программных средств. Проблема реализации связанных с контролем функции распадается на три направления – функции подготовки к контролю, функции проведения контроля и функции обеспечения обратной связи в процессе обучения. Набор инструментальных средств, связанных с логикой и идеей, может составлять инструментальную систему. Использования компьютерной инструментальной системы контроля выступает как средство реализации системы компьютерного контроля.

    Проконтролировать деятельность учащихся можно при наличии специальных контролирующих тестов. Тесты представляют собой особого вида задания, позволяющие групповым способом оперативно проконтролировать степень усвоения знаний и приобретения умений и навыков учащимися на занятиях теоретического и производственного обучения, установить внутреннюю и внешнюю обратные связи, на основании которых учащиеся и преподаватель осуществляют функции управления процессом обучения. Тестирование давно уже появилось в педагогике как метод контроля знаний.

    В настоящее время появляется множество компьютерных программ, служащих для проведения тестирования. Существует как множество продуктов (в том числе мультимедийных), с готовыми тестовыми заданиями, так и программы-оболочки для самостоятельного создания тестов. Существует ряд инструментальных программ, созданных отечественными и зарубежными специалистами. Разработанные на их основе компьютерные тесты обладают свойствами, присущими подобным системам: адаптивностью, открытостью, стандартностью, возможностью ее расширения и наращивания, способностью осуществлять индивидуальный и групповой контроль знаний студентов и др. Тестовая система за счет своей универсальности представляет собой автоматизированную поддержку самостоятельной работы студентов, позволяющую проводить контроль и самоконтроль уровня усвоения материала, выступать в роли тренажера при подготовке к экзаменам.

    1.1 Сущность понятия «Тест»

    Для понимания сущности тестов важно разобраться в системе понятий. Понятия вообще образуют основу любой науки, и в этом смысле деятельность по разработке и эффективному применению тестов не является исключением. Начиная с 30-х годов наука о тестах называлась буржуазной, все цели которой считались «реакционными». И хотя такие суждения теперь уже считаются неадекватными духу нашего времени, все-таки появляются публикации, где тестам по-прежнему пытаются отказать в научности.

    Первые научные труды по теории тестов появилась в начале ХХ века, на стыке психологии, социологии, педагогики и других, так называемых поведенческих наук. Зарубежные психологи называют эту науку психометрикой, а педагоги – педагогическим измерением. Поскольку общего названия на русском языке пока нет, автор называл эту науку тестологией, которая может быть педагогической, психологической или социологической, в зависимости от того, где применяется и развивается. Незамутненная идеологией и политикой, интерпретация названия «тестология» проста и прозрачна: наука о тестах. В XXI веке название этой науки Аванэсов привёл в соответствие с её названием на Западе – Педагогические измерения.

    Остановимся на определении понятия «тест», так как в настоящее время он применяется в широком диапазоне.

    Тест (англ. test – проба, испытание, исследование) экспериментальный метод в психологии и педагогике, стандартизированные задания, позволяющие измерить психофизиологические и личностные характеристики, а также знания, умения и навыки испытуемого.

    Тесты начали применяться в 1864 году Дж. Фишером в Великобритании для проверки знаний учащихся. Теоретические основы тестирования были разработаны английским психологом Ф. Гальтоном в 1883 году: применение серии одинаковых испытаний к большому числу индивидов, статистической обработке результатов, выделение эталонов оценки.

    Термин «тест» впервые ввёл американский психолог Дж. Кеттел в 1890 году. Предложенная им серия из 50 тестов фактически представляла программу определения примитивных психофизиологических характеристик, базирующихся на наиболее разработанных в то время психологических экспериментах (например, измерение силы правой и левой рук посредством динамометра, скорости реакции на звук и т. д.).

    Слово «тест» вызывает самые различные представления. Одни полагают, что это вопросы или задачи с одним готовым ответом, который надо угадать. Другие считают тест формой игры или забавы. Третьи пытаются истолковать это как перевод с английского слова «test», (проба, испытание, проверка). В общем, по этому вопросу нет единства мнений. Тем более что в учебниках педагогики об этом не пишут. А если где и пишут, то нередко написанное трудно понять. Не случайно размах мнений о тестах оказывается слишком широким: от суждений обыденного сознания до попыток научного истолкования сущности тестов.

    В науке приводят существенные различия между простым переводом слова и смыслом понятия. Чаще всего мы встречаемся с упрощенным восприятием понятия «тест» как простой выбор одного ответа из нескольких предложенных к заданию. Многочисленные примеры таких, казалось бы, «тестов» легко найти в газетно-журнальной периодике, в различных конкурсах и в многочисленных книжных публикациях под названием «Тесты». Но и это часто оказываются не тесты, а нечто внешне похожее на них. Обычно это сборники вопросов и задач, рассчитанных на выбор одного правильного ответа из числа предложенных. Они только по внешней видимости похожи на настоящий тест. Различия в понимании сущности тестов порождают различия в отношении к тестам.

    Какова формулировка понятие «ТЕСТ» в словарях?

    Большой Энциклопедический словарь. Тест (англ. test – проба, испытание, исследование):

    1) в психологии и педагогике – стандартизированные задания, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умении и навыках испытуемого;

    2) в физиологии и медицине – пробные воздействия на организм с целью изучения различных физиологических процессов в нем, а также для определения функционального состояния отдельных органов, тканей и организма в целом;

    3) в вычислительной технике – контрольная задача для проверки правильности работы ЭВМ;

    4) в распознавании образов множество функционально взаимозависимых признаков, характеризующих образ (класс).

    Современный толковый словарь русского языка Т.Ф. Ефремовой. Тест:

    1) задание, испытание стандартной формы, по результатам выполнения которых можно судить о способности, предрасположенности и т.п. кого-л. к чему-л., а также о знаниях, умениях испытуемого;

    2) метод исследования, диагностики, заключающийся в пробном воздействии на организм (в физиологии, медицине);

    3) вопросник, используемый при социологических исследованиях.

    4) задача с известным решением, предназначенная для проверки правильности работы ЭВМ (в вычислительной технике).

    Толковый словарь русского языка Д.Н. Ушакова. Тест (англ. test) (псих.):

    — психотехническое испытание, состоящее в том, что испытуемому предлагается решить одну или несколько задач для определения тех или иных его способностей (памяти, внимания, быстроты реакции и т.д.).

    В наши дни существует много видов тестов, поэтому дать универсальное определение для всех этих видов вряд ли можно.

    Анализ литературы показал, что существует разные формулировки понятия «тест». Но независимо от вида, назначения я бы дала следующее определение теста:омпьютерное тестирование требование методика

    Тест – это один из методов контроля знаний, который позволяет учителю установить фактические, теоретические знания учащихся и оценить их за достаточно короткое время. Необходимо отметить, что тест не учитывает индивидуальные особенности человека.

    1.2 Специфика компьютерного тестирования и его формы

    С начала XXI века в образовании стало широко применяться компьютерное тестирование (КТ), при котором предъявление тестов, оценивание результатов учащихся и выдача им результатов осуществляется с помощью ПК. Однако обращаться к компьютерному тестированию следует в тех случаях, когда есть настоятельная потребность в отказе от традиционных бланковых тестов: при проведении экзаменов для детей с ограниченными возможностями, имеющих серьезные нарушения зрения или слуха и др. Этап генерации тестов технологически может протекать по-разному, в том числе путем ввода в компьютер бланковых тестов. На сегодняшний день по компьютерному тестированию имеются многочисленные публикации, разработаны программно-инструментальные средства для генерации и предъявления тестов.

    Компьютерное тестирование может проводиться в различных формах, различающихся по технологии объединения заданий в тест. Часть из них пока не получили специального названия в литературе по тестовой проблематике.

    Первая форма – самая простая. Готовый тест, стандартизованный или предназначенный для текущего контроля, вводится в специальную оболочку, функции которой могут различаться по степени полноты. Обычно при итоговом тестировании оболочка позволяет предъявлять задания на экране, оценивать результаты их выполнения, формировать матрицу результатов тестирования, обрабатывать ее и шкалировать первичные баллы испытуемых путем перевода в одну из стандартных шкал, чтобы каждый испытуемый получил свой балл и протокол оценок по заданиям теста.

    Вторая форма компьютерного тестирования предполагает автоматизированную генерацию вариантов теста, осуществляемую с помощью инструментальных средств. Варианты создаются перед экзаменом или непосредственно во время его проведения из банка калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Калибровка достигается благодаря длительной предварительной работе по формированию банка, параметры заданий которого получают на репрезентативной выборке учащихся, как правило, на протяжении 3-4 лет с помощью бланковых тестов. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.

    Третья форма – компьютерное адаптивное тестирование – базируется на специальных адаптивных тестах. В основе идей адаптивности лежат соображения о том, что учащемуся бесполезно давать задания теста, которые он выполнит наверняка правильно без малейших затруднений или гарантированно не справится с ними в силу высокой трудности. Поэтому предлагается оптимизировать трудность заданий, адаптируя ее к уровню подготовленности каждого испытуемого, и сократить за счет исключения части заданий длину теста.

    При проведении компьютерного тестирования необходимо учитывать психологические и эмоциональные реакции учащихся. Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдаче заданий в компьютерном тестировании. Например, фиксируется либо порядок предъявления заданий, либо максимально возможное время выполнения каждого задания, по истечении которого независимо от желания испытуемого появляется следующее задание теста. Учащиеся при адаптивном тестировании бывают недовольны тем, что не имеют возможности пропустить очередное задание, просмотреть весь тест до начала работы над ним и изменить ответы на предыдущие задания. Иногда школьники возражают против компьютерного тестирования из-за трудностей, которые возникают при выполнении и записи математических вычислений и т.д.

    Для снижения влияния опыта работы учащихся с компьютером на тестовые баллы рекомендуется включать в оболочки для компьютерного тестирования специальные инструкции и тренировочные упражнения для каждой инновационной формы заданий. Необходимо также предварительно ознакомить учащихся с интерфейсом программы, провести репетиционное тестирование и выделить в самостоятельные группы учащихся, не имеющих достаточного опыта работы с ПК, для того чтобы дополнительно обучить их или дать им бланковый тест.

    Таким образом, компьютерное тестирование выступает как инструмент управления учебным процессом, как элемент обратной связи, который дает возможность анализировать учебный процесс, вносить в него коррективы, т.е. осуществлять полноценное управление процессом обучения. Постоянное использование компьютерных тестов в качестве промежуточного контроля успеваемости определяет учебный процесс как систему непрерывного контроля и самоконтроля учащихся, которая дает возможность учителю получать «обратную связь», а учащимся – возможность в течение всего обучения отслеживать уровень своей подготовленности.

    1.3 Преимущества и недостатки компьютерного тестирования

    Преимуществами компьютерного тестирования являются:

    • Объективность. Исключается фактор субъективного подхода со стороны экзаменатора. Обработка результатов теста проводится через компьютер;

    • Валидность. Исключается фактор «лотереи» обычного экзамена, на котором может достаться «несчастливый билет» или задача – большое количество заданий теста охватывает весь объем материала того или иного предмета, что позволяет тестируемому шире проявить свой кругозор и не «провалиться» из-за случайного пробела в знаниях;

    • Простота. Тестовые вопросы конкретнее и лаконичнее обычных экзаменационных билетов и задач и не требуют развернутого ответа или обоснования – достаточно выбрать правильный ответ и установить соответствие;

    • Демократичность. Все тестируемые находятся в равных условиях, результаты тестирования прозрачны;

    • Массовость и кратковременность. Возможность за определенный установленный промежуток времени охватить итоговым контролем большое количество тестируемых. При этом оставшееся время использовать на изучение нового материала или закрепление старого;

    • Технологичность. Проведение экзамена в форме тестирования весьма технологично, так как позволяет использовать автоматическую обработку;

    • Достоверность информации об объеме усвоенного материала и об уровне его усвоения;

    • Надежность. Тестовая оценка однозначна и воспроизводима;

    • Дифференцирующая способность. За счет наличия заданий различного уровня трудности;

    • Реализация индивидуального подхода в обучении. Возможна индивидуальная проверка и самопроверка знаний учащихся.

    Наряду с преимуществами у компьютерных методов есть и свои недостатки:

    • Общение человека с компьютером имеет свою специфику, и не все одинаково спокойно относятся к компьютерному тестированию. Например, если процедура тестирования затянется или содержание теста не заинтересует человека, положительный настрой может смениться противоположным: будут утомлять и раздражать однообразие и монотонность работы, «глупость» вопросов и заданий. Иногда негативное отношение к компьютерному тестированию бывает вызвано и отсутствием обратной связи. А когда тестируемый человек не получает обратной связи, возрастает вероятность ошибочных ответов (можно неверно понять инструкцию, перепутать клавиши для ответов и др.).

    Были проведены специальные исследования, чтобы определить, как люди относятся к компьютерному тестированию. Оказалось, что у некоторых людей возникает так называемый эффект психологического барьера, а у некоторых – эффект сверхдоверия. Бывает, человек вообще не способен справиться с заданием потому, что «боится» компьютера. Возможно и включение психологических защитных механизмов, связанных с нежеланием тестируемого раскрываться, стремлением избежать излишней откровенности или намеренным искажением результатов;

    • При компьютерном тестировании специалисты имеют дело только с полученными результатами. Они не видят тестируемого, не общаются с ним, а значит, не владеют о нем дополнительной информацией, не могут выяснить его действительный объем знаний;

    • Тестовый контроль не способствует развитию устной и письменной речи учащихся;

    • Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы;

    • В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.

    2.1 Классификация видов компьютерных тестов

    Очевидно, что первоочередной задачей при проведении проверки полученных знаний должно быть определение целей контроля. Так в ВУЗах в большей степени необходимо проверять у обучающихся глубину знаний учебных дисциплин, умение будущих специалистов логически мыслить, сопоставлять различные предметы и явления, делать правильные выводы и принимать оптимальные решения. Значит набор (база данных) контрольных заданий должен максимально полно охватывать учебную дисциплину, а тематическое их разделение – позволять осуществлять в процессе изучения предмета этапный контроль, выявлять индивидуальные пробелы знаний обучаемых, корректировать учебные программы и т.п.

    Важное место при формировании базы заданий занимает их формулировка. Как и любое предложение, задания подразделяются на явные и неявные, вопросительные и утвердительные, суждения, мнения и другие вопросы. От искусства преподавателя зависит многообразие их форм, несущее в себе богатство языка, обилие специальных терминов. Использование подобных заданий способствует повышению у обучающихся умения логически мыслить, а также уровня их общей культуры.

    Другим важным моментом является определение правильности ответа обучаемого на предложенные вопросы. Существуют различные варианты ответов, закладываемые в программу. Предпочтительно, чтобы студент «отвечал» компьютеру как бы в устной форме, как преподавателю (открытая форма ответа). Возможно, такие экспертные системы на основе специально разработанных баз знаний появятся в недалеком будущем с внедрением ЭВМ пятого поколения. Пока же некоторые специалисты приступили к созданию баз знаний. Эта достаточно интересная и сложная проблема имеет основной недостаток, изначально присутствующий в ней – субъективность системы, базирующейся на оценках событий и явлений отдельными, хотя и порой весьма авторитетными, специалистами. Пожалуй, наиболее правильно будет в настоящее время осваивать компьютерные системы контроля на основе баз данных. В этом случае обычно прибегают к различным готовым формам ответов – шаблонам.

    Широкое распространение получила такая форма ответов, когда отвечающему предлагается заранее сформированный набор ответов для выбора одного или нескольких, являющихся, по его мнению, правильными (форма закрытых ответов). Программа автоматически оценивает правильность сделанного выбора. В другом случае, контролируемый вводит с клавиатуры некоторые формулировки или отдельные слова, являющиеся ответом на поставленный вопрос (форма полуоткрытых ответов). На экране ЭВМ нет этих вариантов ответов, но программа содержит максимально возможный, по мнению ее авторов, набор ответов. Считается, что в большинстве случаев в программе имеются необходимые модификации и она сможет, осуществив сравнение, дать свое заключение о правильности ответа. Имеются и другие варианты. Каждый способ формирования ответа испытуемым имеет свои достоинства и недостатки. Здесь следует придерживаться поставленной цели и выбирать наиболее подходящий для ее реализации.

    В этой связи можно предложить использовать единый набор вариантов ответов для всех контрольных заданий по теме. Формулировки должны носить общий характер и способствовать выявлению умения, контролируемого логически мыслить, что более важно и ценно, чем запоминание отдельных фактографических данных. При достаточном искусстве преподавателя с помощью таким образом сформулированных вариантов ответов возможно определение знания и отдельных фактов, событий.

    В школах развитых стран внедрение и совершенствование тестов шло быстрыми темпами. Широкое распространение получили диагностические тесты школьной успеваемости, использующие форму альтернативного выбора правильного ответа из нескольких правдоподобных, написания очень краткого ответа (заполнения пропусков), дописывания букв, цифр, слов, частей формул и т.п. С помощью этих несложных заданий удается накапливать значительный статистический материал, подвергать его математической обработке, получать объективные выводы в пределах тех задач, которые предъявляются к тестовой проверке. Тесты печатаются в виде сборников, прилагаются к учебникам, распространяются на компьютерных дискетах.

    Тесты обученности применяются на всех этапах дидактического процесса. С их помощью эффективно обеспечивается предварительный, текущий, тематический и итоговый контроль знаний, умений, учет успеваемости, академических достижений.

    Тесты обученности все больше проникают в массовую практику. В настоящее время кратковременный опрос всех учащихся на каждом уроке с помощью тестов используют почти все педагоги. Преимущество такой проверки в том, что одновременно занят и продуктивно работает весь класс и за несколько минут можно получить срез обученности всех учащихся. Это вынуждает их готовиться к каждому уроку, работать систематически, чем и решается проблема эффективности и необходимой прочности знаний. При проверке определяются прежде всего пробелы в знаниях, что очень важно для продуктивного самообучения. Индивидуальная и дифференцированная работа с обучаемыми по предупреждению неуспеваемости также основывается на текущем тестировании.

    Естественно, не все необходимые характеристики усвоения можно получить средствами тестирования. Такие, например, показатели, как умение конкретизировать свой ответ примерами, знание фактов, умение связно, логически и доказательно выражать свои мысли, некоторые другие характеристики знаний, умений, навыков диагностировать тестированием невозможно. Это значит, что тестирование должно обязательно сочетаться с другими (традиционными) формами и методами проверки. Правильно действуют те педагоги, которые, используя письменные тесты, дают возможность обучаемым устно обосновывать свои ответы. В рамках классической теории тестов уровень знаний испытуемых оценивается с помощью их индивидуальных баллов, преобразованных в те или иные производные показатели. Это позволяет определить относительное положение каждого испытуемого в нормативной выборке.

    Другой подход к созданию тестов и к интерпретации результатов их выполнения представлен в так называемой современной теории педагогических измерений – Item Response Theory (IRT), получившей широкое развитие в 60-е – 80-е годы в ряде западных стран. К исследованиям последних лет в этом направлении относятся труды B.C. Аванесова, В.П. Беспалько, Л.В. Макаровой, В.И. Михеева, Б.У. Родионова, А.О. Татура, В.С. Черепанова, Д.В. Люсина, М.Б. Челышковой, Т.Н. Родыгиной. Е.Н. Лебедевой и др.

    К наиболее значимым преимуществам IRT относят измерение значений параметров испытуемых и заданий теста в одной и той же шкале, что позволяет соотнести уровень знаний любого испытуемого с мерой трудности каждого задания теста. Критики тестов интуитивно осознавали невозможность точного измерения знаний испытуемых различного уровня подготовки с помощью одного и того же теста. Это одна из причин того, что в практике стремились обычно создавать тесты, рассчитанные на измерение знаний испытуемых самого многочисленного, среднего уровня подготовленности. Естественно, что при такой ориентации теста знания у сильных и слабых испытуемых измерялись с меньшей точностью.

    В зарубежных странах в практике контроля нередко используются так называемые тесты успешности, которые включают несколько десятков заданий. Естественно, что это позволяет более полно охватить все основные разделы курса. При этом используются два вида заданий:

    а) требующие от учащихся самостоятельного составления ответа (задания с конструктивным типом ответа);

    б) задания с выборочным типом ответа. В последнем случае учащийся выбирает из числа предъявленных ответ, который он считает правильным.

    Важно отметить, что эти типы заданий подвергаются серьезной критике. Отмечается, что задания с конструктивным типом ответа приводят к необъективности оценок. Так, разные экзаменаторы и нередко даже один и тот же экзаменатор ставят разные оценки за один и тот же ответ. Кроме того, чем больше свободы в ответе у учащихся, тем больше и вариантов оценки преподавателей.

    При создании тестов контроля знаний можно руководствоваться и другими классификациями видов тестов. Обычно используется деление их на:

    • тесты «достижений»;

    • стандартные тесты «достижений»;

    • тесты умственных способностей;

    • тесты наклонностей;

    • прогностические тесты;

    • критериально-ориентированные тесты;

    • тесты развитых способностей.

    Существующие другие классификации практически сводятся к названным выше типам. Далее, осуществляя выбор, необходимо ориентироваться на педагогические положения, согласно которым система контроля должна быть приемлемой для проверки профессиональных знаний. Наполнение ее содержания должно служить для определения как уровня интеллекта, так и способностей, контролируемых в конкретной области знаний. Форма процедуры проверки должна включать индивидуальное и/или групповое проведение контроля.

    Как показали исследования, для проверки студентов наиболее целесообразно применение критериально-ориентированный тип тестов.

    Критериально-ориентированный тест позволяет осуществлять более полный индивидуальный и коллективный программный контроль объема усвоенных знаний; получать балльные оценки, позволяющие сравнивать уровень знаний студентов как внутри отдельной группы, так и между ними; выявлять результаты, достигаемые каждым отдельным студентом в ходе проверки в широком диапазоне значений (баллов).

    Обращение к этому типу тестов вызвано также и тем обстоятельством, что с его помощью возможно выявление уровня знаний обучаемых по заранее заданному, общему для всех объему и содержанию учебного материала. При этом ясно просматриваются две составные части данного типа тестов. С одной стороны, возможность получения данных об индивидуальных знаниях каждого студента, с другой, – возможность сравнения полученных данных в широком диапазоне учебных групп при условии создания адекватной среды тестирования.

    В конечном счете, важно определить, что каждый отдельный студент знает и умеет, а не то, каков он на уровне других студентов. Грамотно сформированное содержание (наполнение) теста обеспечивает получение каждым студентом рейтинга (индивидуальный интегральный показатель), одновременно предоставляет преподавателю данные, характеризующие способности любого студента к учебе в сравнении с его сокурсниками. Таким образом, возможна успешная реализация этих двух проблем одновременно. Выполнение студентом теста оценивается не в соответствии с некоторой нормой, а определяется степенью освоения им указанной в тесте дисциплины, достижением определенного уровня выполнения предложенных заданий. Таким образом, с помощью этих тестов возможно выявлять степень знаний каждым отдельным студентом как отдельных заданий, так и разделов учебной программы; точку (высоту) усвоения ими конкретной дисциплины.

    2.2 Требования, предъявляемые к системам компьютерного тестирования

    В последнее время вниманию педагогов предлагается достаточно большое количество разнообразных программных средств для разработки тестов и тестирования. Однако многие из них не могут реализовать современные требования к качеству педагогических контрольных материалов (ПКМ), т.к. сами не удовлетворяют требованиям, предъявляемым к системам компьютерного тестирования:

    • возможность использования четырех форм заданий классического педагогического теста;

    • получение и накопление матрицы профилей ответов испытуемых для дихотомической и политомической оценки результатов выполнения заданий;

    • корректировка и перекомпоновка тестовых заданий в зависимости от итогов статистической обработки результатов тестирования;

    • защита результирующих матриц от несанкционированного доступа.

    Кроме того, с точки зрения педагога-предметника, в системах компьютерного тестирования хотелось бы иметь следующие возможности:

    • применение мультимедийных технологий при тестировании. В большинстве тестовых оболочек задания представляются в виде текста (иногда с применением графики). Мультимедийные тестирующие системы объединяют текстовые, графические, анимационные и видеоматериалы в наиболее эффективных сочетаниях и используют одновременно все каналы общения для передачи информации: текст, изображение и звуковое сопровождение. Озвучивание вопросов и вариантов ответов позволяет исключить ошибки испытуемого при неверном прочтении задания; а в дисциплинах, связанных с изучением иностранных языков подача материала в аудио-форме является обязательной. Графика (рисунок, схема, фотография) может быть включена в формулировку как вопросов, так и вариантов ответов. При этом графический вариант ответа может быть представлен выбором некоторой области на экране (например, область на графике функции, точка либо функция). Истинность или ложность ответа, выбранного испытуемым, тоже может быть представлена графически. Использование анимированной графики, видеофрагментов позволяют сделать более наглядными задания на определение последовательности действий, продемонстрировать развитие ситуации в зависимости от ответа, выбранного испытуемым и т.д.;

    • использование псевдотестовых заданий, например, цепных, текстовых, ситуационных и даже нетестовых, например, кроссвордов, ребусов и т.п.;

    • применение подготовленного теста не только для контроля, но и для самоконтроля знаний. В этом случае студент после выполнения такого теста получает сведения об успешности своих действий, а после окончания самоконтроля может вновь вернуться к заданиям, на которые давал неправильные ответы и попробовать снова ответить. Таким образом, будет реализован элемент тренажа;

    • использование алгоритмов адаптивного тестирования, обусловливающих выбор очередного задания в зависимости от ответов тестируемого на предыдущие вопросы;

    • применение гипертекстовых ссылок в режимах самоконтроля и тренинга;

    • проведение тестирования в сетевом варианте.

    Перечисленные выше дополнительные возможности расширили бы сферу применения систем компьютерного тестирования.

    Одним из определяющих успех моментов создания тестов является правильный выбор технических и программных средств.

    Термин «технические средства обучения» появился во второй половине 60-х гг. и под ним понимались системы, комплексы, устройства и аппаратура, применяемые для предъявления и обработки информации в процессе обучения с целью повышения его эффективности. По функциональному назначению они обычно делятся на три основных класса: информационные, контролирующие, обучающие. Контролирующие технические средства обучения предназначены для определения степени и качества усвоения учебного материала. Концепцией информатизации образования в нашей стране в качестве главной материальной основы современного обучения, основным его техническим средством определена ЭВМ.

    Параметры используемых ЭВМ в значительной степени определяют возможности эффективного контроля знаний студентов. Наилучшие характеристики при эксплуатации в вузах страны показали универсальные ПЭВМ или компьютеры, способные сочетать в себе возможности практически всех видов технических средств обучения. К важным преимуществам ПЭВМ относится их возможность создавать обучаемому условия для самостоятельного принятия решений, т.е. индивидуализировать процесс обучения путем создания адаптивных компьютерных программ. Они позволяют успешно автоматизировать учебный процесс, в т. ч. и процедуру контроля знаний. Согласно статистике, от 80 до 90 % компьютеров, работающих в различных странах мира, относятся к IBM-совместимым.

    IBM-совместимый компьютер является наиболее подходящим техническим средством повышения качества обучения и контроля знаний студентов в современных условиях. Он работает с помощью системных, инструментальных и прикладных компьютерных программ. Наибольший интерес в контексте данной работы представляет второй тип программ. Инструментальные программы, написанные на языках высокого уровня, позволяют программистам создавать программы специального назначения – пользовательские, прикладные программы. К числу прикладных программ относятся также программы контроля знаний студентов. Основные принципы создания подобных программ заключаются в том, что они ориентируются на конкретный курс обучения и позволяют квалифицированным пользователям (программистам и преподавателям) создавать авторские программы обучения и контроля знаний студентов.

    Ограниченные возможности данной работы не позволяют более детально и глубоко рассмотреть многие важные проблемы, связанные с тестированием. Однако дать краткую характеристику свойств тестирования просто необходимо.

    Адаптивность – способность системы приспосабливаться к изменяющимся условиям (техническим и программным средствам).

    Открытость определяется способностью системы под воздействием квалифицированного пользователя подстраиваться под контроль конкретных учебных дисциплин.

    Стандартность системы выражается использованием функций, дизайна и др., применяемых в программах общего пользования. Подготовленный пользователь чувствует себя более комфортно, а неподготовленный пользователь может использовать полученный опыт при работе с другими программами.

    Унифицированность заключается в создании такой системы, на основе которой можно создать ей подобные. Большой ошибкой разработчиков систем компьютерного тестирования знаний является разработка узкоспецифических программ для конкретного учебного предмета. Очевидно, что подобная деятельность является совершенно неэффективной и приводит к неоправданным трудозатратам как программиста, так и эксперта.

    Необходимость унификации контролирующих программ логически проистекает из формализации предметной области. Так как использовать компьютерное тестирование в виде программированного контроля целесообразно только в легко формализуемых предметных областях, следовательно, имеет смысл разрабатывать универсальные способы представления контрольных вопросов, унифицированную систему их оценки, а собственно информационное наполнение создавать в виде отдельных, подключаемых баз данных.

    Возможность расширения и наращивания системы также является важной ее характеристикой. Ее обеспечение создает пользователю уверенность в дальнейшем, продолжительном использовании системы, в ее модификации, а также в применении различных решений по ее совершенствованию.

    Не менее важное свойство – способность системы осуществлять индивидуальный и групповой контроль знаний студентов. Кроме очевидных достоинств, она дает возможность использования системы в различных условиях, которые определяет преподаватель, автор теста, исходя из учебных задач.

    Если учитывать все перечисленные свойства, то в результате будет сформирована система, работая с которой студенты получат возможность в режиме самоконтроля проверить свои знания по каждой теме учебной дисциплины в удобном индивидуальном темпе, выявить пробелы и затем их устранить. При этом у студентов повысится мотивация к учению и в значительной степени снимутся стрессовые ситуации, обеспечится глубокое изучение учебного материала, появится уверенность в имеющихся знаниях и адекватности получаемой ими оценки по результатам контроля.

    Помимо указанного требования, система контроля знаний должна также удовлетворять следующим критериям:

    • работа в компьютерной сети (локальной и глобальной), возможность проведения тестирования одновременно у группы респондентов;

    • в системе должна быть предусмотрена возможность создания новых тестов и анализа результатов тестирования;

    • в системе должны содержаться алгоритмы анализа результатов тестирования (валидность тестов, оценка степени их сложности, сопоставления результатов тестирования разных групп и т.д.);

    • система должна обеспечивать высокую гибкость в выборе типов вопросов и заданий, но при этом должна обладать высокой степенью защищенности;

    • инструментальная система должна обеспечивать разграничение прав доступа ко всем своим элементам.

    Большую роль при проверке знаний играет объективность, точность результатов и минимальная вероятность погрешности оценок, исключение влияния каких-либо субъективных факторов, а также практически одинаковость для всех студентов условий тестирования, что достигается в нашем случае с помощью ЭВМ и специальных программ. Обеспечение глубины и полноты контроля также достигается предложением студенту ответить на несколько сотен вопросов. Это как минимум на порядок превышает подобные значения при традиционной проверке знаний. При этом достигается как дифференцированная, так и интегрированная оценка уровня овладения учебным материалом по конкретной дисциплине. Контроль проводится непосредственно после завершения изучения каждого раздела учебной программы. Преподаватель получает оперативную и объективную информацию о результатах освоения студентами данного раздела. Следовательно, полученные данные могут использоваться для внесения соответствующих корректив в содержание и методику учебного процесса.

    2.3 Формирование тестовых заданий для компьютерного контроля знаний

    Компьютерное тестирование для гуманитарных дисциплин ВУЗа почти полностью реализуется при проведении контрольных работ, контроля над самостоятельной работой студентов (входной, текущий, тематический), частично – коллоквиумов, зачетов и экзаменов (рубежный, итоговый, заключительный контроль).

    Педагогический тест – это система фасетных заданий определенного содержания, возрастающей трудности, специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений.

    Свойство фасетности в гуманитарном знании реализовать весьма затруднительно в силу слабой формализации и неартикулярности.

    С одной стороны, тестовые задания (ТЗ) составляют очень высокий процент, пожалуй, 80-90 % компьютерных контролирующих программ по любой гуманитарной дисциплине. С другой, – не всякое содержание поддается трансформации формам тестового задания. Многие доказательства, многословные описания трудно выражаются, а то и совсем не выражаются в тестовой форме.

    Вопрос наполнения баз данных кажется очевидным и потому, как правило, не вызывает затруднений ни в теории, ни в практике. На первый взгляд, разработка тестирующих вопросов и определение эталонов ответов доступно любому преподавателю. Однако на самом деле ситуация в этой области прямо противоположна тому, что кажется на первый взгляд.

    Сформулировать вопрос действительно несложно. Однако большинство разработчиков не задают себе при этом главный вопрос: какие цели преследует данный вопрос? Какой раздел рассматриваемой темы этот вопрос охватывает? Корректно ли сформулирован вопрос, не вызывает ли он разночтений, не допускает ли он неоднозначных ответов, как воспринимается он учащимися с точки зрения не преподавателя (имеющего большой по сравнению с учащимися объем знаний), а с точки зрения пройденного учащимися теоретического курса?

    Попытка ответа на эти вопросы показывает, что, прежде всего, база данных должна разрабатываться не педагогом-энтузиастом, а специалистом высокого уровня в данной предметной области. Кроме того, какой бы высокий уровень не был у разработчика, любой человек способен ошибаться или неверно формулировать отдельные положения. Поэтому тестовая база, перед ее вводом в эксплуатацию, обязательно должна проходить через оценку как минимум методического совета по данной специальности.

    Однако никакая комиссия не способна определить восприятие контрольных вопросов учащимися. Это может показать только реальное тестирование. Более того, подобная оценка весьма проста технически – необходим только накопительный статистический анализ по ответам на каждый конкретный вопрос. Для этого вопрос должен быть однозначно идентифицируем. Анализ подобной статистики, особенно при проведении контрольного тестирования в разных учебных группах, дает двойственный результат: вопрос, на который никто не может дать правильный ответ, или неправильно сформулирован, или эта тема чрезвычайно плохо раскрыта в процессе обучения. Вопрос же, на который правильно отвечают все, или плохо сформулирован (имеет в тексте вопроса подсказки), или эта тема очень хорошо раскрыта в процессе обучения и правильно усвоена всей группой.

    Подобная неоднозначность анализа статистики приводит к вопросу о времени и форме статистического анализа и проведения тестирования вообще.

    Основными формами тестовых заданий являются: задания открытой формы, закрытой, на соответствие, на установление правильной последовательности.

    1. Задания с выбором одного или нескольких правильных ответов. Среди этих заданий выделяются такие разновидности, как:

    1.1. Выбор одного правильного ответа по принципу: один – правильный, все остальные (один, два, три и т.д.) – неправильные.

    Например, при недостатке какого витамина происходит нарушение роста и развития костей:

    а) витамина А;

    б) витамина В;

    в) витамина С;

    г) витамина D.

    1.2. Выбор нескольких правильных ответов.

    1.3. Выбор одного, наиболее правильного ответа.

    Например, к органическим веществам относятся:

    а) белки;

    б) белки и углеводы;

    в) белки, углеводы и жиры;

    г) белки, углеводы, жиры и минеральные соли.

    Каждый из ответов в целом правдоподобен, однако 1-й и 2-й ответ является не полными. Не верен и 4-й ответ, поскольку минеральные соли не относятся к органическим веществам.

    2. Задания открытой формы. Задания сформулированы так, что готового ответа нет; нужно сформулировать и вписать ответ самому, в отведенном для этого месте.

    3. Задания на установление соответствия, где элементам одного множества требуется поставить в соответствие элементы другого множества.

    Например, установите соответствие:

    Среда обитания

    Организмы

    1) Организменная

    а) карась

    2) Водная

    б) медуза

    3) Почвенная

    в) крот

    4) Наземно-воздушная

    г) дождевой червь

    5) Наземно-водная

    д) воробей

    е) тигр

    ж) аскарида

    з) лягушка

    и) дизентерийная амеба

    4. Задания на установление правильной последовательности (вычислений, действий, шагов, операций, терминов в определениях).

    Перечисленные формы компьютерного представления тестовых заданий не исчерпывают их многообразия. Многое зависит от мастерства и изобретательности учителя. При создании тестов важно учитывать многие обстоятельства, например, личность тестируемого, вид контроля, методику использования тестов в учебном процессе и т.д.

    Выбор формы зависит от:

    • цели тестирования;

    • содержания теста;

    • технических возможностей;

    • уровня подготовленности преподавателя в области теории и методики тестового контроля знаний.

    Самым лучшим можно считать тест, в котором заложено широкое содержание, и оно охватывает более глубокие уровни знаний.

    Тестовое задание включает в себя:

    а) констатирующую часть, описывающую ситуацию (может и отсутствовать), которая не требует от тестируемого каких-либо активных действий;

    б) процедурную часть, содержащую предложения обучаемому выполнить какие-либо конкретные действия – выбрать правильный элемент из предложенного набора, установить соответствие или правильную последовательность, назвать дату, записать название и т.д. Процедурная часть – это такой вид информации, после получения которой, от студента требуется произвести активные действия, связанные не только с изучением и анализом материала, содержащегося в задании, но и составлением и вводом ответа;

    в) элементы самого выбора.

    Общие правила для всех форм тестовых заданий. Необходимо следить за корректностью формулировки задания. Тестовое задание должно быть сформулировано четко, ясно, конкретно, не допуская двусмысленности в ответе. Оптимальное число элементов ответа – 5-8, но существуют исключения.

    Процедурная часть тестового задания должна быть максимально краткой – не превышать 5-10 слов. Тестовое задание должно быть сформулировано в утвердительной форме. Не допускается определение понятия через перечисление элементов, не входящих в него.

    Для всех форм тестового задания должна быть стандартная инструкция. Все элементы в заданиях должны отбираться по какому-то определенному, выбранному автором принципу. Предпочтение большому количеству простых по структуре тестовых заданий, а не малому количеству сложных.

    В сложных разделительных тестовых заданиях необходимо перечислять все возможные альтернативы, т.к. в противном случае у обучаемого искажается представление о классификации или структуре объекта базиса.

    Тестовые задания открытой формы должны отвечать следующим требованиям:

    • дополняющее слово или словосочетание ставится в конце и должно быть единственным;

    • дополнять надо только важное;

    • желательно, чтобы при формулировке задания дополнение было в именительном падеже;

    • все прочерки для дополнения должны быть одинаковой длины;

    • желательно дать обучаемому образец ответа.

    Закрытая форма тестовых заданий должна отвечать следующим требованиям:

    • равная правдоподобность элементов;

    • желательно, чтобы все элементы выбора были равны по длине;

    • в элементах выбора желательно использовать один объект или равное количество объектов;

    • необходимо исключить повторяющиеся слова в ответах;

    • все элементы должны быть верными утверждениями, но только один из них является верным ответом на данное задание, а остальные могут являться верными на другие задания в этом тесте или в других тестах.

    Тестовое задание на соответствие содержат два множества, правый столбик – для выбора, левый – для ответа. В правом формируется, например, на 1-3 элемента больше, чтобы при последней подстановке у студента был выбор, а не автоматически подставляемый остаток. Все элементы являются истинными высказываниями.

    В тестовых заданиях на установление правильной последовательности может быть избран принцип формирования элементов по алфавиту. Если алфавитный список является верным ответом, то элементы располагать случайным образом.

    С целью нивелирования заимствования ответа у соседа в заданиях всех данной формы надо формулировать тестовое задание в 2-3-х синонимичных по смыслу вариантах, которые выбираются случайным образом. В заданиях закрытой формы и в заданиях на соответствие элементы подаются с помощью датчика случайных расстановок. Элементы задания в этих формах формируются по принципу «основных» и «запасных» игроков. Например, при 5-ти элементах, подающихся студенту, автор формирует набор не «1 верный + 4 неверных», а «1 верный + 4 основных неверных + 5 запасных неверных», где из 9-ти неверных случайным образом выбираются.

    Методы оценки критериев качества тестов. Классическая теория тестов опирается на теорию корреляции, главными параметрами которой являются надежность и валидность. Надежность – устойчивость результатов теста, получаемых при его применении. Валидность – пригодность теста, т.е. способность качественно измерять то, для чего он создан по замыслу авторов.

    Существует строгая научная теория тестов, позволяющая методологически и методически обосновать их применение и обработку результатов тестирования. Научно обоснованный тест – это метод, соответствующий установленным стандартам надежности и валидности (величина от 0 до 1; чем ближе к 1, тем качественнее тест).

    По классификации существуют тесты, ориентированные на норму (рейтинг по сильным – слабым студентам) и тесты, ориентированные на критерий (сортировка по трудным – легким заданиям).

    По характеру действий тесты подразделяются на вербальные (выраженные словами) и невербальные (представленные образами).

    По степени однородности задач тесты бывают гомогенные (по одной дисциплине) и гетерогенные (по нескольким дисциплинам).

    По целям использования: начало обучения, прогресс и трудности в процессе обучения, достижения в конце обучения. Практика высшей школы показывает, что наиболее применимы критериально-ориентированные, в подавляющем большинстве вербальные, гомогенные, нацеленные, как правило, на достижения в конце обучения тесты.

    Оценка тестовых заданий может быть политамическая (если из 10 элементов задания одно сделал неправильно, то сумма баллов равна 9); дихотомическая (сделал все элементы – 1 балл, не сделал – 0 баллов).

    По степени трудности задания могут быть одноуровневые, т.е. с весовым коэффициентом, равным единице и многоуровневые с весовым коэффициентом от 0 до N.

    Под длиной теста понимается количество заданий, входящих в тест. Классическая теория тестов утверждает: чем длиннее тест, тем он надежнее. Но практика показывает, что если тест очень длинный, то ухудшается мотивация и внимание. Практически длину теста следует определять опытным путем, с учетом валидности, времени тестирования и др. Оптимальная длина теста, как показала теория и практика – 30-60 заданий. Соотношение длины теста к числу тестовых заданий в банке должно стремиться к соотношению 1:10.

    Каждый тест имеет оптимальное время тестирования – время от начала процедуры тестирования до момента наступления утомления. Разброс по характеристикам порога наступления утомления довольно большой – от 20 до 100 минут в одной возрастной группе Основные причины утомления: возраст, мотивация, монотонность выполняемой работы, индивидуальные особенности испытуемых. Следовательно, необходимо поддерживать мотивацию на нужном уровне, максимально разнообразить работу за счет введения в оборот всех форм заданий и невербальной поддержки, а также адаптировать программный продукт согласно индивидуальным особенностям испытуемых. Среднее ориентировочное время до момента утомления для студентов – 50-80 минут (максимальная продолжительность). А по минимальной зависит от форм, количества и трудности заданий, элементов в задании. Например, для легкого тестового задания закрытой формы с выбором одного элемента из предложенных достаточно 10-15 сек. В процессе апробации реальные сроки должны быть уточнены.

    Соотношение форм заданий в тесте. Выбор формы тестового задания зависит от содержания курса, цели создания теста, умения разработчика. Усредненный расклад может быть следующим. В тесте длиной, например, 60 заданий, рекомендовано не более 10 тестовых заданий открытой формы, примерно по 10 на соотношение и последовательность, остальные 30 заданий целесообразнее давать в закрытой форме.

    2.4 Типы вопросов компьютерного контроля

    Наверное, самым большим заблуждением разработчиков большей части контролирующих программ является использование так называемой одинарной выборки: учащемуся задается вопрос, на него дается несколько готовых вариантов ответов (как правило, пять – удобнее выводить оценку), один из которых – верный. Несмотря на то, что действительно существует класс контрольных вопросов, которые могут быть реализованы подобным образом, несмотря на то, что вероятность угадывания (20 %) достаточно низка, зацикливание исключительно на одинарной выборке исключает богатейшие возможности применения педагогических технологий при проведении контроля.

    Кроме того, ни для кого не является секретом способ обхода учащимися данного типа контроля – рано или поздно в руки учеников попадает распечатка с правильными ответами, и порядок ответов просто заучивается или заносится на шпаргалку. Далеко не во всех (на самом деле только в единичных) системах контроля знаний реализована функция изменения местоположения правильного ответа при каждом тестировании.

    Какие же типы вопросов позволяет использовать компьютерный вариант программированного контроля?

    Произвольный тип, или, ввод с клавиатуры. Мощнейший инструмент при проверке разного рода терминов, констант, дат. Однако его реализация, как правило, весьма математически сложна и поэтому большинством разработчиков оставляется без внимания. Проблема заключается, прежде всего, в том, что введенную фразу необходимо подвергнуть синтаксическому, а в идеале – и семантическому анализу, моделирующему варианты возможного мышления отвечающего. Кроме того, учащийся может опечататься, и в большинстве областей знаний подобные опечатки нельзя считать ошибкой – а это требует очень гибкой реализации компьютерной логики, которая под силу далеко не всякому программисту. О возможности использования учащимся при вводе произвольного ответа различных синонимов, которые могут быть не предусмотрены разработчиком базы данных и в то же время могут быть абсолютно или частично правильными, тоже можно говорить очень много. Кроме того, в произвольном типе вопроса может быть и несколько возможных ответов.

    Существует также ряд разновидностей произвольного типа вопроса:

    Ввод нескольких ответов в определенной последовательности может использоваться в вопросах о строгой последовательности каких-либо операций, взаиморасположений и т.д. Тип вопроса настолько же сложный для программирования, как и произвольный, весьма сложен в конструировании и вызывает определенные трудности у учащихся, так как требует не только безошибочного ввода ответов, но и безошибочного их взаимного расположения. Однако, несмотря на достаточно редкое его применение, этот тип незаменим и является мощным средством выяснения уровня знаний учащегося в вопросах, к примеру, относительного взаиморасположения органов в топографической анатомии, последовательности превращения вещества в химии, последовательности действий в разного рода ремонтных работах и т.п.;

    Ввод пропущенных частей строк или букв, несмотря на кажущуюся простоту, является незаменимым средством для проверки понимания различных языковых конструкций (в русском и иностранном языках, в программировании и т.д.). В отличие от стандартного «Произвольного» типа вопроса, как правило, предполагает однозначные варианты ответов и потому более легок в программировании;

    Выборочный тип вопроса. Классический вариант, который подавляющая часть разработчиков и считает необходимым и достаточным для проведения компьютерного тестирования. В этом типе вопроса может подразумеваться один или несколько правильных ответов из предложенных. Часть теоретиков разделяет эти две разновидности на разные типы вопросов, однако с точки зрения формальной логики эти разновидности абсолютно равнозначны. Вопрос заключается лишь в методологии выведении результатов по этим разновидностям.

    Компьютерная реализация этого типа необычайно проста. Возможно, именно с этим и связано его широкое использование в разного рода тестирующих программах. Для реализации этого типа достаточно даже начальных знаний в любом языке программирования либо в программируемых офисных системах типа Excel или Quattro.

    У выборочного типа вопроса также существуют разновидности:

    Альтернативный тип является максимально упрощенной формой и предполагает готовый ответ уже в тексте вопроса. Испытуемому остается только указать, правильный это ответ или нет (т.е. ответить «Да» или «Нет»). Несмотря на кажущуюся простоту, этот тип с успехом может использоваться в некоторых областях знаний.

    Разновидностью выборочного типа является тип вопроса, названный «Отбор«. Однако разница между ним и стандартным выборочным типом заключается только в системе вывода результата.

    Последовательный тип вопроса. Наиболее сложный для учащихся, хотя и достаточно простой в реализации тип, дающий преподавателю мощный инструмент для оценки не только конкретных знаний, но и логики.

    Упрощенный вариант последовательного типа – «Перестановка» предполагает, что учащемуся задается вопрос и дается набор готовых правильных ответов. В его задачу входит расстановка этих ответов в требуемой последовательности.

    Как и тип «Последовательность», эта разновидность может быть использована в тех предметных областях, где требуется четкое знание последовательности операций, действий или правильное взаиморасположение объектов. Однако в отличие от типа «Последовательность», эта разновидность может использоваться гораздо шире, так как не содержит в себе «подводных камней» неверной формулировки учащимися какого-либо термина – все ответы уже находятся на экране.

    Усложненный вариант последовательного типа – «Расстановка» является наиболее сложным из всех типов, как по сложности программирования, так и по сложности восприятия его учащимися. Однако именно этот тип дает наиболее широкие возможности для проверки логики. Конструирование вопроса этого типа заключается формально в построении учащимися графа логической структуры. В тексте вопроса перечисляются некие пронумерованные положения (пункты), а в тексте ответов даны соответствующие этим пунктам выводы или факты. От учащегося требуется расставить соответствие пунктов, перечисленных в вопросе, готовым ответам.

    3.1 Методика проведения программированного опроса

    Проблему организации коллективных форм учебной деятельности особенно актуализирует специфика проведения занятий в учебных классах, оснащенных локальной компьютерной сетью. Использование сети предоставляет преподавателю новые возможности управлять учебным процессом с одной стороны, с другой – обеспечивает возможности результативной самостоятельной учебной работы обучаемых по выполнению практических заданий.

    Локальная компьютерная сеть дает возможность представить любое действие в развернутой последовательности операций, показать его результат, условия выполнения; фиксировать промежуточные пооперационные результаты, позволяет интерпретировать и оценивать каждый шаг обучаемых при выполнении заданий и т. д.

    Для преподавателя компьютерная сеть позволяет осуществлять как итоговый, так и пооперационный контроль, накапливать итоговую информацию, относящуюся как к отдельному обучаемому, так и ко всей группе в целом. Компьютерная сеть позволяет качественно изменить систему проверки деятельности обучаемых, обеспечивая при этом гибкость управления учебным процессом. Работа на одной общей базе данных позволяет проверить правильность выполнения всех заданий и не только зафиксировать ошибку, но и определить ее характер, что помогает вовремя устранить причину, обусловившую ее появление.

    Подбор тематики и возможные варианты тестовых заданий готовятся заранее. Содержание тестовых заданий формулируется таким образом, чтобы показать применимость на практике необходимых для усвоения материала знаний и умений.

    Индивидуализация обучения может быть реализована за счет дифференциации содержания предъявленного учебного материала, а также подбора тестовых заданий по уровню сложности.

    Подбор степени трудности заданий играет важную роль. Излишне простые задания не требуют от обучаемого умственных усилий, а потому тормозят формирование у него необходимых навыков. Правильное выполнение относительно легких заданий не переживается обучаемым как успех. В то же время, многие из ошибок активизируют творческий потенциал обучаемых и положительно сказываются на активизации познавательных потребностей и на мотивационной сфере.

    Средствами создания учебно-познавательной мотивации могут выступать как содержание тестового задания, так и форма организации деятельности (учебно-игровая, групповая, индивидуальная).

    По усмотрению преподавателя обучаемым может быть предложен план выполнения тестового задания, разрешена работа с рабочими тетрадями и литературой. Поддерживать интерес обучаемых преподаватель может, включаясь в процесс обсуждения отдельных нюансов при выполнении тестового задания.

    Занятие может быть построено с таким расчетом, чтобы направить его на максимальное развитие обучаемых. Для этого в тот момент, когда у них складывается ощущение завершенности выполнения предложенных тестовых заданий, преподаватель с целью активизации дальнейшей познавательной деятельности обучаемых может поставить перед ними проблемные вопросы по изучаемой теме, вызывая познавательный интерес. В результате разрешения этого затруднения обучаемые получают новые знания и умения. Таким образом, работа группы обучаемых над выполнением тестовых заданий может осуществляться в режиме последовательного решения проблемных задач.

    После завершения работы обучаемых над выполнением тестовых заданий, преподавателем может быть организована дискуссия в группе, коллективное обсуждение заданий, вызвавших наибольшие затруднения. В обсуждение целесообразно включать вопросы, которые остались нерассмотренными, выяснять возможные пути их решения. Таким образом, преподаватель не только может осуществлять контроль, но и становится организатором процесса самостоятельного активного приобретения обучаемыми новых знаний.

    3.2 Обработка результатов тестирования

    Вопрос выведения оценки, наверное, является одним из самых сложных и противоречивых в педагогике. В самом деле, задать вопрос легко, а вот определить, правильно ли ответил учащийся, насколько правильно он ответил, правильно ли он мыслил, несмотря на неправильный ответ – это задача, которая полностью далеко не решена. Соответственно, и компьютерный аналог выведения оценки страдает теми же недостатками, если не большими.

    В большинстве систем программированного контроля принцип выведения результата прост. Так как в таких системах, как правило, используется только одинарная выборка, то и оценка вычисляется просто: ответил – плюс, не ответил – минус. Затем количество плюсов и минусов приводится к пятибалльной шкале и выводится оценка.

    Подобный принцип вывода оценки, хотя и является примитивным, однако в случае, когда все вопросы в базе данных равнозначны и однотипны, он тоже имеет право на существование. Однако прямое приведение количества положительных и отрицательных ответов к пятибалльной системе заслуживает серьезной критики. Общепризнанно, что зачетный порог коэффициента усвоения равен 70 %. В рассматриваемом же случае для получения зачетной оценки (т.е. «удовлетворительно») достаточно ответить правильно на 51 % вопросов, для получения оценки «хорошо» – на 71 %, для получения оценки «отлично» – на 91 %.

    Однако вышеописанной практики, как правило, не происходит, так как всем разработчикам тестирующих систем очевидна неравнозначность вопросов в базе данных. Существует и другая методика, когда разработчики дают возможность преподавателю определять «вес», т.е. относительную значимость каждого вопроса в базе.

    Эта методика, не смотря на кажущуюся эффективность, также имеет свои недостатки. Дело в том, что с точки зрения педагогической теории не бывает вопросов простых и сложных (если говорить именно о вопросах, а не о математических и логических задачах, требующих многокомпонентного решения). Простым вопрос всегда будет для того, кто знает на него ответ. И сложным – для того, кто ответ не знает. Таким образом, расставляя «веса» вопросов, преподаватель фактически расставляет их в соответствии с собственными представлениями об их сложности, в соответствии со своим уровнем компетентности или некомпетентности.

    Тем не менее, существуют вопросы, требующие большего или меньшего времени на ответ. Логично было бы предположить, что на каждый вопрос, с точки зрения психофизиологии, может быть затрачено большее или меньшее число мыслительных (т.н. существенных) операций. Определение этого количества, как правило, не составляет особого труда, в простых типах вопросов равно количеству предложенных вариантов ответов, и полностью поддается автоматизации.

    Таким образом, на настоящий момент существует два способа определения результата ответа – по правильным или неправильным ответам в целом на вопрос и по существенным операциям. При выборе принципа оценки следует предполагать, что оценка по существенным операциям гибче и объективнее, так как она позволяет выявлять неполные, не совсем верные, частично ошибочные и другие подобные ответы и вычислять их в конкретных цифрах коэффициента усвоения.

    Гибкость использования способа оценивания по существенным операциям кроется в возможности ввода так называемой «мягкой оценки». В системе оценивания по ответам в целом всегда используется «жесткая оценка» – т.е. если учащийся допустил ошибку, не засчитывается весь вопрос. Однако такой метод оценивания оправдан далеко не для всех вопросов. К примеру, в большой части вопросов, имеющих несколько вариантов правильных ответов (подразумевается выборочный тип вопроса), не является обязательным отметка полностью всех правильных ответов. В таких вопросах вполне допустим или частично правильный ответ, или, наоборот, отсутствие неправильного ответа. Использование принципа оценивания по существенным операциям позволяет в подобных вопросах определять коэффициент правильности ответа и засчитывать частично правильные ответы.

    Одной из значимых тенденций развития образования является поиск инновационных методов контроля знаний, отвечающих требованиям объективности, надежности, технологичности. На современном этапе среди эффективных методик оценки способностей и достижений учащихся, важная роль отводится компьютерному контролю знаний, который сегодня успешно используется в учебных заведениях различного уровня – от школ до университетов.

    По сравнению с традиционными формами контроля компьютерное тестирование имеет ряд преимуществ: быстрое получение результатов испытания, освобождение преподавателя от трудоемкой работы по обработке результатов тестирования, однозначность фиксирования ответов, конфиденциальность при анонимном тестировании.

    Проанализировав современную литературу по данной проблематике, были выявлены следующие требования к унифицированной автоматизированной тестирующей системе:

    • защита от несанкционированного доступа к вопросам теста. Решение данной проблемы может осуществляться средствами шифровки данных;

    • неограниченная тестовая база, которая предназначена как для разнообразия теста, так и для меньшей повторяемости вопросов;

    • простота интерфейса программы. Многие специалисты, особенно специализация которых не связанна с информационными технологиями, довольно плохо умеют обращаться с компьютером и компьютерными программами, поэтому понятность и доступность интерфейса – немаловажное требование к тестирующей системе;

    • простота администрирования теста. Это требование также немаловажно. Чем легче будет среда разработки тем и тестов, тем меньше будет возникать вопросов, касающихся работы на компьютере. Простота администрирования решается посредством использования отдельной программы создания или занесения тем и тестов в базу и установки параметров;

    • полная автоматизация процесса тестирования. Тестирование должно проводиться без контроля преподавательского состава за ходом тестирования. Поэтому весь процесс – от задания вопросов теста преподавателем, идентификации специалиста, проведения тестирования, до оценки полученного результата и занесения этого результата в файл данных, должен проходить в полностью автономном режиме;

    • быстрота загрузки. Этот критерий важен для компьютеров с небольшим быстродействием. Человек не должен ожидать загрузки вопроса в течение длительного времени. Каждая картинка, график должны быть оптимизированы или сжаты. Они не должны содержать избыточной информации, а включать только необходимую часть;

    • переносимость на разные платформы с поддержкой GUI Microsoft Windows;

    • учет обращений. Каждое проведение тестирования должно фиксироваться для обеспечения контроля. Это необходимо для учета неудачных попыток тестирования, в случае если тест был прерван по какой-либо причине. Это обеспечит контроль за действиями пользователей;

    • ориентация на непрограммирующих пользователей. Применение тестирующей программы не должно требовать опыта работы с другими приложениями;

    • тестирующая система должна поддерживать файлы мультимедиа (графика, видео, звук, анимация). Это необходимо для задания сложных вопросов, например, для отображения графиков, чертежей, видеороликов и т.п.

    Анализ литературы позволил выявить следующие типы вопросов компьютерного контроля знаний: произвольный тип, или, ввод с клавиатуры; ввод нескольких ответов в определенной последовательности (ранжирование); ввод пропущенных частей строк или букв; выборочный тип вопроса; альтернативный тип вопроса; последовательный тип вопроса. Для эффективного контроля знаний необходимо грамотно использовать все типы вопросов.

    В настоящий момент существует два способа определения результата ответа – по правильным или неправильным ответам в целом на вопрос и по существенным операциям. При выборе принципа оценки следует предполагать, что оценка по существенным операциям гибче и объективнее, так как она позволяет выявлять неполные, не совсем верные, частично ошибочные и другие подобные ответы и вычислять их в конкретных цифрах коэффициента усвоения.

    Тестовая система имеет следующие важные характеристики:

    • адаптивность, т.е. способность системы приспосабливаться к изменяющимся условиям (техническим и программным средствам);

    • открытость определяется способностью системы подстраиваться под контроль конкретных учебных дисциплин;

    • стандартность системы выражается использованием функций и дизайна, применяемых в программах общего пользования;

    • унифицированность заключается в том, что на основе данной системы можно создать ей подобные.

    Реализованная в процессе данного исследования система контроля знаний представляет собой автоматизированную поддержку самостоятельной работы учащихся, позволяющую проводить контроль и самоконтроль уровня усвоения материала, выступать в роли тренажера при подготовке к экзаменам.

    Разработанная система контроля знаний позволит решить задачу автоматизации создания тестов и процедуры тестирования, и может быть использована для контроля в процессе освоения обучающимися материала различных учебных дисциплин.

    На сегодняшний день одной из проблемных областей практики применения тестов и иных оценочных методик в управлении персоналом является внедрение компьютерных тестов. Отметим сразу, что и в России, и за рубежом этот процесс идет крайне медленно, хотя и по диаметрально противоположным причинам. У них рынок тестов — заорганизован и бюрократизирован, у нас — недоорганизован и анархичен.

    Вместе с тем новые компьютерные тесты призваны разрешить важнейшую проблему организационной диагностики — проблему фальсификации. Дело в том, что подавляющее большинство психологических тестов разрабатывалось для обслуживания задачи (целевой ситуации), коренным образом отличающейся от оценки персонала. Это задача консультирования. Когда клиент обращается к психологу за консультацией (тем более — за психотерапевтической помощью), он сам заинтересован в том, чтобы дать по тесту достоверную информацию. Психотерапевтическая практика чрезвычайно развита на Западе (в США психоаналитиков раз в 10 больше, чем индустриальных психологов, работающих в фирмах или кадровом консалтинге). На эту практику и ориентировались разработчики многих тестов, признанных ныне «классическими».

    В ситуации консультирования популярные словесные тесты-опросники, тестирующие особенности характера с помощью разнообразных вопросов, оказываются вполне полезными. Другое дело — ситуация отбора кандидатов на должность или аттестации действующих работников, т.е., по существу, ситуация экспертизы. В этом случае достоверная информация нужна не самому испытуемому, а работодателю. Испытуемый вольно или невольно стремится отвечать на тест так, чтобы понравиться работодателю и пройти «сито отбора», занять вакантное место. Таким образом, в ситуации отбора личностные опросники зачастую не срабатывают, и на смену им приходят принципиально новые компьютерные технологии.

    Мы уже отмечали выше, что пока компьютер используется в психодиагностике не слишком эффективно, чаще всего он применяется как инструмент автоматизации сбора и обработки данных по традиционным тест-опросникам. При наличии современных высокоразвитых систем программирования «пересадить» какой-нибудь опросник на микрокомпьютер — дело настолько пустяковое, что для него не требуется быть программистом, достаточно являться просто смышленым оператором. Однако чаще всего в подобных компьютеризованных тест-изделиях присутствует огромное количество грубейших методических ошибок. Российский рынок компьютерных тестов буквально завален обилием несертифицированной псевдопродукции, выпущенной полупсихологами-полупрограммистами без какой-либо психометрической адаптации. Но главное здесь то, что от пересадки на компьютер тест-опросник не становится более достоверным.

    Постепенно у нас появляются и относительно серьезные и даже оригинальные отечественные компьютерные тестовые системы. Но они также основаны, как правило, на опросном методе. Так, например, крупное кадровое агентство «Триза» использует достаточно известную компьютерную систему российского производства, названную «Служба персонала». Несмотря на широкую рекламу, руководство этой тестовой методики не снабжено необходимыми сведениями о психометрических параметрах построенных тестовых шкал (надежность, валидность, устойчивость тестовых норм и т.п.).

    Разработчики компьютерных тест-систем, как правило, акцентируют внимание пользователей на их разнообразных вторичных достоинствах: скорости сбора и обработки информации, возможности создания базы данных, обилии развернутых текстовых заключений, дружественности интерфейса.

    Вопрос же о достоверности чаще всего остается за кадром. Вместе с тем некоторые свойства компьютерных тестов, значительно повышают достоверность получаемой с их помощью информации. К ним относятся:

    • адаптивность: в традиционных опросниках не используется главное достоинство компьютеров — возможность изменения тестовых воздействий на основе быстрого анализа ответов. В психометрической науке этот метод тестирования называется «адаптивным» (в том смысле, что программа адаптируется, приспосабливается к данному конкретному испытуемому). Обычно в западной тестологии адаптивное тестирование применяется для оперативного подбора заданий оптимальной трудности (если испытуемый справляется, ему предъявляется более трудная задача, если не справляется — более легкая). Подобная модификация создает совершенно новый тест: прежние нормативы, собранные для бланковой (бумажной) формы теста не подходят, и задание приходится нормировать (калибровать шкалы) именно в такой компьютерной форме, на основе данных, собранных в режиме диалога с компьютером;
    • косвенность: здесь речь идет о новых, весьма заманчивых перспективах, выходящих за пределы традиционных словесных тестов — о различных невербальных (несловесных) и игровых методиках. Например, человек оценивает фотопортреты, предъявляемые на компьютерном мониторе, в частности, приписывает изображенным людям определенные качества. Специалисты обнаружили, что в зависимости от характеристик, которыми они обладают, испытуемые приписывают фотопортретам разные качества. На этом был построен весьма тонкий косвенный тест, позволяющий проверить достоверность данных, получаемых с помощью опросников.Этот тест был назван «стандартизованным проективом», он дает возможность проверить, подтверждаются ли определенные черты испытуемых косвенными данными. Косвенные тесты гораздо легче строить на компьютере, поскольку в процессе подсчета последний позволяет учитывать сотни и тысячи потенциальных статистических комбинаций между ответами и чертами людей;
    • комплексный анализ: чтобы сделать надежный вывод, необходимо применять различные методики, перепроверяющие друг друга. Для грамотного специалиста-диагноста совершенно неприемлемо ставить диагноз, основываясь на данных, полученных из одного-единственного источника информации. В настоящее время разработаны интегративные тестовые компьютерные системы, позволяющие использовать в ходе одного сеанса разнотипные тесты (тестовые батареи) и соотносить их результаты в наглядной форме;
    • игровой подход, проблемная настройка: это свойство лишь отчасти связано с достоверностью самих тестов, но для потребителей тестовой информации оно зачастую выглядит как самое важное. Дело в том, что даже самый наглядный профиль тестовых показателей сам по себе ничего не говорит неспециалисту, так как последний не способен увидеть за значениями разных факторов (способностей, черт характера) ответ на интересующий его вопрос: будет или не будет данный человек справляться -с порученной ему профессионально-должностной ролью. Специалисты-психологи разработали гибкие компьютерные программы, позволяющие пользователю самому модифицировать и расширять банк «идеальных профилей» исполнителей, сообразуясь с требованиями конкретной производственной ситуации, ожиданиями вышестоящего руководителя и т.п. Главное достоинство компьютера состоит в том, что он может мгновенно просчитать близость между индивидуальными профилями реальных кандидатов и «идеальными профилями» соответствующих вакантных позиций. В результате на экране появляется оптимизированная картина оправданных назначений из числа кандидатов, имеющихся на данный момент;
    • информационная безопасность: один из серьезных недостатков любого бланкового теста — в том, что варианты его легко копируются, тиражируются, а потенциальные испытуемые легко подбирают к нему ключи, и тест перестает работать. Современные методы компьютерной защиты затрудняют процесс бесконтрольного тиражирования тестовой информации. Самое перспективное направление в обеспечении информационной безопасности в этой области состоит в использовании следующего приема: компьютер оперативно формирует вариант (набор заданий, предъявляемый конкретному человеку) прямо в ходе тестового диалога, случайным образом подбирая задания из определенного очень большого банка.

    Таким образом, очевидно, что компьютерные тест-системы имеют множество преимуществ. К сожалению, развитие компьютерной психодиагностики сдерживается в России из-за недостатка финансирования и … дефицита компетентных пользователей. Конечно, в наши дни заказов на диагностику стало во много раз больше, чем во времена административно-командной системы, но пока спрос этот остается весьма неквалифицированным и неразборчивым. Сплошь и рядом события развиваются так: заказчик требует от психолога протестировать испытуемого за 15 — 30 минут, в которые психодиагност едва успевает «втиснуть» самый короткий (и потому малонадежный) тест. Немудрено, что полученные таким образом результаты оказываются некорректными, и заказчик тут же разочаровывается в психологическом тестировании.

    Многие заказчики справедливо остерегаются приобретать тесты просто потому, что не знают, как проверить, работают они или нет. В развитых странах национальные ассоциации психологов (или профильные ассоциации тестологов) публикуют результаты независимых проверок на страницах специализированных изданий. В России такая работа, к сожалению, пока не налажена, и специалисты рекомендуют заказчикам применять параллельно разные тесты, сконструированные по разным принципам независимыми друг от друга производителями.