По наиболее часто встречающейся в отечественной и зарубежной литературе классификации предтестовых заданий выделяют :

Задания с выбором, в которых студенты выбирают правильный ответ из данного набора ответов;

Задания с конструируемым ответом, требующие от студента самостоятельного получения ответов;

Задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;

Задания на установление правильной последовательности, в которых от студента требуется указать порядок элементов, действий или процессов, перечисленных в условии.

Предложенные четыре формы тестовых заданий являются основными и наиболее распространенными, но абсолютизировать их нет никаких оснований. Часто специфика содержания контролируемого предмета требует использования новых форм, более адекватных целям разработки тестов. Обычно такие инновации строятся на основе сочетания отдельных элементов перечисленных основных форм.

Вне зависимости от формы задания в тесте должны подчиняться общим требованиям:

Каждое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста;

Каждое задание имеет эталон правильного ответа (эталон оценивания для заданий со свободно конструируемым ответом);

Все элементы в задании располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

Для заданий разрабатывается стандартная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте;

Для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке со стандартизованными процедурами подсчета сырых (первичных) баллов по тесту.

Процесс тестовых измерений предельно стандартизируется, если:

Ни одному студенту не дается никаких преимуществ перед другими;

Заранее разработанная система подсчета баллов применяется ко всем ответам студентов без исключения;

В тест включены задания одной формы либо разных форм с регламентированными весовыми коэффициентами, значения которых получены статистическим путем;

Тестирование различных групп испытуемых проводится в одинаковое время в сходных условиях;

Группа тестируемых выровнена по мотивации;

Все испытуемые выполняют одни и те же задания.

Последнее условие не исключает возможности списывания, подсказки и других нарушений, поэтому обычно стараются создать несколько параллельных по содержанию и трудности вариантов одного теста. В целом выбор формы заданий и число вариантов теста зависят от содержания контролируемого курса, целей контроля, требуемого уровня надежности теста. В частности, при аттестации стараются включить больше заданий с выбором ответа, поскольку они в силу высокой технологичности и благодаря автоматизированным процедурам проверки позволяют увеличить охваченный в тесте объем содержания, длину теста, надежность и содержательную валидность результатов педагогических измерений.

5.2. Задания с выбором одного или нескольких правильных ответов

В заданиях с выбором (или закрытые задания – название, используемое в некоторой отечественной литературе методического характера) можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных, в том числе и в разной степени, ответов.

Неправильные, но правдоподобные ответы называются дистракторами. Если в задании два ответа, один из которых дистрактор, то вероятность случайного выбора правильного ответа путем угадывания равна 50%. Число дистракторов выбирают таким, чтобы задание не стало слишком громоздким и трудно читаемым, но вместе с тем стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает 4 или 5 дистракторов, хотя в отдельных случаях, когда есть такая необходимость, их число может достигать 6–7.

Задания с двумя ответами обычно используют для экспресс-диагностики, например в автоматизированных контрольно-обучающих программах для входа в обучающий модуль, при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Использование заданий с двумя и тремя ответами в итоговом контроле приводит к росту ошибки измерения из-за угадывания, поэтому их никогда не включают в аттестационные тесты, куда для большей надежности помещают все задания с одинаковым числом ответов.

Если дистракторы сформулированы некорректно, без малейшей привлекательности даже для самых слабых испытуемых группы, то они перестают выполнять свою функцию, и на деле получается задание не с запланированным, а с меньшим числом ответов. В самом плохом случае, когда все дистракторы в задании не работают, большинство студентов выполнит задание верно, выбрав единственный правдоподобный правильный ответ. В идеале каждый дистрактор должен в равной мере привлекать всех испытуемых, выбирающих неправильный ответ. Мера привлекательности дистракторов оценивается после первой апробации теста на репрезентативной выборке испытуемых с помощью подсчета долей студентов, выбравших каждый из дистракторов в качестве правильного ответа. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но тем не менее, создавая задания, к этому равенству нужно стремиться.

Углубленный анализ частоты выбора каждого дистрактора студентами с различным уровнем подготовленности позволяет сделать вывод о валидности неправильных ответов. Если дистрактор чаще привлекает слабых студентов, выполнивших верно незначительное число заданий в тесте, то он считается валидным. В противном случае, когда дистрактор кажется привлекательным в основном сильным студентам, его валидность невысока, и задание подлежит переработке. В целом можно сказать, что тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из дистракторов с равной вероятностью.

Если тестирование проводится с помощью бланков, то задания с выбором одного правильного ответа сопровождаются инструкцией: «ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА».

Задания с несколькими правильными ответами обычно используют в текущем контроле для проверки классификационных и фактуальных знаний, хотя встречаются случаи, когда специфика содержания дисциплины вынуждает включать их в итоговые тесты. Они сопровождаются специальной инструкцией, подчеркивающей необходимость выбора всех правильных ответов и имеющей вид: «ОБВЕДИТЕ НОМЕРА ВСЕХ ПРАВИЛЬНЫХ ОТВЕТОВ».

Когда дистракторов слишком мало, а правильных ответов намного больше, то их легко угадать. В качестве выхода из подобной ситуации можно включить в число ответов только один неправильный, а студентов попросить выбрать один ошибочный ответ, если это не противоречит дидактическим целям контроля и допускается содержанием предмета. В этом случае инструкция имеет вид: «ОБВЕДИТЕ НОМЕР НЕПРАВИЛЬНОГО ОТВЕТА».

Иногда по замыслу автора при разработке задания закладываются несколько правильных ответов, среди которых есть более правильный и менее предпочтительный. В этом случае задание сопровождается инструкцией: «ОБВЕДИТЕ НОМЕР НАИБОЛЕЕ ПРАВИЛЬНОГО ОТВЕТА».

При компьютерной выдаче заданий инструкция может иметь вид: «ДЛЯ ОТВЕТА НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА».

Обычно если все задания сформулированы в одной форме, то инструкция приводится в начале теста. В противном случае, когда в тест включены задания разных форм, инструкция меняется при каждом изменении формы. Легко представить, насколько осложнит выполнение теста чередование инструкций на выбор правильного и неправильного ответов. Невнимательные студенты, не умеющие концентрировать внимание на изменяющейся инструкции, неизбежно запутаются и выполнят часть заданий неправильно даже в том случае, когда они наверняка знают верный ответ. Поэтому в тесте рекомендуется менять инструкцию как можно реже – ровно столько раз, сколько требует стратегия предъявления заданий теста.

Задания с выбором имеют ряд преимуществ, связанных с быстротой их выполнения, простотой подсчета итоговых баллов по тесту, возможностью автоматизации процедур проверки ответов студентов и вытекающей отсюда минимизацией субъективного фактора при оценивании результатов выполнения теста. С их помощью можно более полно охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является ее универсальность, она годится практически для любого предмета.

К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабо подготовленных испытуемых при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с ним научились бороться, используя различные методы. Иногда вводят специальные инструкции, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки. В других случаях добавляют специальные весовые коэффициенты, близкие к нулю, в подсчете баллов слабых студентов, полученных по наиболее трудным заданиям теста. Иногда применяют специальную формулу для коррекции индивидуальных баллов с поправкой на догадку. Последний метод и поясняющая его формула приводятся в конце этой главы.

Определенные трудности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний в незнакомой ситуации, творческими аспектами подготовки и случаями, когда требуется преобразование условий поставленной перед студентами задачи. Тогда задания с выбором готовых ответов использовать чаще всего невозможно. В случае массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов испытуемых и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому такая форма нередко доминирует при разработке итоговых аттестационных тестов.

Задания с выбором ответа должны удовлетворять ряду требований, выполнение которых позволяет повысить качество теста:

В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

Основная часть задания формулируется предельно кратко, желательно не более одного предложения из 7–8 слов;

Синтаксическая конструкция задания предельно упрощается без ущерба для корректности содержания и однозначного его понимания учащимися;

В основную часть задания включают большую часть условия задания, а для ответа оставляют не более 2–3 наиболее важных ключевых слов для сформулированной в условии проблемы;

Все ответы к одному заданию должны быть приблизительно одной длины либо правильный ответ может быть короче других, но не во всех заданиях теста;

Из текста задания исключаются все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;

Частота выбора номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова либо номер места для правильного ответа выбирается случайным образом;

Все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа.

При разработке заданий необходимо обеспечить их относительную независимость, исключающую цепочную логику выполнения, когда ответ из одного задания служит условием для другого задания теста. Тесты учебных достижений не могут содержать задания-ловушки, присутствующие в психологических тестах.

Проще всего подбирать дистракторы в заданиях с двумя ответами посредством отрицания того, что является верным. Однако не рекомендуется вместо дистракторов использовать слова «да – нет», поскольку в противном случае довольно трудно сформулировать утверждения, на которые можно дать недвусмысленный ответ.

ПРИМЕРЫ ЗАДАНИЙ

Задание 1

ЕСЛИ ВЫЧИТАЕМОЕ УВЕЛИЧИЛИ НА 12 ЕДИНИЦ, А РАЗНОСТЬ ТАКЖЕ УВЕЛИЧИЛАСЬ НА 15 ЕДИНИЦ, ТО УМЕНЬШАЕМОЕ

А. Увеличилось

Б. Уменьшилось

Задания с тремя ответами, также как и с двумя ответами, обычно используют в экспресс-диагностике. Иногда три ответа появляются вследствие удаления неработающих дистракторов. В целом их можно считать неудачными, поскольку они недостаточно кратки, и вместе с тем в них высока вероятность угадывания правильного ответа.

Задание 2

ВЫСОКИЕ ТЕМПЫ УРБАНИЗАЦИИ В ЛАТИНСКОЙ АМЕРИКЕ СВЯЗАНЫ С

A. Быстрым экономическим ростом

Б. Усилением роли крупных городов

B. Массовой миграцией населения из деревень в города

В большинстве тестов встречаются задания с 4–5 ответами, из которых один верный. При умелой разработке они достаточно краткие, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти).

Задание 3

ПРЕДПОЛОЖЕНИЕ О ТОМ, ЧТО ДЕНЬГИ ЯВЛЯЮТСЯ СПЕЦИФИЧЕСКИМ ТОВАРОМ, СООТВЕТСТВУЕТ ТЕОРИИ ДЕНЕГ

A. Номиналистической

Б. Металлической

B. Количественной

Г. Трудовой

Задание 4

КАКАЯ СТРУКТУРА ПРЕДСТАВЛЯЕТ СОБОЙ РЕШЕТЧАТУЮ ОРГАНИЗАЦИЮ, ПОСТРОЕННУЮ НА ПРИНЦИПЕ ДВОЙНОГО ПОДЧИНЕНИЯ ИСПОЛНИТЕЛЕЙ?

A. Проектная

Б. Системная

B. Матричная

Г. Функциональная

Д. Географическая

Задание 5

ФУНКЦИЮ МЕРЫ СТОИМОСТИ ВЫПОЛНЯЮТ:

A. Металлические деньги

Б. Идеальные деньги

B. Реальные деньги

Г. Мысленно представляемые деньги

Д. Кредитные деньги

Иногда задание с выбором имеет двойную структуру, предлагая набор высказываний или положений, которые оцениваются путем сопоставления с предлагаемыми ответами. Например, в задании 6 высказывания, характеризующие понятие «Управление», должны сопоставляться с различными вариантами их истинности.

Задание 6

КАКИЕ ВЫСКАЗЫВАНИЯ ДАЮТ ХАРАКТЕРИСТИКУ ПОНЯТИЯ «УПРАВЛЕНИЕ»?

1. Процесс распределения и движения ресурсов в организации с заранее заданной целью, по заранее разработанному плану и с непрерывным контролем результатов деятельности.

2. Совокупность методов, принципов, средств и форм управления организациями с целью повышения эффективности деятельности.

A. Только первое

Б. Только второе

B. Ни первое, ни второе

Несмотря на кажущуюся привлекательность, в содержательном плане задание 6 неудачно сформулировано, поскольку может привести к неоднозначной трактовке ответов студентов. Выбор двух ответов А и Б равносилен выбору ответа Г, хотя ответы к заданию всегда должны обладать свойством относительной независимости и, образно говоря, отрицать друг друга.

Другой пример модификации формы задания с выбором ответов приводится в задании 7, где выбранный ответ предлагается мысленно подставить на место прочерка в основной части.

Задание 7

МЕНЕДЖМЕНТ – ЭТО КООРДИНАЦИЯ _________ РЕСУРСОВ С ЦЕЛЬЮ РЕШЕНИЯ ПОСТАВЛЕННЫХ УПРАВЛЕНЧЕСКИХ ЗАДАЧ.

A. Информационных

Б. Людских

B. Временных

Г. Материальных

Даже в условиях хорошо организованного процесса тестирования один вариант теста невозможно применять из-за списывания, подсказок и других подобных нежелательных эффектов. Поэтому всегда приходится разрабатывать 5–8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов. Например, в задании 8 содержатся два задания теста, получаемые для каждого из городов, приведенных в фигурных скобках.

Задание 8

К ДВОРЦОВЫМ КОМПЛЕКСАМ ОКРЕСТНОСТЕЙ

{Москвы

Санкт–Петербурга}

ОТНОСЯТСЯ:

1) Павловск, Ораниенбаум

2) Архангельское, Царицыно

3) Петергоф, Гатчина

4) Царское Село, Стрельня

В задании 9 автор предлагает выбрать тот элемент, который не имеет отношения к предмету экономической теории, что не вполне оправданно дидактическими целями контроля, но в данном случае допускается содержанием предмета.

Задание 9

ПОЛОЖЕНИЯ, НЕ ИМЕЮЩИЕ ОТНОШЕНИЕ К ПРЕДМЕТУ ЭКОНОМИЧЕСКОЙ ТЕОРИИ

A. Экономическое благо

Б. Неограниченность ресурсов

B. Максимизация удовлетворения потребностей Г. Эффективное использование ресурсов

Д. Правовые отношения

Такие задания, а также задания с несколькими правильными ответами, как в задании 10, обычно стараются не включать в аттестационные тесты, результаты которых используются для принятия административно-управленческих решений в образовании.

Задание 10

УКАЖИТЕ ТРИ ИНТЕГРАЛЬНЫХ ПАРАМЕТРА СРЕДЫ, ВЛИЯЮЩИЕ НА ФУНКЦИЮ ПРИНЯТИЯ РЕШЕНИЯ

A. Неопределенность

Б. Сложность

B. Динамичность

Г. Определенность

Д. Ограниченность

Появление частично правильных ответов студентов, возникающих при выборе не всех запланированных верных ответов в каждом таком задании теста, приводит к снижению объективности и сопоставимости тестовых баллов. Если избежать нескольких правильных ответов невозможно, то для повышения стандартизации оценочных процедур вводят определенное решающее правило. Например, если испытуемый выбирает все правильные ответы, то он получает 1 балл, во всех других случаях – 0 баллов.

При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает 1 балл, а за неправильный ответ или пропуск – 0. Суммирование всех единиц позволяет вычислить индивидуальный (первичный или сырой) балл испытуемого, который в случае дихотомической оценки просто равен количеству правильно выполненных заданий в тесте. Если правильный ответ не единственный, то чаще всего используется политомическая оценка, которую устанавливают пропорционально числу правильно выбранных ответов.

Если тест состоит из заданий с выбором, то индивидуальные баллы испытуемых будут существенно искажены эффектом случайного угадывания ответов. Поэтому сырые баллы стараются скорректировать, вводя поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с ответами, из которых только один верный, имеет вид

X" i = X i – [W i / (k – 1)]

где i – номер любого испытуемого группы; X" i - скорректированный балл i -го испытуемого; X i - тестовый балл до коррекции; W i – число невыполненных (неправильно выполненных, пропущенных и недостигнутых) заданий теста, а X + W i = n , где n - число заданий в тесте.

При выполнении заданий с двумя ответами k – 1 = 1, поэтому для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. С увеличением количества дистракторов к заданию число вычитаемых баллов уменьшается, что вполне естественно, так как чем больше дистракторов, тем труднее угадать правильный ответ.

Сама по себе формула коррекции обладает определенными недостатками, снижающими точность тестовых измерений. Это связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности, далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста.

В процессе создания заданий отдельные требования к форме неосознанно нарушаются. Как правило, это бывает связано с тем, что все внимание разработчика поглощено содержанием, а не формой. Нарушение отдельных требований порождает ряд характерных недостатков, возникающих даже у опытных авторов в процессе работы над заданиями теста. К числу наиболее распространенных недостатков предтестовых заданий можно отнести:

Отсутствие логической корректности в формулировках заданий теста, приводящее к незапланированным правильным ответам;

Нарушение правильных пропорций в форме задания, когда ответы намного длиннее основной части задания;

Нарушение требования краткости, вызванное включением лишних слов или представлением в тестовой форме того содержания, которое не годится для проверки с помощью теста;

Выбор ответов по разным основаниям;

Просчеты разработчиков заданий, способствующие угадыванию правильных ответов без выполнения заданий теста.

Например, неудачным можно считать задание 11, в котором приведена короткая основная часть и длинные ответы в силу того, что разработчик явно напрасно переставил их местами. Если само определение кругооборота капитала, данное на втором месте под буквой «Б», поместить в начало задания, то ответы могут состоять только из одного или нескольких слов.

Задание 11

КРУГООБОРОТ КАПИТАЛА – ЭТО

A. Непрерывное и последовательное движение денежного капитала

Б. Последовательное превращение капитала из одной функциональной формы в другую

B. Возвращение авансированной стоимости

Г. Функционирование товарного капитала

Неудачно подобраны ответы в задании 12, если рассматривать их безотносительно к содержательным просчетам автора. Если первые три ответа сравнивают между собой объем выпуска продукции монополиста и конкуренцию, то четвертый нацелен на установление причинной связи между объектами.

Задание 12

ОБЪЕМ ВЫПУСКА ПРОДУКЦИИ МОНОПОЛИСТА ПО СРАВНЕНИЮ С СОВЕРШЕННОЙ КОНКУРЕНЦИЕЙ БУДЕТ

Б. Меньше

B. Такой же

Г. Зависит от конъюнктуры рынка

Отсутствует содержательная и логическая корректность в задании 13, где из восьми приведенных параметров в ответах используются только пять.

Задание 13

КАКИЕ ДВА ПАРАМЕТРА НЕ ИСПОЛЬЗУЮТСЯ ДЛЯ АНАЛИЗА ОТЛИЧИЙ КУЛЬТУР СТРАН ДРУГ ОТ ДРУГА?

1. Взаимоотношение человека и окружающей среды

2. Оценка времени

3. Природа людей

4. Манера общения

5. Оценка степени активности

6. Свобода доступа информации

7. Взаимоотношение людей

8. Отношение к обладанию пространством

A. Четвертый и шестой

Б. Третий и шестой

B. Третий и пятый

Г. Четвертый и седьмой

Задание 14

A. Чутко реагирует на изменение внешней среды и изменяется в соответствии с ними

Б. Воспринимает из внешней среды все новые тенденции и обязательно применяет их в своей деятельности

B. Открыта для любых нововведений, необходимых собственнику

Г. Чутко реагирует на поведение конкурентов и воспринимает наиболее эффективные принципы решения управленческих задач

Задание 15, хотя и выглядит довольно громоздко, выгодно отличается от большинства приведенных выше примеров, поскольку содержит постановку проблемы, а не нацелено, как чаще всего бывает, на проверку фактологического или понятийного материала.

Задание 15

КАК БУДЕТ ВЫГЛЯДЕТЬ ЦЕЛЕВАЯ ФУНКЦИЯ В МАТЕМАТИЧЕСКОЙ МОДЕЛИ ПРОЦЕССА УПРАВЛЕНИЯ ПРИМЕНИТЕЛЬНО К СЛЕДУЮЩЕЙ ЗАДАЧЕ:

Фирма производит два напитка: «Тоник» и «Тархун». Объем производства ограничен количеством вспомогательных добавок и производственной мощностью. Производство 1 л «Тоника» занимает 0,02 часа работы оборудования, производство 1 л «Тархуна» занимает 0,04 часа. Расход вспомогательных добавок 0,01 кг/л у «Тоника» и 0,04 кг/л у «Тархуна». Ежедневный ресурс времени работы оборудования 24 часа. Ресурс вспомогательных добавок 16 кг в сутки. Прибыль от реализации 1 л «Тоника» 0,1 р/л, а у «Тархуна» – 0,3 р/л.

Сколько продукции «Тоник» и «Тархун» нужно производить ежедневно с целью максимизации ежедневной прибыли?

A. 0,01 х 1 + 0,04 х 2 > max

Б. 0,02 х 1 + 0,03 х 2 > max

B. 0,02 х 1 + 0,04 х 2 > max

Г. 0,03 х 1 + 0,01 х 2 > max

5.3. Задания с конструируемым ответом

В заданиях с конструируемым ответом (встречаются также названия: задания на дополнение, открытые задания) готовые ответы не даются, их должен придумать или получить сам студент. Задания с конструируемым ответом бывают двух видов, один из которых предполагает получение испытуемым строго регламентированных по содержанию и форме представления правильных ответов. Второй – задания со свободно конструируемыми ответами, в которых испытуемые составляют развернутые ответы, произвольные по содержанию и форме представления и включающие полное решение задачи с пояснениями, микросочинения (эссе) и т.д.

Задания с конструируемыми ответами кажутся студентам более трудными, так как в них исключается догадка. Действительно, легче выбрать правильный ответ из предложенных, основываясь иногда не столько на знаниях, сколько на интуиции, чем самому его сформулировать или найти в процессе решения поставленных проблем. Но именно это свойство исключительно привлекательно для педагогов, особенно для тех, кто привык в своей работе опираться на традиционные средства контроля и не доверяет тестам.

В заданиях первого вида обычно ответ бывает достаточно кратким: в виде слова, числа, формулы, символа и т.д. Для разработки заданий с конструируемым регламентированным ответом необходимо мысленно сформулировать вопрос, затем записать четкий и краткий ответ, в котором на месте ключевого слова, символа или числа ставится прочерк. В силу однозначности правильного ответа проверка результатов выполнения заданий с конструируемым регламентированным ответом носит довольно объективный характер, ее осуществляют в компьютерной форме с последующей перепроверкой всех неправильных ответов студентов экспертным путем. Ответы на задания приводятся на месте прочерка или заносятся студентами в специальный бланк.

Например: Впишите правильный ответ.

Задание 1

Определение конечных показателей, которые должны быть достигнуты, и соответствующих средств, необходимых для получения определенных конечных результатов, включает в себя функции ___________________ .

Задание 2

Форма влияния, предполагающая маскировку настоящих намерений и целей – _______________.

При выполнении заданий с конструируемым регламентированным ответом нередко появляются частично правильные и правильные в разной степени ответы. Дописывая ответ на месте прочерка, испытуемый может предложить синонимы пропущенного запланированного разработчиком слова или изменить порядок следования элементов в пропущенной формуле, что значительно затрудняет автоматизированную проверку и оценку результатов тестируемых. По этим причинам в процессе проверки нередко приходится разрабатывать дополнительные соглашения об оценках для частично правильных ответов.

Задания с конструируемыми регламентированными ответами должны удовлетворять ряду требований:

Каждое задание необходимо нацелить только на одно дополняемое слово, символ и т.д., место для которого рекомендуется обозначить прочерком или точками;

Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

Все прочерки в заданиях для одного теста рекомендуется делать равной длины;

Место для ответа лучше отводить в конце задания или как можно ближе к концу;

После прочерка, если это возможно, указываются единицы измерения;

Текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания.

Задания второго вида со свободно конструируемым ответом не имеют никаких ограничений по содержанию и форме представления ответов. За отпущенное время тестируемый может писать что угодно и как угодно на специальных бланках для ответов. Несомненно, такие условия выполнения во многом близки к традиционным письменным работам, и потому задания со свободно конструируемым ответом воспринимаются положительно абсолютным большинством педагогов. Они интересны и разнообразны в содержательном плане.

Разработка заданий второго типа неоправданно может показаться легкой. На самом деле трудно не сформулировать задание, а предложить эталон оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения. Например, формулировка задания по истории с развернутым ответом достаточно кратка.

Задание 3

НАЗОВИТЕ ОСНОВНЫЕ ЗАДАЧИ, КОТОРЫЕ РЕШАЛИСЬ ВО ВНЕШНЕЙ ПОЛИТИКЕ РОССИИ В XVII В. (УКАЖИТЕ НЕ МЕНЕЕ ДВУХ ЗАДАЧ). ПРИВЕДИТЕ ПРИМЕРЫ ВОЙН, ПОХОДОВ И ЭКСПЕДИЦИЙ XVII В., ПРЕДПРИНИМАВШИХСЯ ДЛЯ РЕШЕНИЯ ЭТИХ ЗАДАЧ (НЕ МЕНЕЕ ТРЕХ ПРИМЕРОВ).

Но для того чтобы задание попало в тест, его автору необходимо стандартизовать процедуру проверки, а это объемная работа, вызывающая подчас много нареканий из-за неоднозначности результатов ее выполнения.

В естественных науках предложить эталон выполнения вместе с оценочными критериями гораздо легче. Например, к заданию 4 можно предложить следующие критерии для оценки результатов выполнения

Задание 4

ПРИ КАКИХ ЗНАЧЕНИЯХ X СООТВЕТСТВЕННЫЕ ЗНАЧЕНИЯ ФУНКЦИЙ f (x ) = log 2 x и g (x ) = log 2 (3 – x ) БУДУТ ОТЛИЧАТЬСЯ МЕНЬШЕ, ЧЕМ НА 1?

Проверка заданий с развернутыми ответами проводится экспертами в соответствии со стандартизованными инструкциями, содержащими эталон оптимального ответа с описывающими его характеристиками и признаками качества, как в приведенном примере. К эталону должны прилагаться оценочные категории для выставления политомической оценки, нуждающиеся в апробации и статистическом обосновании качества, поскольку среди них могут быть как не работающие, так и снижающие дифференцирующий эффект теста.

Задания с развернутыми ответами требуют значительных затрат преподавательского труда при проверке, когда экспертам приходится анализировать множество правильных в разной степени ответов и сравнивать их с эталоном, не принимая во внимание полноту, внешнее оформление ответов, орфографические ошибки и все то, что не входит в критерии для выставления политомической оценки. Иногда проверку стараются стандартизовать путем разработки компьютерных экспертных программ .

Вне автоматизированных систем проверка результатов выполнения заданий с развернутыми ответами довольно субъективна, а согласование оценок нескольких экспертов затруднено, поэтому обычно такие задания занимают не более 10–15% от общей длины аттестационного теста.

Задания со свободно конструируемым ответом в основном предназначены для оценки когнитивных умений. Их следует разрабатывать только в тех случаях, когда нельзя использовать более простые формы;

Длина и сложность ответа может варьироваться в широких пределах (вплоть до нескольких страниц текста ответа, обоснования приведенного решения проблемы и т.д.). В инструкции желательно ввести ограничения на максимальную длину ответа для каждого задания;

Формулировка задания должна включать постановку проблемы, эталон выполнения и оценочные критерии. Постановочная часть должна быть настолько четкой, чтобы минимизировать возможные отклонения в правильных ответах студентов от планируемого разработчиком эталона выполнения;

Выбор временных рамок для выполнения каждого задания должен позволять студенту сформулировать достаточно развернутый ответ и успеть его записать.

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если:

Грамотно составлять задание, руководствуясь приведенными выше рекомендациями;

Использовать при проверке только разработанную стандартизованную схему оценивания не более чем с тремя оценочными категориями (0, 1, 2);

Обучить экспертов по проверке заданий пользовать стандартизованными критериями оценивания;

Привлекать не менее двух экспертов для проверки каждого задания и приглашать третьего эксперта в случае расхождений оценок первых двух более чем на один балл;

Использовать принципы анонимности проверяемых работ и независимости экспертных суждений;

Не смотреть на оценку, данную предыдущему заданию, при оценивании последующего.

Задания типа эссе можно оценивать в соответствии со следующим:

Простыми схемами оценивания, когда критерии строятся с ориентацией на содержание ответов студентов;

Усложненными схемами оценивания, учитывающими при экспертизе содержание ответов, характеристики качества представления текста, его полноту и стиль или любые другие факторы, кажущиеся важными разработчику задания;

При любой схеме оценивания задания со свободно конструируемыми ответами нуждаются в политомической оценке, что иногда неоправданно завышает их общий вес в балле по тесту. Для того чтобы избежать такого завышения и для уменьшения влияния субъективного компонента, число критериев оценивания обычно стараются сделать достаточно малым, ограничиваясь политомическими оценками, например, от 0 до 3 или от 0 до 2.

Для заданий с кратким регламентированным ответом, сформулированных в виде незаконченных утверждений и предъявляемых без специальных бланков для ответа, обычно используют инструкцию, состоящую из одного слова: «ДОПОЛНИТЕ». В тех случаях, когда для ответов к заданиям с кратким регламентированным ответом необходимо давать ответы в специальных бланках, а не рядом с заданиями, инструкция может иметь вид: «ОТВЕТЫ К ЗАДАНИЯМ ЗАПИШИТЕ В БЛАНКЕ ОТВЕТОВ СПРАВА ОТ СООТВЕТСТВУЮЩИХ НОМЕРОВ ЗАДАНИЙ. КАЖДУЮ БУКВУ ПИШИТЕ В ОТДЕЛЬНОЙ КЛЕТОЧКЕ В СООТВЕТСТВИИ С ПРИВЕДЕННЫМИ ОБРАЗЦАМИ НА БЛАНКЕ ОТВЕТОВ».

Инструкция для заданий со свободно конструируемым ответом обычно имеет произвольную форму. Главное сказать столько, чтобы в максимальной степени облегчить и стандартизовать работу экспертов при проверке результатов тестирования для снижения влияния субъективных факторов и повышения надежности педагогических измерений. В самом общем виде для предметов гуманитарного цикла инструкция может иметь вид: «ДЛЯ ОТВЕТОВ НА ЗАДАНИЯ ИСПОЛЬЗУЙТЕ ОТДЕЛЬНЫЙ БЛАНК ОТВЕТОВ. ЗАПИШИТЕ СНАЧАЛА НОМЕР ЗАДАНИЯ, А ЗАТЕМ РАЗВЕРНУТЫЙ ОТВЕТ НА НЕГО. ОТВЕТЫ ЗАПИСЫВАЙТЕ РАЗБОРЧИВО».

5.4. Задания на установление соответствия

Задания на соответствие имеют специфический вид, где под инструкцией располагаются элементы двух множеств, соответствие между которыми предлагается установить испытуемому. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, справа – элементы, подлежащие выбору.

Соответствие между элементами двух столбцов может быть взаимно однозначным, когда каждому элементу справа соответствует только один элемент слева. Если число элементов в двух столбцах одинаковое, то для последнего элемента задающего множества выбор не произойдет. Встречаются случаи, определяемые спецификой содержания предмета, когда для нескольких элементов левого столбца выбираются одни и те же элементы справа, поэтому их может оказаться меньше, чем слева. И наконец, оптимальным является задание, в котором правое множество содержит больше элементов, каждый из которых выбирается только один раз. Например, удачное задание 1, а не удачное 2, поскольку число элементов для выбора справа равно числу элементов в левом столбце.

Задание 1

К КАЖДОМУ ИЗ ТРЕХ ЭЛЕМЕНТОВ (1, 2, 3) ПОДБИРАЕТСЯ ОДИН СООТВЕТСТВУЮЩИЙ ЭЛЕМЕНТ ИЗ ПРАВОЙ ЧАСТИ С БУКВАМИ (А, Б, В, Г, Д, Е, Ж, З, И, К).

Определите соответствие ролей менеджера трем блокам согласно модели Г. Минцберга

Ответы можно представить в виде таблицы, в таком случае отпадает необходимость в подробной инструкции, подобной той, которая приведена для задания 1.

Задание 2

УСТАНОВИТЕ СООТВЕТСТВИЕ

Лишние элементы правого столбца, не подлежащие выбору при правильных ответах, называются дистракторами. Как и в заданиях с выбором ответов, наибольшие трудности при разработке связаны с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого дистрактора устанавливается эмпирически.

При разработке заданий на соответствие следует руководствоваться следующими правилами:

Задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств с соответствующими названиями;

Элементы задающего столбца располагаются слева, а элементы для выбора – справа;

Желательно, чтобы каждый столбец имел определенное название, обобщающее все элементы столбца;

Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, если число элементов правого множества будет примерно в два раза больше числа элементов левого столбца;

Необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;

Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста.

В аттестационном тесте задания на соответствие малоэффективны в силу их громоздкости, не позволяющей охватить большой объем содержания.

К заданиям на соответствие прилагается стандартная инструкция, состоящая из двух слов: «УСТАНОВИТЕ СООТВЕТСТВИЕ». Иногда инструкцию делают развернутой, особенно в тех случаях, когда есть отдельный бланк ответов. Например, инструкция может иметь вид: «БУКВЫ, СООТВЕТСТВУЮЩИЕ ЗАДАННЫМ ЭЛЕМЕНТАМ, ЗАПИШИТЕ СНАЧАЛА В ТАБЛИЦУ, ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК».

Результаты выполнения заданий на соответствие оцениваются либо дихотомической, либо политомической оценкой. При дихотомическом оценивании 1 балл выставляется за все правильно установленные соответствия в задании теста. Если хотя бы одно соответствие неверно, то за частично правильно выполненное задание на соответствие испытуемый получает 0 баллов. Другой способ заключается в выставлении по одному баллу за каждое правильное соответствие, тогда при проверке заданий на соответствие используется политомическая оценка, и общее количество баллов за задание равно числу правильно установленных соответствий.

5.5. Задания на установление правильной последовательности

Тестовые задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п. В таких заданиях в произвольном порядке приводятся элементы, связанные с определенной задачей, а испытуемый должен установить правильный порядок предложенных элементов и указать его заданным способом в специально отведенном для этого месте.

Стандартная инструкция к заданиям четвертой формы имеет вид: «УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ». Иногда инструкцию включают в текст задания.

Задание 1

РАСПОЛОЖИТЕ ИМЕНА РУССКИХ ПОЛКОВОДЦЕВ В ХРОНОЛОГИЧЕСКОЙ ПОСЛЕДОВАТЕЛЬНОСТИ ИХ ДЕЯТЕЛЬНОСТИ. ЗАПИШИТЕ БУКВЫ, КОТОРЫМИ ОБОЗНАЧЕНЫ ИМЕНА, В ПРАВИЛЬНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ В ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ ТАБЛИЦУ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК.

A) Дмитрий Пожарский

Б) Алексей Ермолов

B) Михаил Скобелев

Г) Алексей Орлов

Задание 2

УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ МЕХАНИЗМА ВЫДОХА, РАССТАВИВ НОМЕРА В ОТВЕДЕННЫХ МЕСТАХ:

? – спадение легких

? – торможение центра дыхательных мышц в спинном мозге

? – возбуждение центра выдоха в продолговатом мозге

? – расслабление диафрагмы и вспомогательных мышц

? – уменьшение грудной полости

Во многих случаях задания на установление правильной последовательности крайне нетехнологичны либо не применимы в силу специфики содержания предмета. Они громоздки и нередко допускают неоднозначную последовательность ответов, поэтому не рекомендуются к использованию в аттестационных тестах.

5.6. Сравнительная характеристика форм тестовых заданий

В процессе разработки теста у автора всегда возникает вопрос: остановиться ли на какой-нибудь одной форме заданий либо принять решение о совмещении различных форм в одном тесте? А если остановиться на одной, то какой отдать предпочтение? Выбор автора во многом определяется спецификой содержания учебной дисциплины, целями создания и применения теста. Немало здесь зависит от технологии проверки, сбора и обработки эмпирических данных, от технического и материального обеспечения процесса применения теста. Легко организовать компьютеризованный сбор и анализ результатов выполнения теста в том случае, когда все задания с выбором ответов.

Результаты выполнения заданий с конструируемыми ответами требуют ручной обработки. Как правило, для оценки результатов их выполнения приходится привлекать экспертов, а это требует дополнительных материальных затрат и времени на проверку.

Преимущества и недостатки различных форм заданий

1. Задания с двумя ответами

Преимущества : благодаря краткости позволяют охватить большой объем материала, легко разрабатываются (только один дистрактор), быстро с высокой объективностью обрабатываются результаты выполнения.

Недостатки : стимулируют механическое запоминание, поощряют угадывание, требуют увеличения количества заданий и, соответственно, времени тестирования для компенсации эффекта угадывания.

2. Задания с выбором из четырех-пяти ответов

Преимущества : годятся для самых различных учебных предметов, в силу краткости формулировок в тесте можно охватить большой объем содержания, обеспечивают возможность автоматизированной проверки и высокую объективность оценок студентов, позволяют провести развернутый статистический анализ своих характеристик, скорректировать их и значительно повысить надежность педагогических измерений.

Недостатки : требуют значительной работы авторов при выборе дистракторов и коррекции баллов студентов, не годятся для проверки продуктивного уровня деятельности и когнитивных умений.

3. Задания с конструируемыми регламентированными ответами

Преимущества : просты в разработке, исключено угадывание, частично годятся для автоматизированной проверки.

Недостатки : проверяют в основном знание фактологического материала или понятийного аппарата, обычно (в гуманитарных предметах) слишком легкие, иногда приводят к неоднозначным правильным и частично правильным ответам.

4. Задания со свободно конструируемыми ответами

Преимущества : позволяют оценивать сложные учебные достижения, в том числе коммуникативные умения, творческий уровень деятельности, легко формулируются как традиционные задания, исключают угадывание.

Недостатки : требуют длительной дорогостоящей процедуры проверки, значительного времени выполнения, не позволяют охватить значительный объем содержания предмета, снижают надежность педагогических измерений.

5. Задания на соответствие

Преимущества : просты в разработке, идеально подходят для оценивания ассоциативных знаний и проведения текущего контроля, уменьшают эффект угадывания.

Недостатки : чаще всего используются при проверке репродуктивного уровня деятельности и алгоритмических умений, громоздки по форме представления.

Сравнительная характеристика технологических свойств различных тестовых форм представлена в табл. 5.1.

Таблица 5.1 Сравнительные технологические характеристики форм

Выбор формы предтестовых заданий определяется спецификой контролируемого содержания и целями создания теста. Каждая форма заданий имеет свои достоинства и недостатки, свою сферу применения.

Разработка предтестовых заданий проводится сообразно стандартизованным требованиям, содержание которых зависит от специфики тестовой формы. Задания с выбором ответов наиболее удобны при итоговом контроле в силу ряда технологических преимуществ, повышающих эффективность процессов применения итогового теста и оценки результатов студентов. Задания на дополнение предпочтительны при обучающем контроле.

Современные тенденции в разработке итоговых тестов связаны с отходом от моноформности и широким использованием заданий на дополнение, поскольку многообразие проверяемых знаний и умений требует введения различных форм в тесте.

Практические задания и вопросы для обсуждения

1. Обведите номер правильного ответа.

Тестовые задания с двумя ответами эффективнее использовать в контроле:

1) текущем

2) тематическом

3) итоговом

4) входном

2. Обведите номер правильного ответа.

1) текущего

2) итогового

3) входного

3. Обведите номер правильного ответа.

Вероятность угадывания номера места правильного ответа в задании с пятью дистракторами будет:

4. Найдите два существенных недостатка в задании, переформулируйте задание для устранения недостатков.

Для какого класса животных характерны признаки: хладнокровные, обитающие в воде и на суше, размножаются в воде?

1. Класс рыб

2. Класс пресмыкающихся

3. Класс земноводных

4. Класс млекопитающих

5. Предложите метод улучшения формулировки заданий.

Что из нижеперечисленного было ликвидировано реформами 60-х годов XIX века в России?

1. Самодержавие

2. Крепостничество

3. Сословность

4. Помещичья собственность на землю

5. Национальный гнет

Методика составления теста

Составила преподаватель информатики

Власовец Надежда Витальевна

Введение (Актуальность программного обеспечения вида “Тесты”) 3

Теория создания тестов для системы образования 4

Правила составления тестовых заданий 8

Технология составления педагогического теста 9

Целеполагание на этапе планирования содержания теста 15

Состав требований к планируемым результатам обучения 16

Спецификация теста 18

Формы предтестовых заданий 19

Требования к предтестовым заданиям 20

Задания закрытой формы 20

Задания открытой формы (задания на дополнение) 21

Задания на установление соответствия 22

Задания на установление правильной последовательности 22

ЛИТЕРАТУРА: 25

Введение (Актуальность программного обеспечения вида “Тесты”)

Что такое тест ? Ответом на это могут быть строки: «Тест обученности – это совокупность заданий, сориентированных на выявление уровня усвоения определенных аспектов содержания обучения. Тест состоит из задания на деятельность данного уровня и эталона…». Отсюда следует, что объектом исследования в форме тестирования являются определенные аспекты содержания обучения.

Каким должен быть тест , и в том числе, тестирующая программа, - нельзя дать однозначного ответа. Все зависит от многих факторов. Что может сказать любой учитель, так это:

во-первых, какая цель поставлена перед обеими сторонами этого исследования (одной, тестирующей ‑ учителем и другой, тестируемой ‑ учащимся), то есть объект исследования , которым являются в нашем случае «определенные аспекты содержания обучения» информатике;

во-вторых, какими средствами и методами вооружен учитель.

Сегодня учитель должен следовать за развитием информационных технологий. Они диктуют новые формы и методы в педагогическом труде.

Зачем нужно тестирование на обычном уроке ? Первое – для экономии времени на проведение контроля знаний учителем. Так было до недавнего времени. Сегодня, учитывая возможности современной техники, используемой для этих целей, применение тестирования значительно расширяется. При однообразной работе понижается работоспособность учащихся. Тест же позволяет использование его на уроках разного типа - при контроле (и самоконтроле знаний), при закреплении полученных знаний, а также разной формы - при самостоятельной, групповой работе, при проведения фронтального опроса. Все чаще можно встретить использование тестирующих программ во внеклассной работе (турнир, игра). Процедура проведения тестирования знакома всем. Сценарии уроков могут быть разными в зависимости от поставленных учителем целей, от подготовленности испытуемых, и, конечно, от содержания самого теста (заданий). Результат тестирования зависит от многого: содержания теста, насколько правильно подобраны вопросы и ответы, от отведенного времени на тестирование, от того, правильно ли выбрано место урока при изучении темы и т.д. Добиться сбалансированности вопросов-ответов теста можно, хорошо зная предмет и особенности психики учащихся. Понятно, что учитель сможет добиться успехов в воспитании и обучении школьников, зная этапы возрастного развития детей и учитывая их личностные качества.

С точки зрения учителя информатики большое значение имеют технические средства обучения (ТСО), то есть инструмент тестирования, которыми может располагать учитель. Это может быть изготовленная учителем перфокарта – эталон с отверстиями в соответствующих правильным ответам позициях и подготовленные бланки для заполнения их учениками, - за неимением техники и она может как-то помочь учителю провести контроль знаний.

Сегодня в распоряжении учителя есть мощный компьютер с большим набором программ (в том числе на компакт-дисках). Сегодня, имея современный компьютер (допустим, типа Pentium II, с операционной системой Win95/98/2000), конечно же, никто не будет для экономии оперативной памяти, и тем более, памяти на винчестере, по старой привычке составлять программу на алгоритмическом языке, разве что в учебных целях при обучении программированию.

Если говорить с позиций пользователя Pentium , любое из приложений операционной системы Windows (Word/Excel/Access/PowerPoint), являясь мощным инструментом в руках подготовленного пользователя, позволяет быстрее и качественнее выполнить аналогичную работу на компьютере. Можно не перечислять достоинства новой техники и программного обеспечения. Учитель информатики, а вслед за ним и учителя других предметов не оставят без внимания появившиеся возможности прикладных программ для организации контроля знаний. При помощи интегрированного пакета программ (к примеру, MS Office) можно значительно быстрее создать свое программное тестирующее средство. Этим инструментом сможет воспользоваться учитель, не представляющий, что такое алгоритмический язык. К этой работе можно привлечь большее, чем ранее, количество учащихся. Пользователей компьютера всегда больше, чем программирующих учеников. В среде каждого из приложений, и в том числе Word, можно расширить возможности создаваемого документа (в нашем случае, тест-программы), применяя макрокоманды (макросы) и графические объекты; в среде Excel – применяя формулы при автоматизации вывода результата в виде оценки и дальнейшего анализа ответов в виде диаграмм; в среде Access, создав базу данных для групп и отчеты по данным тестирования; и, наконец, в среде PowerPoint ‑ готовя презентацию (чтобы и себя порадовать, и администрацию удивить). Импорт данных из одного приложения в другое – большой “плюс” в пользу этого средства. Эстетическое удовольствие при создании привлекательного программного продукта, как и при ответах на вопросы тест-программы с красивым интерфейсом – одна из составляющих успешного педагогического труда.

Вопрос о том, умеют ли ученики работать с тест-программой, становится особенно актуальным. Наверное, многие согласятся, что при прохождении Телетестинга в наилучших условиях оказываются те, кто имеет не только лучшие знания по предмету, но и навыки такого тестирования.

Каждый учитель заинтересован не только в хороших результатах своих учеников. Использование тестирующих программ крайне актуально.

Я решаю проблему тестов по предмету «Прикладная информатика авторской разработкой Иванцова А. С., выполненной в Microsoft Access. Тест содержит систему вопросов по основным разделам предмета, изучаемых в курсе информатики.

Каждая из программ, являясь тестом обученности по предмету, в то же время позволяет использование ее на уроках

разного типа :

при закреплении изучаемого материала (тест-тренинг),

при контроле знаний (тест-контроль) и

разной формы :

при обучении в сотрудничестве (работе парами),

при индивидуальной работе (подготовке к контрольной работе, зачету).

Возможности программы:

Порядок ответов на каждый вопрос меняется случайным образом;

Выбор блока вопросов из предложенного количества при помощи задания номера первого вопроса и количества вопросов;

Установка предельной нормы расхода времени на ответы;

Установка, по желанию, режима смены порядка вопросов теста;

Установка режима «жесткости» контроля (одного из четырех или своего);

Вывод, по желанию, списка правильных ответов (в текущем сеансе);

Сопровождение коротким сигналом неправильного ответа (по желанию).

Результат работы программы – вывод десятибалльной оценки знаний, количества правильных ответов, общего числа ответов, затраченного времени и количества запусков теста.

Теория создания тестов для системы образования

Тесты как измерительный инструмент используются в большинстве стран мира. Их разработка и использование основано на мощной теории и подтверждено многочисленными исследованиями. Тестология как теория и практика тестирования существует более 120 лет, и за это время накоплен громадный опыт использования тестов в различных сферах человеческой деятельности, включая образование.

Тесты - одно из средств проверки и оценки результатов обучения школьников. В последнее время они получают все большее применение в практике обучения.

Тест (от английского test - испытание, проверка) - стандартизированные, краткие, ограниченные во времени испытания, предназначенные для установления количественных и качественных индивидуальных различий.

Требования, предъявляемые к тестам: надежность, валидность, репрезентативность. Факторы, определяющие надежность теста:

правильный выбор параметров, адекватно отражающих обученность;

технологичность (четкость, ясность) инструментария проверки и оценки - четкая инструкция об организации проверки, однозначность оценки;

одинаковость условий каждого тестирования;

однородность (равнозначность) измерителя.

Валидность - аспект надежности. Валидность в психологии и дидактике - это соответствие содержания теста результатам обучения, которые зафиксированы в программе. А содержание проверочных заданий должно соответствовать целям контроля. Валидность проверяется на основе сравнения результатов использования разработанного теста с результатами проверки уровня обученности протестированных школьников другими методами (устный опрос, традиционная контрольная работа), сопоставление этих результатов с текущей успеваемостью учащихся. Важнейшим здесь является полнота охвата заданиями проверяемого учебного материала, как говорят в дидактике, репрезентативность (представительность) проверочных заданий. Если речь идет об итоговой проверочной работе, то ею охватывается весь курс, важнейшие его темы, наиболее значимый в них материал.

Затрагивая вопросы методики использования тестов для контроля результатов обучения школьников необходимо вспомнить об основных функциях проверки и оценки результатов обучения. Выделим среди них:

учетно-контрольную (информационную), которая систематически позволяет учителю фиксировать результаты обучения и судить об успеваемости каждого ученика, его достижениях и недочетах в учебной работе;

контрольно-корректирующую (диагностическую), которая обеспечивает связь "учитель-ученик", для внесения коррективов в методику обучения, перераспределения учебного времени между различными вопросами темы и пр., позволяет осуществлять диагностику причин отставания школьников;

обучающую , которая в результате помогает повторить материал, акцентировать внимание учащихся на главных вопросах и важнейших мировоззренческих идеях курса, указывает на типичные ошибки, что способствует закреплению и углублению знаний учащихся;

воспитательную (мотивационную), которая стимулирует учащихся к дальнейшей учебной работе, углублению своих знаний, развивает у школьников умения самоконтроля и самооценки;

аттестационную , которая связана с характеристикой уровня обученности школьника, является основой его аттестации, а также важнейшим компонентом аттестации работы учителя образовательного учреждения.

Какие же положительные стороны мы можем отвести тестированию?

Во-первых, тесты оказываются значительно более качественным и объективным способом оценивания, так как стандартизирована процедура их проведения (на всех этапах проведения тестирования невозможно внести субъективную составляющую в оценку, она не зависит от настроения преподавателя, его отношения к конкретному учащемуся, впечатления от ответов на предыдущие вопросы). По данным английской организации NEAB, занимающейся итоговой аттестацией учащихся Великобритании, тестирование позволяет снизить количество аппеляций более чем в три раза, сделать процедуру оценивания одинаковой для всех учащихся вне зависимости от места проживания, типа и вида образовательного учреждения, в котором занимаются учащиеся.

Во-вторых , тесты - более емкий инструмент - показатели тестов ориентированы на измерение степени, определение уровня усвоения ключевых понятий, тем и разделов учебной программы, умений, навыков, а не на констатацию наличия у учащихся определенной совокупности усвоенных знаний. Стандартизированная форма оценки, используемая в тестах достижений, позволяет соотнести уровень достижений учащегося по предмету в целом и по отдельным его разделам со средним уровнем достижений учащихся в классе и уровнями достижений каждого из них. Кроме того, выполняя итоговую тестовую работу, каждый ученик использует знания по всем темам, изучение которых предусматривала программа. На устный экзамен обычно выносится 2-4 темы, на письменный несколько больше.

В-третьих , это более мягкий инструмент. Тестирование ставит всех учащихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений.

В-четвертых , с точки зрения интервала оценивания тест - широкий инструмент. Если провести аналогию с прыжками в высоту, то традиционная контрольная работа представит собой палочку, на которой нанесены метки: 2, 3, 4, 5. В случае выполнения учеником всех заданий он получает отметку отлично. При этом совершенно не ясно, перепрыгнул он нашу палочку с запасом в два раза или пролетел прямо над ней. То же можно сказать и про нижнюю отметку.

Означает ли тот факт, что если ученик не выполнил ни одного задания, то он ничего не знает? Скорее всего нет. А означает ли, что ученики, выполнившие верно все задания контрольной работы имеют одинаковый уровень подготовки - вероятно, что тоже нет. Можно видеть, что тестирование предоставляет возможность расширить шкалу оценивания как вверх, так и вниз. Тестирование приходит в противоречие с учительским стереотипом о том, что отличную оценку нужно выставлять только в том случае, если все задания выполнены правильно.

В-пятых , необходимо отметить гуманизм тестирования, который заключается в том, что всем предоставляются равные возможности, широта теста дает возможность ученику показать свои достижения на широком поле материала. Таким образом, ученик получает некоторое право на ошибку, которого он при традиционном способе оценивания не имеет.

Кроме того, тесты эффективны с экономической точки зрения: основные затраты приходятся на составление качественного инструментария, т.е. носят разовый характер. При увеличении количества аттестуемых, эти затраты в значительной степени окупаются.

Классификация тестов

1. По процедуре создания:

· стандартизованные (в образовании, для целей итоговой аттестации);
· не стандартизованные.

2. По средствам предъявления:

· бланковые;
· предметные (манипулируем материальными объектами);
· аппаратурные (используются устройства для изучения особенностей внимания, восприятия, памяти, мышления);
· практические (лабораторные работы, снабженные соответствующими инструкциями и имеющие тестовое оснащение);
· компьютерные.

В рамках компьютерного тестирования В.С. Аванесов предлагает адаптивные тесты - задания, в которых предъявляются по одному, в зависимости от ответа испытуемого на предыдущий вопрос.

Какие же положительные моменты можно отметить в компьютерном тестировании?

Во-первых, тесты привлекают своей оперативностью: можно быстро проверить и оценить уровень усвоения учебного материала.

Во-вторых , повышается объективность проверки и оценки знаний и умений обучаемых.

В-третьих, тесты являются наиболее перспективными измерителями уровня обученности школьников в условиях введения в практику школы образовательных стандартов.

Компьютерные тесты имеют и свои недостатки - провоцируют случайные ошибки, не оставляют исходных результатов на случай апелляции.

3. По направленности:

· тесты интеллекта;
· личностные тесты;
· тесты достижений.

4. По характеру действий:

· вербальные (с использованием умственных действий);
· невербальные (связанные с практическим манипулированием предметов).

5. По ведущей ориентации:

· тесты скорости (содержат простые задачи; время решения ограничено);
· тесты мощности или результативности (содержат трудные задачи, время решения не ограничено, или мягко лимитировано);
· смешанные тесты (задачи различного уровня сложности, от самых простых до самых сложных, время испытания ограничено, но достаточно для решения большинства задач).
Эти тесты наиболее часто применяются на практике, к ним относятся большинство тестов школьных достижений.

6. По степени однородности задач:

· гомогенные (задачи, сходные по характеру, но различающиеся конкретным содержанием);
· гетерогенные (задания отличаются и по характеру, и по содержанию).

7. По объективности оценивания:

· объективные (в процессе обработки результатов тестирования не предусматривается использование субъективных толкований тестирующим);
· проективные тесты (допускается чрезвычайно большое разнообразие ответов и проявление определенной субъективности при их толковании тестирующим.

8. По специализации:

· широкоориентированные (для тестов в системе образовании), позволяющие оценить эффективность процесса обучения, степень освоения учащимися системы знаний, умений и навыков в ходе учебного процесса;
· узкоориентированные, направленные на выявление достижений учащихся в процессе освоения отдельных предметов, отдельных тем и т.д.

9. По целям использования (только для тестов в системе образования):

· предварительный определяющий тест (определяет знания в начале обучения, затрагивает минимум знаний по теме обучения);
· тест прогресса, достигнутого в процессе обучения, формирующий тест (затрагивает ограниченный сегмент обучения, раздел или главу, состоит из серии отдельных тестовых вопросов, всесторонне охватывающих ограниченную область обучения). Пример, обучающие тесты. Ученику даются конкретные инструкции для исправления обнаруженных ошибок;
· диагностический тест (содержит большое число вопросов, имеющих отношение к конкретной тестируемой области). Цель теста - определение трудностей обучения.
· суммирующий тест (используется для оценки широкого диапазона результатов обучения, ожидаемого в конце учебного процесса, содержит вопросы, представляющие более высокий уровень сложности, чем другие виды тестов).

10. По широте использования (только для тестов в системе образования):

· для использования учителем;
· для использования группой учителей или администрацией образовательного учреждения;
· для целей отбора и формирования групп;
· для аттестации учащихся.

11. По форме:

· тесты закрытого типа (задания с выбором верного ответа (или нескольких верных) из набора предлагаемых;
· тесты открытого типа (ввод предполагаемого ответа на задание самим тестируемым).

Правила составления тестовых заданий

Начинайте формулировать вопрос с правильного ответа.

Вопрос должен содержать одну законченную мысль.

При составлении вопросов следует особенно внимательно использовать слова "иногда", "часто", "всегда", "все", "никогда".

Вопрос должен быть четко сформулирован, избегая слова большой, небольшой, малый, много, мало, меньше, больше и т.д.

Избегайте вводных фраз и предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если учащийся его не знает.

Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

Не задавайте вопросы с подвохом (в заблуждение могут быть введены наиболее способные учащиеся).

Все варианты ответов должны быть грамматически согласованы с основной частью задания, используйте короткие, простые предложения, без зависимых или независимых оборотов.

Реже используйте отрицание в основной части, избегайте двойных отрицаний, таких как: "Почему нельзя не делать…?"

Ответ на поставленный вопрос не должен зависеть от предыдущих ответов.

Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Применяйте правдоподобные ошибочные варианты, взятые из опыта.

Если ставится вопрос количественного характера, ответы располагайте по возрастанию, если дистракторы представлены в виде слов текста, располагайте их в алфавитном порядке.

Лучше не использовать варианты ответов "ни один из перечисленных" и "все перечисленные".

Избегайте повторения.

Используйте ограничения в самом вопросе.

Не упрощайте вопросы.

Место правильного ответа должно быть определено так, чтобы оно не повторялось от вопроса к вопросу, не было закономерностей, а давалось в случайном порядке.

Лучше использовать длинный вопрос и короткий ответ.

Проанализируйте задания с точки зрения неверного ответа наиболее подготовленных учеников.

Технология составления педагогического теста

Являясь частью многих педагогических новаций, тесты позволяют получить объективные оценки уровня знаний, умений, навыков, проверить соответствие требований к подготовке выпускников заданным уровневым стандартам знаний, выявить пробелы в подготовке учащихся. В сочетании с персональными ЭВМ и программно-педагогическими средствами тесты помогают перейти к созданию современных систем адаптивного обучения и адаптивного контроля наиболее эффективных, но, к сожалению, наименее применяемых форм организации учебного процесса.

Широкие возможности современных тестов в решении ряда важных для образования и общественной жизни задач почти не задействованы, а там, где их пытаются задействовать, делается это неудовлетворительно, без опоры на имеющиеся в мировой науке достижения, самостоятельно. Отчасти это происходит из-за слабой информированности преподавательского состава по вопросам теории и методики тестового контроля, отсутствия требуемой литературы, а также из-за очень распространенных представлений о кажущейся легкости создания теста.

1. Общие методики составления педагогического теста .

В повседневной практике каждого человека измерение ~ вполне обычная процедура. Измерение так же, как счет, вычисление, стало неотъемлемой частью производства и распределения. Но измерения по отношения к человеку всегда были актуальны и связаны с введением определенных правил, на основании которых испытуемым приписываются некоторых числа. Оперируя ими, можно получить новые сведения об объектах измерения, а всесторонний анализ факторов, влияющих на обучение студентов вузов и учащихся, с применением статистико-математических методов позволяет точно измерить интересующие нас показатели, сравнить их между собой, установить между ними связи и взаимозависимости.

Методика измерения профессиональных знаний, умений человека дело не простое. При отсутствии измерений оценка традиционно строится на интуиции, на анализе документов (дипломов, характеристик и т.п.), результатах "испытательного срока", контрольных работ, рефератов и т.п.

При создании хорошо управляемых технологий обучения необходимо создать систему педагогических тестов, позволяющих объективно оценивать различные стороны процесса обучения, его результаты.

Понятии "тест" (от английского test - испытание, проба, исследование).

Одни авторы считают, что тест - краткое стандартизированное испытание, предназначенное для распознавания интересующих нас особенностей и качеств личности. Другие авторы отмечают, что в понятие "тест" необходимо включить и получение с помощью его объективных количественных оценок результатов обучения. В этих работах подчеркивается то, что тест является научно обоснованным методом эмпирического исследования в педагогике.

Следовательно, тест - краткое стандартизированное испытание, предназначенное не только для получения объективной количественной оценки результатов обучения, но и распознавания интересующих особенностей и качеств личности.

Более общее определение дается в работе . Тест - "стандартизированные задания, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умениях и навыках испытуемого" .

Можно дать более лаконичное определение теста. "Тест - краткое стандартизированное испытание, допускающее количественную оценку результатов на основе их статистической обработки" . Рассмотрим подробнее данное определение.

Во-первых, под "испытанием" подразумевается система заданий, на основании анализа результатов выполнения которой предстоит провести количественную оценку измеряемым качествам и свойствам.

Отбор и структура заданий теста зависит от того, какие показатели и факторы интересуют исследователя данной группы лиц. Каждое из заданий теста по своей сути представляет для испытуемого вопрос, проблему. Ответ на вопрос - это всегда устранение некоторых сомнений, колебаний, неопределенности в рассматриваемой ситуации с целью получения новых, более точных знаний.

Каждое из заданий теста содержит описание некоторой "ситуации", взятой из природы, производства, педагогической деятельности и т.п. Это описание может быть представлено на различных "языках": вербальном, языке символов, графиков, рисунков и т.п. Любое описание всегда приблизительно, неполно, и поэтому перед испытуемым ставится "требование" сделать его ситуации более точными, полными, используя с этой целью "информацию к решению", содержащуюся в описании ситуации, тексте задания, а также привлекая "внешнюю по отношению к заданию информацию" ≈ известные испытуемому научные факты, закономерности и т.п. В процессе выполнения задания ему приходится перемоделировать ситуацию путем введения ряда упрощающих решение допущений, абстракций, переходя в описании от одного языка к другому.

Среди заданий теста следует различать:

Задания информативного характера;

Задания, решение которых может быть осуществлено алгоритмическим, формализованным путем;

Проблемы, для решения которых необходим эвристический и нестандартизированный поиск. Понятно, что подобное деление заданий носит условный характер.

В зависимости от полноты информации к решению, содержащейся в тексте, задания могут быть сформулированными и только поставленные. Сформулированные задания содержат оптимальную информацию к их выполнению, поставленные ≈ не требуют от испытуемого самостоятельно сформулировать задачу, оговорить условия, при которых рассматривается задание. Кстати, информация, содержащаяся в тексте задания ("исходные данные"), может быть представлена в явном виде или же в скрытой форме, требующей для ее извлечения выполнения более или менее сложных операций, что повышает сложность задания.

Во-вторых, тест - "стандартизированное испытание", т.е. испытание, при котором все выполняющие задания находятся в одинаковых, строго оговоренных условиях. Только это позволяет сравнивать результаты тестирования, доводить результаты измерения до числа.

В-третьих, тест позволяет получить "количественную оценку" результатов тестирования. Поскольку предстоит измерить непрерывно изменяющиеся, не дискретные величины, то для доведения результатов измерений до числа используются специальные шкалы. В нашем случае шкала ≈ это определённая последовательность числовых значений результатов измерительных операций, применяемых к эмпирической системе.

Чем же отличается тест от педагогического теста? В работах, перечисленных выше, мы не встретим однозначного определения педагогического теста. Только в работе Аване-сова B.C. дается его определение. Педагогический тест - это "совокупность взаимосвязанных заданий возрастающей сложности, позволяющих надежно и валидно оценить знания и другие интересующие педагога характеристики личности". Очень существенно, что в определении основной упор делается на систему взаимосвязанных заданий возрастающей сложности.

В последней работе этого же автора определение педагогического теста дается уже через систему фасетных заданий специфической формы, определенного содержания и возрастающей трудности. Автор отмечает, что педагогический тест позволяет качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений по учебной дисциплине.

Мы не совсем согласны с данным автором в том, что педагогический тест - это система только фасетных заданий, так как его можно составить, как показывает эксперимент, не используя фасет (варьирование содержания в пределах укрупненной единицы знания).

Условимся под педагогическим тестом понимать систему определенным образом расположенных заданий, позволяющих выявить структуру знаний, умений и измерить их .

Результаты измерения заданий испытуемыми содержат самую разнообразную информацию в скрытой форме. Есть только один путь ее извлечения - сопоставление результатов выполнения достаточно большого числа заданий (необходимо "набрать статистику"). Только это позволяет получить выводы, заслуживающие доверия.

Педагогические тесты весьма разнообразны. С точки зрения целей применения, можно выделить:

- тесты достижения;

- критериально-ориентированные тесты, позволяющие сопоставить уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков;

- нормативно-ориентированные тесты, сравнивающие испытуемых друг с другом по уровням и учебным достижениям;

- аттестационные тесты, определяющие степень обученности;

- тесты прогнозирования результатов обучения.

Тесты могут использоваться для всесторонней оценки состояния испытуемых, например, до начала процесса их интеллектуального развития, способностей к конкретному учебному предмету, установления уровня обучаемости, уровня достижений в рассматриваемой области знаний.

В последнее время все большее признание в нашей стране получает новый вид тестов - критериально-ориентированные ("criterion-referenced test"), хотя в странах с высокой тестовой культурой они появились в шестидесятых годах.

Как и любой педагогический тест, критериально-ориентированный тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений. Но главная их особенность состоит в том, что критериально-ориентированные тесты сопоставляют уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков, которые должны быть усвоены студентами или учащимися.

Обычно критериально-ориентированные тесты используются для разделения учащихся на несколько групп по уровню их знаний. В самом простом случае это две группы - усвоившие и не усвоившие необходимый материал. В тесте образовательный стандарт выступает в виде критериального балла - минимального тестового балла, который должен получить студент, чтобы считаться усвоившим тот или иной материал. Для установления критериального балла используются экспертные методы анализа заданий.

Критериально-ориентированные тесты разрешают проблему соотношения тестовых баллов с традиционными педагогическими оценками. Устанавливаются такие критериальные баллы, которые делят испытуемых на группы, соответствующие оценкам "отлично", "хорошо", "удовлетворительно", "неудовлетворительно". Такая организация теста позволяет проводить в тестовой форме экзамены.

Критериально-ориентированные тесты помогают разрешить определенные задачи:

- сопоставление с требуемым стандартом образования достижений отдельных студентов, учебных групп;

- оценка доли учебного материала, усвоенной испытуемыми;

- выбор определенной технологии обучения;

- отбор испытуемых, достигших необходимого уровня квалификации.

В отличие от критериально-ориентированных, тесты достижений, как показывают проведенные нами исследования, являются надежным средством для быстрого и эффективного выявления уровня профессиональной подготовки студента и уровней обученности учащихся.

Тесты профессиональных достижений специфичны, предназначаются для конкретных профессий, и поэтому область их применения ограничена. Для нашего случая можно выделить две группы тестов профессиональных достижений:

- первая группа требует от испытуемого выполниения контрольных заданий, моделирующих профессиональную деятельность, на практически-семинарских занятия;

- вторая группа представляет собой набор заданий, выполняемых учащимися на практике.

Студенты, в зависимости от условий предъявления заданий, могут отвечать на них письменно или устно. Преподаватель в отдельных случаях может проводить опрос в форме интервью и беседы. Все эти методы характеризуются одним ведущим признаком: с их помощью получают ту информацию, которая заложена в словесных сообщениях опрашиваемых.

При беседе и интервью задания обсуждаются в очередности, которая предусмотрена конструкцией педагогического теста.

Методику разработки тестов достижений можно разбить на несколько исследовательских этапов:

- подбор типичных ситуаций, которые возникают в профессиональной деятельности учителя, "с одной стороны, они должны быть синтезированы и объединены вокруг определенной практической проблемы, имеющей многосторонний и целостный характер, а с другой ≈ они должны быть переведены на язык практических действий, практических ситуаций" ;

- разработка методов перевода ситуаций на язык педагогических задач;

- разработка различных вариантов решения педагогических задач;

- определение ценности (веса) различных решений по каждой конкретной педагогической задаче;

- установление правильной последовательности предъявления системы заданий, составляющих тест достижений;

- экспериментальная проверка составленного теста.

Анализ профессиографических данных и дополнительных сведений об учебных программах, методах, формах, средствах обучения показал, что для разработки тестов достижений этого недостаточно, нужно еще и наличие специальной системы профессиональных знаний и умений.

В первоначальном варианте тест достижений имеет избыточное число заданий, часть которых после первой экспериментальной проверки убирается. О необходимости иметь избыток заданий в предварительном варианте говорят все исследователи, занимающиеся вопросами создания тестовых методов. Для каждого задания устанавливается свой эталон ответа.

При подготовке тестов достижений применяется экспертная оценка знаний и умений, осуществляемая параллельно с тестированием. Сначала испытуемые выполняют тест, и после этого их опрашивает группа экспертов. Баллы по тестам сопоставляют с оценками. Процент совпадений должен быть высок ≈ 85-90%, это является гарантией того, что в тест включен основной материал по предмету, как его выявили эксперты.

В зависимости от характера деятельности испытуемого при выполнении педагогического теста различают:

- тесты со свободно конструируемыми ответами;

- тесты на дополнение ответов, приведенных в заданиях;

- тесты выбора верных ответов из общего числа предложенных в задании (альтернативные тесты);

- комбинированные тесты.

Для оценки дидактических возможностей перечисленных тестов необходимо остановиться на характерных особенностях теста вообще и отдельных видов, в частности.

Каждое из заданий теста, как уже упоминалось ранее, содержит информацию к решению. Характер и объем ее может варьироваться как дидактическая помощь испытуемому. Её избыток может играть положительную роль в тестах, используемых в режиме обучения и даже диагностики, но оказаться нежелательным в тестах для оценки достижений, где основной функцией теста является контроль.

Следующая особенность теста - он может ограничивать испытуемых в их действиях, поисках решения. Как и в предыдущем случае, оценка этой особенности теста не однозначна. Все зависит от целей тестирования. Так, нередко одно и то же задание теста может быть выполнено на основе различных идей, методов решения. Пытаясь оценить, насколько испытуемые овладели некоторым конкретным методом, следует исключить возможность решения другими.

Из всех видов тесты выбора имеют преимущество в предоставлении испытуемым свободы в ответах на задания, как это бывает при самостоятельном конструировании ответов. Это достигается путем включения в число ответов к заданиям альтернативного варианта - ответ иной", подразумевая ответ, отличный от всех остальных, приведенных к заданию.

Еще одна особенность тестов заключается в том, что конкретные формулировки заданий могут навязывать испытуемому вполне определенный порядок действий при их выполнении и логику поиска решения. Хорошо это или плохо - оценить однозначно невозможно. Все зависит от целей тестирования. Например, если основными целями применения теста является обучение, то рассматриваемая особенность тестов дает возможность формировать у испытуемых определенные методы рассуждений.

От вида теста самым существенным образом зависит, насколько проста и технологична обработка результатов тестирования. В этом смысле вне конкуренции тесты выбора. Тогда как при свободном конструировании ответов испытуемыми оказывается исключительно сложно обрабатывать результаты тестирования.

Заканчивая рассмотрение видов теста, следует упомянуть о так называемых ситуационных тестах, в которых все задания относятся к описанию одной и той же ситуации. К ситуационным тестам относятся тесты в форме программ решения задач и алгоритмов определенного типа. В них последовательность заданий диктуется логикой решения рассматриваемых задачных ситуаций. Результаты выполнения одних заданий могут быть использованы при выполнении последующих.

Как было отмечено выше, наиболее широкое распространение в педагогическом тестировании получили тесты выбора. Сравнивая их с другими видами педагогических тестов, следует отметить простоту обработки результатов их выполнения, что в рамках массового обучения имеет особую ценность. Перечислим ряд других ценнейших дидактических качеств тестов выбора.

1. Приводимые наборы ответов к заданиям теста:

а) средство доведения до испытуемых новой для них учебной информации;

б) средство показа различных мнений по одному и тому же вопросу;

в) показ различных идей, принципов, на основе которых может решаться рассматриваемая проблема.

2. Наборы ответов к заданиям - это средство диагностики, поскольку появляется возможность в число альтернативных ответов включать конкретные ошибки, что позволяет установить причины их возникновения.

3. Появляется возможность обеспечить "обратную связь" в обучении, как и для испытуемого, а отсюда и возможность для внесения коррективов в обучение.

4. Работа с тестом выбора является эффективным средством развития мышления испытуемых, поскольку она по своей сути складывается из операций сравнения, поиска альтернатив.

Встречающееся мнение о том, что ознакомление испытуемых с ложными ответами нежелательно, что эти ошибки могут закрепиться в их памяти, несостоятельно. Наоборот, работа с такими ответами позволяет вскрыть ошибочные мнения и их разрушить.

Ответы к заданиям теста могут находиться в различных отношениях друг к другу:

- противопоставления, противоположности, когда выбор одного из них в качестве верного является утверждением ошибочности всех остальных;

- равноправия, когда верными могут оказаться несколько из предложенных ответов;

- дополнения друг друга, когда только несколько отобранных ответов в сумме дают законченный ответ на поставленный в задании вопрос.

Процесс составления педагогических тестов является делом исключительно ответственным и трудоемким. Поскольку они являются основой контроля, диагностики в управлении процессом обучения, то становятся понятными исключительно высокие требования к содержанию и форме тестов. Если сказать в самом общем виде, то тест должен быть пригодным (валидным) с точки зрения поставленных перед ним целей измерения. Понятие валидности (перевод слова с английского valid - годный, пригодный) трактуется довольно широко.

В теории тестирования различают два типа валидности: внешнюю и внутреннюю. Внешняя валидность присуща тестам, не имеющим сходных компонентов с оцениваемой системой. Внутренняя валидность свойственна тем тестам, которые содержат в себе компоненты оцениваемой педагогической системы.

Мера валидности теста определяется несколькими способами, например, сравнением с тестом-эталоном и сопоставлением с более объективными показателями, полученными другими методами.

Сопоставление с объективными показателями предусматривает сравнение достижений испытуемого в тесте с результатами, полученными с помощью экспертов. В этом случае обычно берутся оценки, выставляемые испытуемому преподавателями-экспертами традиционным образом, без использования тестов, после чего результаты по заданиям теста и по оценкам экспертов коррелируются. Если получены однотипные изменения общих результатов, то считается, что тест обладает валидностью. Мера согласованности указывает на меру валидности. Следует заметить, что тест нельзя назвать валидным или невалидным без указания сферы его применения.

Тест считается содержательно валидным, если аспекты измерения соответствуют целям тестирования (аспектная полнота теста). При этом основное внимание в тесте (наибольшее число заданий) уделено наиболее важным из аспектов измерения (тест сбалансирован). Наконец, последовательность, в которой расположены задания и ответы к ним, логически обоснованы, такой тест представляет собой единое целое (конструктивно целостный). В педагогических тестах, разрабатываемых для контроля, диагностики знаний, валидность по содержанию играет решающую роль.

Выбор критериев, по которым предстоит оценивать результаты работы испытуемых с тестом, должен быть безупречен (критериальная валидность), гарантируя надежность, объективность, обеспечивая нужную точность измерения, давая возможность разделить испытуемых (дифференцирующие возможности теста).

Считается, что к тестовым заданиям относятся те, которые отвечают одновременно трем требованиям - корректности содержания, форме и наличию системообразующих свойств. Первому требованию отвечают задачи, вопросы, и потому этот признак необходим, но не достаточен.

Тестовые задания представляют собой не вопросы и не задачи, а утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания . При разработке педагогических тестов придерживаемся данного утверждения. Традиционные вопросы не бывают ложными или истинными, а ответы на них бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты интеллектуальной энергии и преподавательского труда. В этом смысле традиционные вопросы и ответы не технологичны, вследствие чего их не рекомендуется включать в тест.

Задание в тестовой форме - это задания, к которым, помимо содержания, предъявляются требования тестовой формы, что делает их формулировки более лаконичными.

Самые жесткие требования предъявляются языку теста - однозначность его понимания испытуемыми, выразительность, лаконичность.

Таким образом, для разработки и применения в учебном процессе рассмотренных выше педагогических тестов необходимо учитывать объективные характеристики подготовительного процесса. А для этого нужно:

1. Выделить цели тестирования.

2. Отобрать педагогические ситуации.

3. Перевести (смоделировать) педагогические ситуации на язык учебных задач.

4. Переконструировать учебные задачи в тестовые задания.

5. Выбрать и оценить эталоны ответов.

6. Разработать план теста. (Предполагается раскладка необходимого числа заданий, исходя из общего предельного числа заданий разного уровня сложности).

7. Выделить аспекты тестирования.

8. Составить тест. (Эта работа должна проводиться опытными преподавателями).

9. Расположить задания в тесте с учетом системообразующих связей.

Следует отметить, что педагогический тест не может состоять из отдельных только легких или трудных заданий, он должен включать в себя задания различного уровня трудности, начиная с легкого и кончая трудным, на которые могут правильно ответить несколько испытуемых в тестируемой группе.

10. Проверить экспериментально разработанный тест.

В заключение следует отметить, что эффективность педагогического теста определяется творческим подходом составителей к разработке системы заданий, соответствующих конкретным целям тестирования.

При создании теста внимание разработчика, прежде всего, привлекают вопросы отбора его содержания, которое можно определить как оптимальное отображение учебной содержания дисциплины в системе тестовых знаний.

Требование оптимальности предполагает использование определенной методики отбора, которая должна включать вопросы целеполагания, планирования и оценки качества содержания теста.

Целеполагание на этапе планирования содержания теста

Этап целеполагания является самым трудным и вместе с тем самым важным. От его результата зависит качество содержания теста. На этом этапе преподавателю необходимо решить вопрос, какие результаты студентов он хочет оценить с помощью теста.

Проблема сегодняшнего дня состоит в том, что представления о наиболее общих целях контроля не позволяют непосредственно перейти к разработке средств измерения. Оказывается необходима промежуточная ступень, которую педагоги назвали предварительной операционализацией целей (этому закрученному выражению проще и лучше соответствует термин «конкретизация»).

Процесс конкретизации характеризуется рядом этапов, которые можно отобразить схематично на рис 1.

Состав требований к планируемым результатам обучения

В состав требований к планируемым результатам обучения обычно включают систему объектов изучения, описание видов учебной деятельности и качество усвоения учебного материала. Все это входит в систему научных знаний.

Первым компонентом требований системы научных знаний является характеристика объектов изучения с учетом глубины их освещения преподавателем и планируемого уровня усвоения студентами.

К элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценочные знания.

Представляет интерес структура умений предложенная проф. И.И.Кулибабой:

 Специальные, формирующиеся в процессе изучения отдельных дисциплин;

 Рационального учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, умения планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, умение управлять последней в процессе учения;

 Интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные дисциплины вуза.

За рубежом популярна следующая классификация целей обучения (или таксономия – по B.S. Bloom), которая представляет интерес для технологии разработки тестов:

1. Знание названий, имен, фактов.

2. Фактуальные знания.

3. Знание определений и понимание их смысла.

4. Сравнительные и сопоставительные знания.

5. Классификационные знания.

6. Знание противоположностей и противоречий, синомичных и антонимичных объектов.

7. Ассоциативные знания.

8. Причинные знания.

9. Алгоритмические, процедурные знания.

10. Обобщенные системные знания.

11. Оценочные знания.

12. Процессуальные знания.

13. Абстрактные знания.

14. Структурные знания.

15. Методологические знания.

Конкретизация учебных целей четко отражена в стандартах каждой специальности вуза. Профессор Кларин М.В. предлагает категории учебных целей в несколько измененном виде, в удобном для задач педагогического измерения (табл.1).

Обобщенные учебные цели (планирует преподаватель )	Конкретизируемые учебные цели (достигаются студентом)
Знания на уровне запоминания и воспроизведения	Знает смысл употребляемых терминов, Знает основные понятия и определения, Знает формулы, законы, принципы
Знания на уровне понимания	Понимает и интерпретирует термины, Интерпретирует понятия и определения, Преобразует словесный материал в математические выражения, Интерпретирует словесный материал на схемах и графиках
Умения по применению знаний в известной ситуации	Умеет применять термины, понятия и определения в знакомой ситуации по образцу, Умеет применять формулы, законы и принципы
Умения по применению знаний в незнакомой ситуации	Использует законы и принципы в новых ситуациях, Осуществляет перенос известных принципов на незнакомые ситуации
Анализ	Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, Выделяет скрытые предположения, Проводит различия между фактами и следствиями.
Синтез	Пишет рефераты, проекты и т.п. Предлагает план проведения эксперимента, Решает проблемы на междисциплинарном уровне путем переноса знаний из одной дисциплины в другую.
Оценка	Сопоставляет факты, Приводит оценочные суждения, Выбирает оптимальный вариант из предложенных к рассмотрению.

После определения целей тестирования и их конкретизации разрабатывается план теста и его спецификация. При разработке плана определяется раскладка процентного содержания разделов дисциплины и число заданий по каждому разделу.

Раскладку начинают с подсчета планируемого числа заданий в тесте, которое затем будет меняться в процессе работы над тестом в сторону увеличения или уменьшения. Предельное число заданий в тесте не должно превышать 60-80, поскольку на тестирование отводится время не более 2-х часов. На выполнение одного задания теста отводится примерно 2 минуты. План теста можно свести в табл. 2.

Табл.2 – Пример плана теста

	Контролируемое содержание (раздела, дисциплины)	Число заданий	Номера заданий
	Определение уравнений Эквивалентность уравнений ………………………………. ………………………………. ……………………………….

Спецификация теста

После выполнения планирования содержания теста разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутом виде. Спецификация теста в развернутом виде включает:

1. Цель создания теста. Обоснование выбора подхода к его созданию. Описание возможных сфер применения.

2. Перечень нормативных документов (стандарты специальности, базисные программ, требования к уровню подготовки выпускников.

3. Описание общей структуры теста, включающее перечень субтестов (если они имеются) с указанием подходов их разработки.

4. Количество заданий различной формы с указанием числа ответов к закрытым заданиям. Общее число заданий в тесте.

5. Число параллельных вариантов в тесте, либо ссылка на кластер, содержащая номера и количество заданий кластера.

8. Соотношение заданий по различным разделам и видам учебной деятельности.

10. Охват требований стандартов (для аттестационных тестов).

11. Перечень требований, не вошедших в тест (для аттестационных тестов).

12. Стратегия расположения заданий в тесте, рекомендуемая разработчиком.

Предположительно, эта спецификация – набор документов для регистрации теста.

Создание краткой спецификации основано на сопряжении знаний и умений с процентным соотношением заданий по различным разделам (содержательным линиям дисциплины), см. п.8. Пример реализации подобного сопряжения показан в табл.3. Перечень знаний и умений условно включены:

А - знание понятий, определений, терминов;

Б - знание законов и формул;

В - умение применять законы и формулы для решения задач;

Г- умение интерпретировать результаты на графиках и схемах;

Д-умение проводить оценочные суждения.

Табл.3 – Гипотетическая спецификация теста

	Планируемые к проверке знания и умения					Σ-заданий по каждому пункту
	Итого (строка и рассчитывается и заполняется первой

При заполнении ячеек таблицы в распределении заданий числа ставятся приближенно, и в процессе «обкатки» теста первоначальная раскладка может существенно измениться.

Спецификация, предлагаемая сотрудниками ИОСО РАН, основана на процентном соотношении заданий планируемых сообразно разделам дисциплины и видам предполагаемой деятельности испытуемого в процессе выполнения теста.

После отбора содержания теста для разработчика наступает этап создания предтестовых заданий. Грамотно их может сделать опытный преподаватель, -умеющий правильно выбрать форму предтестового задания для проверяемого учебного материала, -имеющий дополнительные знания по теории и методике создания педагогических тестов.

Формы предтестовых заданий

В отечественной и зарубежной научно-педагогической литературе предтестовые задания классифицируют на:

задания закрытой формы (с множественным выбором), в которых тестируемый выбирает правильный ответ из данного набора ответов;

задания открытой формы (задания на дополнение ), требующие от тестируемого самостоятельное получение ответа;

задания на установление соответствия (с множественным выбором), выполнение которых связано с выявлением соответствия между элементами двух множеств;

задания на установление правильной последовательности , в которых тестируемый должен указать порядок действий или процессов.

Требования к предтестовым заданиям

Аксиома 1 . При составлении предтестовых заданий опираются на общепринятые требования:

каждое предтестовое задание имеет свой порядковый номер, который может изменяться после объективной оценки трудности задания и выбора стратегии предъявления теста;

каждое предтестовое задание имеет эталон правильного ответа;

в предтестовом задании все элементы располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

предтестовые задания одной формы сопровождаются стандартной инструкцией, предваряющей формулировку заданий в тесте;

для каждого задания разрабатывается правило выставления дихотомической или политомической оценки;

предтестовое задание должно быть по форме предъявления и по времени выполнения достаточно кратким.

Аксиома 2. Процесс тестирования стандартизуется, если:

ни одному тестируемому не дается никаких преимуществ перед другими;

система подсчета баллов ко всем ответам тестируемых без исключения;

в тест включаются задания одной формы, либо разных форм с соответствующими весовыми коэффициентами, полученные статистическим путем;

тестирование различных групп испытуемых проводится в одинаковое время и сходных условиях;

группа тестируемых выровнена по мотивации;

все испытуемые отвечают на одни и те же задания.

Задания закрытой формы

Задания закрытой формы имеют недостаток в быстром рассекречивании и плохо удовлетворяют условию (аксиома 2,п.6.). В заданиях закрытой формы имеется основная часть, содержащая постановку проблемы, и готовые ответы, сформулированные разработчиком теста. Обычно правильным ответом бывает только один. Правдоподобные ответы называются дистракторами. Число дистракторов в задании, как правило, не более пяти (редко – 7). Дистрактор, называют неработающим, если ни один из тестируемых его не выбрал. Такой дистрактор убирают. Если разработчику трудно представить дистракторы, то используют два метода их получения:

1. Для получения правдоподобных дистракторов студентам предъявляются незаконченные списки вариантов выбора, с последующим использованием неправильных ответов;

2. Предъявление группе испытуемых заданий в открытой форме и последующим анализом типичных ошибок в дописанных ответах.

Тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из ответов с равной вероятностью.

Если тестирование производится с помощью бланков, то задания закрытой формы с одним правильным ответом сопровождаются инструкцией:

ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА.

При компьютерной выдаче заданий может быть инструкция вида:

НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА

Предтестовые задания в закрытой форме с одним правильным ответом выполняют по следующим правилам:

в тексте задания не должно быть двусмысленности и неясности формулировок;

основная часть задания формулируется из одного предложения из семи- восьми слов (желательно);

задание имеет простую синтаксическую конструкцию, одним придаточным предложением (желательно);

основная часть должна содержать как можно больше слов, оставляя для ответа не более 2-3 ключевых слов для данной проблемы;

ответы к одному заданию должны быть одной длины, либо правильный ответ может быть короче других в пределах задания;

исключаются все вербальные ассоциации , способствующие выбору правильного ответа с помощью догадки;

частота выбора одного и того же номера для правильного ответа в различных заданиях текста должна быть одинакова, либо этот номер может быть случайным;

основная часть задания освобождается от всякого иррелевантного материала;

основная часть формулируется в форме утверждения, которая обращается в истинное или ложное высказывание после подстановки одного из вариантов ответа;

из числа тестовых исключаются задания, содержащие оценочные суждения и мнения студента по какому-либо вопросу.

дистракторы должны быть равно привлекательными для испытуемых, не знающих правильного ответа;

ни один из дистракторов не может быть частично правильным ответом, превращающихся при определенных дополнительных условиях в правильны ответ;

из ответов исключаются все повторяющиеся слова путем ввода их в основной текст задания;

из числа неправильных исключаются ответы, вытекающие один из другого;

ответ одного задания не должен служить ключом к правильным ответам другого задания, т.е. нельзя использовать дистракторы из одного задания в качестве правильных ответов другого;

все ответы должны быть параллельными по конструкции и грамматически согласованы с основной частью задания теста;

если в задании имеются альтернативные ответы, то не следует их ставить рядом с правильным, ибо на них будет сразу сосредоточено внимание.

Создать тест, удовлетворяющий всем этим правилам невозможно. Но принято считать, что если тест удовлетворяет 9-10 рекомендациям, то он – рабочий.

Задания открытой формы (задания на дополнение)

В заданиях на дополнение готовые ответы не даются. Их должен получить тестируемый. Эти задания встречаются двух видов:

1. С ограничениями, налагаемыми на ответы, возможности получения которых соответствующим образом определены по содержанию и по форме представления;

2. Со свободно конструируемыми ответами, в которых испытуемые должны составить развернутый ответ в виде решения задачи или эссе.

Задания второго вида не имеют никаких ограничений на содержание и форму представления ответов. Эти задания близки к традиционным контрольным заданиям, и поэтому положительно воспринимаются большинством преподавателей. Но они требуют больших затрат на проверку и сложнее поддаются компьютеризации.

При ответе на открытое задание с ограниченным ответом испытуемый дописывает пропущенное слово, формулу, символ или число на месте прочерка. Разработка заданий на дополнение с ограниченным ответом подчиняются следующим правилам:

1. каждое задание должно быть нацелено только на одно дополнение, место которого обозначено точками или прочерком;

2. Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

4. Дополнения ставятся в конце задания или как можно ближе к концу;

5. После прочерка, при необходимости, указываются единицы измерения;

6. Текст задания должен иметь простую синтаксическую конструкцию и содержать минимальное количество информации, необходимое для правильного выполнения задания;

7. В тексте исключаются повторы и двойное отрицание.

Задания на установление соответствия

В заданиях на установление соответствия тестируемый должен показать знание связей между элементами двух множеств. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, а справа – элементы, подлежащие выбору. Возможно иное расположение. К заданиям прилагается стандартная инструкция состоящая из двух слов:

УСТАНОВИТЕ СООТВЕТСТВИЕ

При разработке заданий на соответствие руководствуются следующими правилами:

2. Элементы задающего столбца располагаются слева, а элементы выбора – справа;

3. Желательно, чтобы каждый столбец имел определенное название, обобщающее все элементы столбца;

4. Необходимо, чтобы правый столбец содержал несколько дистракторов (лучше, когда их в 2 раза больше);

5. Необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;

6. Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста;

7. В дополнительной инструкции к заданию необходимо сообщить испытуемому о наличии дистракторов в правом столбце, и сколько раз используется каждый элемент правого столбца (один или более);

8. задание располагается на одной странице, без переноса его элементов на другую.

Основная трудность в разработке такого вида тестов связана с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого избыточного элемента устанавливается эмпирически.

Задания на установление правильной последовательности

Задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п., которые приводятся в случайном порядке. Испытуемый должен установить правильный порядок действий, процессов и указать его с помощью цифр (алгоритм сортировки). Инструкция к заданиям имеет вид:

Эти задания специфичны. Содержание многих дисциплин сложно трансформировать в задания этой формы.

Сравнительная характеристика форм предтестовых заданий.

Выбор форм предтестовых заданий определяется спецификой содержания учебной дисциплины, целями создания и применения теста.

Легко организовать компьютерный сбор и анализ результатов теста в том случае, когда все задания имеют закрытую форму. Результаты выполнения заданий на дополнение с ограниченным, а тем более с открытым ответом требуют ручной обработки. Потребуется и привлечение экспертов.

В каждом тесте можно использовать несколько форм, но желательно, чтобы их было в одном тесте как можно меньше. Этим отличаются профессиональные тесты. Требование единства формы очень важно при создании итоговых тестов. С другой стороны, требование моноформости не всегда выполнимо, поэтому часто приходится идти на совмещение форм, что негативно отражается на точности измерений.

Для облегчения проблемы выбора результаты сопоставительного анализа двух первых форм сведены в табл. 4.

Табл. 4.- Сопоставительный анализ предтестовых заданий

Технологические характеристики форм	задания закрытой формы	задания открытой формы
с ограничением ответа	со свободным ответом
Проверка фактологического материала			пригодны
Проверка умений применения знаний по образцу (репродуктивный уровень)
Проверка умений применения знаний в незнакомой ситуации (продуктивный уровень)
Простота в конструировании
Исключение эффекта угадывания
Объективность в оценке результата выполнения		зависит от качества задания	оценка субъективна
Исключение ошибок испытуемых при написании ответов			на оценку влияет фактор самовыражения
Возможность оригинального ответа

Пример тестового задания четвертой формы

УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ

Для создания системы тестового контроля в учебном заведении по месту работы необходимо:

создать банк тестовых заданий

разработать программно-инструментальные средства

провести с преподавателями своего учебного заведения занятия по методике конструирования тестов

выдать тесты учащимся для сбора эмпирических данных

доложить руководству о результатах обучения

сформировать коллектив преподавателей - разработчиков тестов

приступить к созданию тестов

интерпретировать результаты обработки

внимательно разобрать и осмыслить содержание прослушанных лекций по методике конструирования тестов.

ЛИТЕРАТУРА:

Аванесов B.C. Научные проблемы тестового контроля знаний. Учебное пособие. М., 1994. - 135 с.

Гуревич К.М. Методы тестирования в дидактических исследованиях. Методы педагогических исследований. М., 1979. С. 139 - 158.

Бернштейн М.С. К методике составления и проверки тестов. Вопросы психологии. 1968. N 1. С. 51-66.

Аванесов B.C. Основы научной организации педагогического контроля в высшей школе: Учебное пособие для слушателей Учебного центра. М., 1989. ≈ 107 с.

Психологическая диагностика: Учебное пособие. Научно-издательский центр Бийского пединститута, 1993. ≈ 324 с.

Энциклопедический словарь. Гл. ред. A.M. Прохоров. 3-е изд. М.: Советская энциклопедия, 1985. ≈ 1600 с.: ил.

Сосновский В.И., Тесленко В.И. Вопросы управления в обучении. Часть 1. (Педагогическое тестирование). Красноярск, 1995. ≈ 90 с.

Моделирование педагогических ситуаций: Проблемы повышения качества и эффективности общепедагогической подготовки учителя. Под ред. Ю.Н. Кулюткина, Г.С. Сухобской. М.: Педагогика, 1981. ≈ 120 с.: ил.

Майоров А.Н. Теория и практика создания тестов для системы образования. - М., "Интеллект центр", 2001. - 296 с.

Кузнецов А., Пугач В., другие. Тестовые задания. Информатика. Методическое пособие. М., Лаборатория Базовых знаний, 2002.

По созданию заданий закрытой формы. Помимо них, существуют задания на установление соответствия, задания на установление последовательности и задания открытой формы. Дмитрий Аббакумов, руководитель Лаборатории адаптивных образовательных технологий ВШЭ, делится практическими советами в новом выпуске рубрики.

Задания на установление соответствия

Такие задания содержат два параллельных списка. Первый обычно включает достаточно длинные позиции – это список условий. Испытуемый должен сопоставить каждую позицию из списка условий с позицией из списка ответов. Элементы списка ответов обычно формулируются лаконично. Преимуществами заданий на установление соответствия являются их компактность и возможность охвата большого количества проверяемых знаний. Однако они имеют и недостатки: при их конструировании трудно подобрать однородные списки, а сами задания стимулируют исключительно процессы запоминания фактов.

Задания на установление соответствия требуют очень чётких инструкций. Инструкции должны содержать информацию о том, на каком основании должно устанавливаться соответствие, а также может ли один ответ использоваться дважды или не использоваться вовсе.

Принципы составления заданий:

• Оптимальное задание содержит от 4 до 10 условий.
• По возможности составляйте задания так, чтобы количество условий не равнялось количеству ответов (это позволит сократить риск угадывания на последнем этапе работы с заданием).
• При необходимости организуйте условия в логической последовательности, например, в хронологическом порядке или по алфавиту.

Пример задания на установление соответствия:

(инструкция) Запишите в специальном поле для ответов букву, подходящую для каждого элемента из первого (нумерованного) списка. К каждому элементу из первого списка может относиться один элемент из второго списка.
(формулировка задания) При формировании представления о партнере по общению люди используют четыре основных механизма. В левом списке перечислены их названия, а в правом даны определения. Сопоставьте их между собой.

Задания на установление последовательности

Подобная форма заданий используется, когда требуется оценить знания этапов и событий какого-либо процесса. Эти задания также требуют чёткой инструкции, из которой должно быть понятно, в какой форме нужно фиксировать последовательность. Оптимально, если задание содержит от 3 до 7 элементов. А главным при конструировании таких заданий является то, чтобы используемая последовательность не являлась искусственной (например, известной и понятной только автору задания).

Задания открытой формы

Есть два типа заданий: с коротким ответом и с развернутым ответом. Задания с коротким ответом могут быть организованы как вопросы или как задания на дополнение. Задание-вопрос представляет собой конкретный вопрос, на который можно ответить одним словом, фразой, числом или символом. Задание на дополнение – это неполное утверждение, которое необходимо дополнить одним словом, фразой, числом или символом. Неоспоримым преимуществом заданий с коротким ответом является очень низкая вероятность угадывания. Недостатком является то, что при их конструировании необходимо учесть все варианты, которые могут быть правильными. Для задание с коротким текстовым ответом важно не забыть о нюансах согласования. А для заданий с числовым ответом – о количестве знаков после запятой или интервале значений.

При конструировании заданий с коротким ответом нужно избегать невольных подсказок, когда формулировка вопроса или утверждения наводит на правильный ответ; а также большого количества пропусков, так как тогда может потеряться смысл задания.

Задания с развернутым ответом предполагают, что ответ испытуемого на поставленный вопрос будет содержать несколько предложений или ответом будет законченный короткий текст. Эти задания позволяют оценить навыки интерпретации, анализа и оценки применительно к конкретным ситуациям. Их преимуществом является то, что они сочетают в себе разные мыслительные процессы, дают испытуемому возможность самому конструировать ответ, оценивают и развивают навыки письменной речи. Однако такие задания являются сложными и дорогостоящими с точки зрения проверки. Часто компьютер для таких заданий выполняет лишь функцию сбора ответов, а не их проверки. Для обеспечения объективности необходимо привлечение 2-3 экспертов. Тем не менее, важно отметить, что в настоящее время активно внедряются машинные способы проверки таких заданий, результаты которых сопоставимы с экспертными оценками, например, при проверке эссе в компьютерных тестах на знание английского языка.

• Используйте такие задания только в тех случаях, где оценка другими, более объективными способами, не применима.
• Убедитесь, что задание соотносится с целями обучения.
• Для заданий с ограниченным объёмом четко задайте объём и элементы содержания.
• Для заданий со свободным объёмом дайте четкие рекомендации по выполнению и оформлению, а также минимальные требования к содержанию.
• Установите время выполнения.

Пример неудачной формулировки задания с развернутым ответом:

Почему символы так важны в произведении «451 градус по Фаренгейту»?

Пример оптимизированной формулировки задания с развернутым ответом:

Символы очень важны в произведении «451 градус по Фаренгейту». Какие три, по Вашему мнению, являются наиболее важными в нём? Опишите их и выделите их роль и смысл в этом произведении.

Итак, мы разобрались в основных формах тестовых заданий, используемых в компьютерном тестировании. Следующий материал будет посвящен одному из важнейших этапов в разработке теста – экспертизе качества тестовых заданий.

При подготовке текста использовались материалы лекций академического руководителя магистерской программы «Измерения в психологии и образовании» к. психол. н. Екатерины Алексеевны Орел.

Дмитрий Аббакумов

Право. Установление соответствия.

1.Установите соответствие между правоохранительными органами и их функциями: к каждой позиции, данной в первом столбце, подберите соответствующую позицию из второго столбца.

А) консультация по юридическим вопросам

Б) представление клиентов в суде по гражданским делам

В) вынесение решений по подсудным делам

Г) помощь в составлении жалоб и заявлений правового характера

Д) проверка законности и обоснованности решений, вынесенных судами различных инстанций

Е) рассмотрение и вынесение решений по гражданским искам

1) адвокатура

2) суд

Ответ:

2. Установите соответствие между проступками и видами юридической ответственности. К каждой позиции, данной в первом столбце, подберите соответствующую позицию из второго столбца.

А) невыполнение условий договора займа

Б) опоздание на работу

В) прогул

Г) публичное оскорбление

Д) безбилетный проезд

1) гражданско-правовая

2) дисциплинарная

3) административная

Ответ:

3. Установите соответствие между видами юридической ответственности и отраслями права: к каждой позиции первого столбца, подберите соответствующую позицию из второго столбца.

А) штраф

Б) взыскание неустойки

В) компенсация морального вреда

Г) лишение специального права

Д) дисквалификация

Е) конфискация орудия совершения правонарушения

1) гражданское право

2) административное право

Ответ:

4. Установите соответствие между правоотношениями и отраслями права, которые их регулируют: к каждой позиции первого столбца подберите соответствующую позицию из второго столбца.

А) гражданин был принят на работу в должности механика

Б) суд установил опеку над несовершеннолетним

В) суд признал, что деяние было совершено в состоянии необходимой обороны

Г) гражданину был предоставлен ежегодный отпуск

Д) гражданин был признан виновным и приговорен к лишению свободы

1) трудовое право

2) семейное право

3) уголовное право

Ответ:

5. Установите соответствие между конкретной ситуацией и типом правоотношений, который она иллюстрирует: к каждой позиции, данной в первом столбце, подберите соответствующую позицию из второго столбца.

A) супруги открыли семейный ресторан

Б) автомобилист превысил разрешенную скорость в населенном пункте

B) отец и сын совершили разбойное нападение на инкассатора

Г) супруги подали в ЗАГС заявление о расторжении брака

Д) родители подарили сыну легковой автомобиль

1) уголовные

2) семейные

3) административные

4) гражданские

Ответ:

6. Установите соответствие между примерами и правами потребителя: к каждой позиции, данной в первом столбце, подберите соответствующую позицию из второго столбца.

A) гражданка не нашла на упаковке масла сведений о производителе товара

Б) гражданин приобрёл брюки, надел их один раз, а затем обнаружил, что несколько швов на брюках разошлись

B) гражданка начала использовать приобретённый фен, но аппарат сгорел у неё в руках, причинив ожоги

Г) гражданин обнаружил, что приобретённый им продукт представляет собой не растворимый кофе, как написано на этикетке, а кофейный напиток

Д) тушь для ресниц, приобретённая гражданкой, вызвала у неё сильную аллергию; экспертиза установила, что болезнь связана с использованием производителем некоторых запрещённых веществ

1) право на информацию о товаре

2) право на качественный товар

3) право на безопасность товара

Ответ:

7. Установите соответствие между проступками и их видами: к каждой позиции, данной в первом столбце, подберите соответствующую позицию из второго столбца.

А) переход дороги в неположенном месте

Б) порча чужого имущества

В) прогул работы

Г) нарушение договора мены

Д) нарушение правил пожарной безопасности

1) гражданский

2) административный

3) дисциплинарный

Ответ:

8. Установите соответствие между участниками уголовного судопроизводства и стороной, которую они представляют: к каждой позиции, данной в первом столбце, подберите соответствующую позицию из второго столбца.

Сторона уголовного судопроизводства

A) прокурор

Б) адвокат

B) следователь

Г) потерпевший

Д) обвиняемый

1) обвинение

2) защита

Ответ:

9. Установите соответствие между санкциями и видами юридической ответственности: к каждой позиции первого столбца подберите соответствующую позицию из второго столбца.

А) лишение специального права

Б) компенсация морального вреда

В) выговор

Г) увольнение

Д) штраф

Е) взыскание неустойки

1) дисциплинарная

2) гражданско-правовая

3) административная

Ответ:

10. Установите соответствие между примерами и элементами статуса налогоплательщика: к каждой позиции, данной в первом столбце, подберите соответствующую позицию из второго столбца.

A) Индивидуальный предприниматель представил в налоговый орган налоговую декларацию

Б) Индивидуальный предприниматель присутствовал при проведении выездной налоговой проверки

B) Гражданин потребовал возмещения в полном объёме убытков, причинённых незаконными действиями налоговых органов

Г) Гражданин получил своевременный зачёт суммы, излишне взысканной в предыдущем году в качестве налога на транспортное средство

Д) Гражданин уплатил налог на принадлежащий ему земельный участок

1) права

2) обязанности

Ответ:

Ответы:

	12233	Административная - вид юр-ой ответственности, к-я определяет обязательства субъекта претерпевать лишения государственно-властного характера за совершенное административное правонарушение. Гражданско-правовая - вид юр-ой ответ-ственности; установленные нормами гражданского права юридические последствия неисполнения или ненадлежащего исполнения лицом предусмотренных гражданским правом обязанностей, что связано с нарушением субъективных гражданских прав др. лица. Дисциплинарная - вид юр-ой ответственности, основным содержанием к-ой выступают меры (дисциплинарное взыскание), применяемые администрацией учреждения, предприятия к сотруднику (работнику) в связи с совершением им дисциплинарного проступка.
	211222	Санкции, предусмотренные гражданской ответственностью носят правовосстановительный характер. Их цель компенсировать причиненный ущерб, восстановить имущественные права. При административных правонарушениях ответственность выражается в штрафах, предупреждении, административном аресте, лишении спец-х прав, возмездном изъятии или конфискации орудия совершенного правонарушения, дисквалификации, административном выдворении за пределы страны.
	12313	Трудовое право - порядок принятия на работу, увольнения, заключения трудового договора. Семейное право - порядок вступления и расторжения брака, усыновления, опекунства. Уголовное право регулирует общественные отношения, связанные с совершением преступных деяний, назначением наказания и применением иных мер уголовно-правового характера, устанавливающая основания привлечения к уголов-ной ответственности, либо освобождения от уголовной ответственности и наказания.
	43124	A) супруги открыли семейный ресторан(предпринимательство) - гражданские. Б) автомобилист превысил разрешенную скорость в населенном пункте (нарушение ПДД) - административные. B) отец и сын совершили разбойное нападение на инкассатора (преступление) - уголовные. Г) супруги подали в ЗАГС заявление о расторжении брака - семейные. Д) родители подарили сыну легковой автомобиль - гражданские
	12313	А) право на информацию о товаре, покупатель должен знать всю информацию о товаре, т. к. это может повлиять на его здоровье. Б) право на качественный товар, товар должен быть качественным, так как потребитель тратит на это свои средства. B) право на безопасность товара, товар не должен причинять вред здоровью потребителя. Г) право на информацию о товаре, на этикетке кофейного напитка написано, что это растворимый кофе - дана неверная информация. Д) право на безопасность товара, товар не должен быть опасен.
	21312	Административный проступок - противоправное, виновное (умышленное или неосторожное) действие либо бездействие должностного лица, посягающее на личность, права и свободы человека и гражданина, здоровье и санитарно-биологическое благополучие населения, общественную нравственность, окружающую среду, установленный порядок осуществления государственной власти, общественный порядок и общественную безопасность, собственность, законные экономические интересы физических и юридических лиц, общество и государство, за которое законодательством предусмотрена административная ответственность. Дисциплинарный проступок - противоправное, виновное неисполнение, или ненадлежащее исполнение работником возложенных на него трудовых обязан-ностей, влекущее за собой применение дисциплинарного или общ-го воздействия, а также иных мер правового воздействия, предусмотренных в законодательстве о труде. Гражданские - правонарушения, совершаемые в сфере имущественных и личных неимущественных отношений, выражающиеся в нанесении организациям или отдельным гражданам имущественного вреда, состоящего в неисполнении обяза-тельств по договору, в распространении сведений, порочащих честь и достоинство гражданина.
	12112	Прокурор в уголовном процессе выполняет две взаимосвязанные функции: осуществляет уголовное преследование и надзирает за процессуальной деятель-ностью органов предварительного расследования. Однако властно-распорядитель-ные полномочия при осуществлении надзорной деятельности прокурор сохранил только в отношении дознавателя. В отношении же следователя подобные полномо-чия прокурора перешли к начальнику следственного органа. УПК существенно ограничил полномочия прокурора и по участию в уголовном преследовании на досудебном производстве. Следователь - должностное лицо, уполномоченное в пределах своей компетенции осуществлять предварительное следствие по уголов-ному делу. Потерпевшим является физическое лицо, к-му преступлением причинен физический, имущественный, моральный вред, а также юр. лицо в случае причине-ния преступлением вреда его имуществу и деловой репутации. Решение о признании потерпевшим оформляется постановлением дознавателя, следователя или суда. Обви-няемый - лицо, в отношении к-го вынесено постановление о привлечении в качестве обвиняемого или обвинительный акт. Адвокат - допускается к участию в уголовном деле в качестве защитника по предъявлении удостоверения адвоката и ордера.
	321132	Дисциплинарная - вид юр-ой ответственности, основным содержанием к-ой высту-пают меры (дисциплинарное взыскание), применяемые администрацией учреждения, предприятия к сотруднику (работнику) в связи с совершением им дисциплинарного проступка. Административная - вид юр-ой ответственности, к-ая определяет остоя-тельства субъекта претерпевать лишения государственно-властного характера за совершенное административное правонарушение. Гражданская - вид юр-ой ответственности; установленные нормами гражданского права юридические послед-ствия неисполнения или ненадлежащего исполнения лицом предусмотренных гражданским правом обязанностей, что связано с нарушением субъективных гражданских прав другого лица.
	21112	Налогоплательщики имеют право: получать от налоговых органов бесплатную информацию о действующих налогах и сборах; получать от Министерства финансов РФ письменные разъяснения по вопросам применения законодательства РФ о налогах и сборах; использовать налоговые льготы при наличии оснований; получать отсрочку, рассрочку, налоговый кредит или инвестиционный налоговый кредит; на своевременный зачет или возврат сумм излишне уплаченных либо излишне взысканных налогов, пени; представлять свои интересы в налоговых правоотношениях лично либо через своего представителя; представлять налоговым органам и их должностным лицам пояснения по исчислению и уплате налогов, а также по актам проведенных налоговых проверок; присутствовать при проведении выездной налоговой проверки; требовать от должностных лиц налоговых органов соблюдения законодательства о налогах и сборах при совершении ими действий в отношении налогоплательщиков; не выполнять неправомерные акты и требования налоговых органов, иных уполномоченных органов и их должностных лиц, не соответствующие Налоговым Кодексу или иным федеральным законам; обжаловать в установленном порядке акты налоговых органов, иных уполномоченных органов и действия (бездействие) их должностных лиц; требовать соблюдения налоговой тайны; требовать в установленном порядке возмещения в полном объеме убытков, причиненных незаконными решениями налоговых органов или незаконными действиями (бездействием) их должностных лиц.

Подготовка к ЕГЭ. Гудзишевская Н.В. МБОУ СШ №1 г. Вилючинск