Первое, на чем надо остановиться, рассматривая классификацию тестов, это два подхода, которые в настоящее время сложились в тестировании – тесты, ориентированные на критерий (критериально-ориентированные), и тесты, ориентированные на норму (нормативно-ориентированные).

Критериально-ориентированный тест позволяет оценить, насколько учащиеся достигли заданного уровня знаний, умений и отношений, например, определенного как обязательный результат обучения (образовательный стандарт). В данном случае оценка конкретного ученика не зависит от того, какие результаты получили другие ученики. Результат будет показывать, соответствует ли уровень достижений данного ученика социально-культурным нормам, требованиям стандарта или другим критериям. При данном подходе результаты могут интерпретироваться двумя способами: в первом случае делается вывод о том, освоен или не освоен проверяемый материал (достиг стандарта или нет), во втором – дается уровень или процент освоения проверяемого материала (на каком уровне освоен стандарт или какой процент из всех требований стандарта усвоен).

Нормативно-ориентированный тест ориентирован на статистические нормы, определяемые для данной совокупности учащихся. Учебные достижения отдельного ученика интерпретируются в зависимости от достижений всей совокупности учащихся, выше или ниже среднего показателя – нормы. Происходит распределение учащихся по рангам. Независимо от того, какая шкала используется при этом, все эти шкалы не дают информации об овладении учащимися определенной системой знаний и умений или о достижении ими конкретных целей обучения. Данный подход не соотнесен с содержанием процесса обучения.

Хорошо иллюстрирует разницу в критериально-ориентированных и нормативно-ориентированных тестах схема, предложенная В. С. Аванесовым. Для критериально-ориентированной интерпретации вывод выстраивается вдоль логической цепочки: задания → ответы → выводы о соответствии испытуемого заданному критерию.

Для нормативно-ориентированной ориентации вывод достраивается рейтингом: задания → ответы → выводы о знаниях испытуемого → рейтинг, понимаемый как вывод о месте или ранге испытуемого.

В современных тестах, ориентированных на норму, обычно объединяют задания в определенные группы (кластеры), выполнение которых позволяет описать достижения учащихся по отношению к определенным целям или темам (критериям) обучения. Результаты выполненных заданий позволяют сравнивать различные группы друг с другом и проводить аналогию внутри одной группы.

Критериально-ориентированные тесты определяют, насколько каждый испытуемый владеет знаниями и навыками, необходимыми для выполнения каких-либо учебных или профессиональных задач. Некоторые тесты больше подходят для диагностики развития того или иного качества, умения, навыков, однако сложнее поддаются стандартизации и количественным измерениям.

Нельзя не согласиться с А. Н. Майоровым, который указывает, что термины «нормативные» (нормативно-ориентированные), «критериальные» (критериально-ориентированные) тесты не являются строго корректными. В основе каждого нормативного теста лежат определенные критерии оценивания правильности ответа, и, в свою очередь, каждый критериальный тест должен отвечать на вопрос о том, достигнуты ли при тех или иных его показателях минимально требуемые цели (на данном этапе обучения, в данных конкретных условиях). Однако эта терминология в современной зарубежной и отечественной педагогике и психологии уже является общепринятой и отвечает целям тестирования.

Психологи, занимавшиеся разработкой критериальных тестов, отмечают, что определение задания в качестве критериального обусловлено двумя факторами. Первый заключается в том, что представленный в задании материал позволяет дать обобщенную совокупность знаний и умений, относящихся к внутренне завершенной области учебной или профессиональной деятельности. Второй фактор – возможность представить систематизированный перечень умственных действий, обеспечивающих его выполнение. Ни нормативные, ни критериальные тесты не идеальны. Нормативные тесты критикуют в основном за недостаточную репрезентативность выборок их валидизации и социокультурные аспекты формулировки заданий теста. Зачастую эта критика справедлива, однако сейчас при решении многих диагностических задач в педагогике без нормативных тестов не обойтись, тогда как большинство трудностей критериального тестирования в педагогике связано с тем, что далеко не все учебные предметы имеют профессиональный аналог в каком-либо виде деятельности, связанной с той предметной областью, на которую ориентирован тест.

В последнее время наметилась тенденция объединения двух подходов (критериально-ориентированного и нормативно-ориентированного) при оценке образовательных достижений и использовании в одном инструментарии (например, тесте) характеристик как тестов, ориентированных на норму, так и тестов, ориентированных на критерии.

Стремление объединить два подхода к разработке инструментария можно проиллюстрировать следующими примерами. В соответствии с классической схемой тест для итогового контроля должен разрабатываться в рамках нормативно-ориентированного подхода. Однако итоговые тесты, оценивающие достижение стандарта, предлагается разрабатывать в рамках критериально-ориентированного подхода. По мнению некоторых ведущих специалистов мира (Р. Вуд, В. Ангофф), основная характеристика критериально-ориентированного теста заключается не в наличии проходного критерия (прошел – не прошел, достиг – не достиг), а в тщательном описании проверяемого содержания, разработке теста в строгом соответствии с этим содержанием и описании результатов выполнения тестов в терминах, что освоено из проверяемого содержания. В настоящее время понятия «критериально-ориентированный подход» или «тест» заменяются понятиями «ориентированный на содержание» («сопtеnt-геfегеnсеd») и «ориентированный на цели или требования к уровню подготовки» («оbjective- геfегеnсеd»).

Процедура их разработки предусматривает установление норм выполнения через предварительное тестирование репрезентативной выборки лиц, для которых эти тесты предназначены. При этом выделяют диапазон тестовых баллов, характерный для низкого, среднего и высокого уровней развития психического свойства или функции. Затем результаты исследуемого сравнивают с данными, полученными при тестировании выборки. Задача, ориентированные на статистическую норму, подбирают так, чтобы результаты их выполнения выборке приближались к кривой нормального распределения Гаусса (рис. 1.2):

Рис. 1.2. Кривая нормального распределения статистических данных

Описание распределения результатов можно осуществить с помощью следующих двух показателей: среднее арифметическое (X):

Нормальным считают такое распределение результатов, при котором в пределах одного стандартного отклонения находится

68% испытуемых (то есть 34% меньше среднего, 34% больше среднего). Тогда в пределах двух стандартных отклонений останется 94,45% испытуемых, а в пределах трех стандартных отклонений - почти все (99,73%). Это необходимо для классификации исследуемых по всей популяции.

Для удобства работы "сырые" баллы превращают в стандартные единицы. Сохраняя относительные позиции испытуемых, меняют среднее арифметическое и стандартное отклонение путем добавления некоторой константы к каждой отдельной величины. В психологии распространено использование нескольких таких шкал стандартных норм: "Шкала Т-величин" имеет среднее арифметическое 50 и стандартное отклонение 10, "Шкала коэффициента" интеллекта имеет среднее, равное 100, со стандартным отклонением 15.

Для интерпретации этих показателей берут за основу то, что все результаты, которые не выходят за пределы (х ± о), находятся в пределах нормы. Лица, которые по тест интеллекта получили значение IQ меньше 85, находятся ниже нормы, а те, чьи результаты более 115 - выше нормы. Результаты от 115 до 130 интерпретируются как "несколько выше нормы", а от 130 до 145 - "значительно выше нормы". Согласно классифицируются и результаты, которые находятся ниже нормы.

Критериально-ориентированные тесты (корт)

Они не предусматривают сопоставление данных исследуемых итогам предварительного тестирования выборки. Точкой отсчета выбирают не нормальное распределение, а установленный объем требований общества к психическому и личностного развития людей. Этот обобщенный феномен выражается в разработанной составителями совокупности конкретных критериев. При формулировке каждого такого критерия выделяют две части:

2) сообразно-предметную, подробно описывает определенный фрагмент содержания знания, по материалам которого сложены Тестовые задания. Эта часть конкретизируется при анализе составителями учебных программ, образовательных стандартов, входящих в учебно-методических пособий и указаний.

Первая часть критерия определяет, как надо сделать работу (как), вторая - что нужно сделать с предназначенного для усвоения (материал).

Не каждого отрасль знания можно последовательно формализовать для выражения по совокупности критериев. Корте, как правило, разрабатываются для диагностики сформированности умственных действий, а также для контроля за состоянием знаний, умений и навыков обучаемых. По мнению А. Анастази, в таких случаях их применение позволяет осуществлять интерпретацию учитывая то, "что индивид может делать и что он делает, а не на то, как он выглядит на фоне других". Более распространены тесты, интерпретация выполнение которых ориентирована на статистическую норму.

Тесты различают также по характеру задач, количеством испытуемых, время выполнения.

В психодиагностической практике широко применяют личностные опросники.

Личностные опросники - опросники, направленные на измерение различных особенностей личности.

Прототипом современных личностных опросников считают разработанный Р. Вудвуртсом (1919) "Бланк данных о личности", предназначен для обнаружения на военной службе лиц с невротической симптоматикой.

Задача у них сформулированы как вопрос или утверждение. Испытуемый должен дать письменные или устные ответы, сообщить информацию о себе, выразить отношение к проблеме, сформулировать мысли. Такие опросники предусматривают выполнение исследуемым субъективного самоотчета. От анкет личностные опросники отличают направленность на изучение психологических особенностей; стандартизация процедур применения и интерпретации; опора на определенную научную концепцию, теорию; наличие норм выполнения или соответствующих критериев развития, в отношении которых осуществляется стандартизация индивидуальных результатов; проверка степени валидности и надежности.

Эти признаки, а также творческая постановка вопросов, маскирует диагностическую специфику, тщательное разработки контроля достоверности и искренность ответов («шкалы лжи") позволяют считать их "тестами-опросник", а не методиками самонаблюдения или традиционного опроса. Примерами таких тестов-опросников является "Миннесотский многоаспектный личностный опросник" (ММРИ) (С. Хатуэй, Дж. Мак-Кинли, 1940), который используется до сих пор; "Патохарактерологический диагностический опросник" (ПДО) (А. Личко, 1970) для определения психопатического развития личности и акцентуаций характера; "Методика многофакторного исследования личности Р. Кеттела" (16-РР) и другие.

Эффективное использование различных тестов возможно при условии учета многих факторов при их выборе для исследования, среди которых важнейшими являются: теоретическая концепция, на которой основывается конкретный тест, область применения, весь комплекс сведений, обусловленных стандартными требованиями к психологическим тестам, данные о валидности и надежности тестов. Важно наличие информации о социальную среду личности, без которой невозможен прогноз, что приводит к разработке инструментов психодиагностики среды.

Критериально-ориентированные тесты – тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это основное отличие критериальноориентированных тестов от традиционных психометрических тестов, оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму). Термин «критериально-ориентированные тесты» предложен Р. Гласером в 1963 г. Установление содержательного и структурного соответствия заданий теста и реальной задачи – важнейший этап разработки критериально-ориентированных тестов. Этим целям служит так называемая спецификация, включающая:

2) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;

3) образцы тестовых заданий и описание стратегии их конструирования.

Различают две разновидности критериально-ориентированных тестов:

1) тесты, задания которых гомогенны, т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тесты разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;

2) тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода критериально-ориентированные тесты обычно используются для диагностики специфических трудностей в обучении. Существенной особенностью критериально-ориентированных тестов является то, что в них индивидуальные различия сводятся к минимуму (индивидуальные различия влияют на длительность усвоения, а не на конечный результат). Поэтому критериально-ориентированные тесты лучше всего приспособлены для оценки развития основных навыков на элементарном уровне. В более сложных областях поведения предела достижений не существует, и исходя из этого необходимо обращаться к оценкам, ориентированным на нормы.

Сегодня за рубежом разработаны тесты, выполнение заданий которых можно соотносить как с критериями, так и с нормами. Необходимо учитывать и то, что нормы неявно присутствуют в критериально-ориентированных тестах, ибо выбор содержания или навыков, подлежащих измерению, предполагает наличие сведений о том, как в подобных ситуациях действовали другие обследуемые ( А. Анастази , 1982). Исходя из этого наиболее перспективным представляется объединение критериально-ориентированного подхода с традиционным психометрическим.

А. Анастази (1982) правомерно считает, что акцент критериальноориентированных тестов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированных тестов непригодны в большинстве случаев обычные приемы определения валидности и надежности.

В отечественных исследованиях имеется опыт создания критериально-ориентированных тестов ( Е. И. Горбачева , 1985). Кроме того, осуществляется разработка методик, близких критериальноориентированным тестам, но ориентированных не на критерий, а на так называемый социально-психологический норматив или общественно-заданный объективный содержательный эталон (Школьный тест умственного развития). Также исходя из социально-психологического норматива анализируются результаты, полученные с помощью известных психометрических тестов.

Пример.

Тест может иметь высокую надежность, но низкую валидность. Тест с высокой валидностью обязательно имеет высокую надежность. Если тест имеет низкую валидность, то применять его нельзя, даже если он имеет высокую надежность.

Понятия надежности и валидности педагогического теста чрезвычайно важны, поскольку именно они характеризуют тест как измерительный инструмент. Тест с неизвестными надежностью и валидностью непригоден для измерения. Когда преподаватель, разработав тест, проводит тестирование, то полученные результаты следует интерпретировать (например, для ранжирования испытуемых) очень осторожно, так как неизвестны надежность и валидность вновь составленного теста.

Педагогическое тестирование широко применяется для контроля знаний учащихся в различных целях. По целям применения педагогических тестов их можно разделить на два больших класса - нормативно - ориентированные и критериально - ориентированные.

НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ тест позволяет ранжировать испытуемых по уровню знаний. Такой тест позволяет сравнивать учебные достижения испытуемых друг с другом.

Целью нормативно-ориентированного теста является упорядочение испытуемых по уровню их подготовленности. В результате может оказаться, что все испытуемые плохо справились с тестом - получили низкие индивидуальные баллы. Тем не менее, и в этом случае можно ранжировать испытуемых - кто-то получил низкий балл, а кто-то еще ниже. Возможны случаи, когда какое-то задание не дифференцирует испытуемых, например, задание легкое и все успешно на него ответили. И наоборот, очень трудное задания и все на него не ответили. Такие задания не позволяют провести ранжирование и, поэтому, должны быть удалены из теста. Если все испытуемые не ответили ни на одно задание, или верно ответили на все задания, то нормативно-ориентированный тест не работает, так как не позволяет достичь поставленной цели и подлежит дальнейшей переработке. Отметим, что, возможно, этот тест неплохо будет работать как критериально-ориентированный.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах прошлого века, то есть значительно позже нормативно-ориентированных. Критериально-ориентированные тесты в свою очередь делятся на тесты, ориентированные на предметную область, и квалификационные тесты.

Целью критериально-ориентированного теста является выяснение - знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.

В дальнейшем нам потребуются следующие определения:

Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися.

Теперь перейдем к сравнению нормативно-ориентированных и критериально-ориентированных тестов.

Внешне оба типа тестов имеют много общего - в них используются тестовые задания сходные по форме, эти задания сопровождаются похожими инструкциями, выполняются задания одинаковым образом. Но, несмотря на внешнюю схожесть, это совершенно разные тесты. Они имеют следующие различия.

1. ЦЕЛЬ СОЗДАНИЯ ТЕСТА. Нормативно-ориентированные тесты создаются специально для того, чтобы сравнить испытуемых в той области содержания, для которой тест предназначен. Эти тесты можно использовать, например, для отбора абитуриентов при поступлении в вузы. В тех случаях, когда конкурс составляет несколько человек на одно место, возникает проблема ранжирования испытуемых с тем, чтобы выбрать наилучших.

Критериально-ориентированные тесты нужны для аттестации испытуемых в определенной области содержания. Такие тесты используются в итоговом тестировании, например по завершении обучения в среднем общеобразовательном учреждении. Здесь важно выяснить - усвоена ли в надлежащем объеме школьная программа. Вопросы ранжирования тут не играют большой роли.

Если критериально-ориентированные тесты использовать в качестве нормативно-ориентированных, то ввиду малой дисперсии тестовых результатов, эти результаты будут отличаться низкой надежностью. Справедливо и обратное - применение нормативно-ориентированных тестов в критериально-ориентированном тестировании также даст малонадежные результаты. Это обусловлено сильной вариацией тестовых заданий по трудности в нормативно-ориентированном тесте.

2. УРОВЕНЬ ДЕТАЛИЗАЦИИ ОБЛАСТИ СОДЕРЖАНИЯ.

Разработка теста начинается с создания его спецификации и эти спецификации для обоих типов тестов сильно отличаются. Спецификации критериально-ориентированных тестов гораздо детальнее описывают элементы области содержания, поскольку это позволит адекватно интерпретировать результаты тестировании. Для нормативно-ориентированных тестов уровень детализации области содержания гораздо ниже. Для этих тестов гораздо важнее получить вариативные тестовые задания.

3. СТАТИСТИЧЕСКАЯ ОБРАБОТКА результатов тестирования. Шкалированные баллы нормативно-ориентированного тестирования основываются на тестовых нормах, полученных на «выборках стандартизации». При критериально-ориентированном тестировании тестовые баллы не связаны с какой-либо нормативной группой испытуемых. Обычно тестовый балл отражает долю правильно выполненных заданий и выражается в процентах.

4. АНАЛИЗ И ОТБОР ТЕСТОВЫХ ЗАДАНИЙ.

Для нормативно-ориентированных тестов большое значение имеют статистические характеристики - уровень трудности задания, его дифференцирующая способность. Если задание имеет средний уровень трудности и высокую дифференцирующую способность, то оно считается хорошим для нормативно-ориентированного теста.

Эти статистические характеристики не имеют большого значения для критериально-ориентированного теста. Здесь главным критерием для включения задания в тест является соответствие специфике и элементу области содержания.

5. РАСПРЕДЕЛЕНИЕ ИСПЫТУЕМЫХ по индивидуальным баллам имеет различный характер для обоих видов тестов. Для нормативно-ориентированного теста кривая распределения симметрична и близка к гауссовой кривой. В случае критериально-ориентированного теста эта кривая несимметрична и обычно сдвинута в область высоких индивидуальных баллов.

6. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.

Поскольку цели нормативно-ориентированного и критериально-ориентированного тестирования различны, то и интерпретация полученных данных будет различной.

Результаты нормативно-ориентированного тестирования интерпретируются на основе статистически обоснованных тестовых норм. При этом имеется возможность определить положение испытуемого относительно нормативной группы. Информации же о том, какие как усвоены те или иные разделы, элементы области содержания, нормативно-ориентированный тест дает мало.

Результаты критериально-ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста.

Ниже приведена таблица, содержащая сравнение характеристик обоих типов тестов.

Таблица. Сравнительные характеристики нормативно-ориентированных и критериально-ориентированных тестов

Нормативно - ориентированные тесты	Критериально - ориентированные тесты
1. Цель тестирования: возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. Пример использования: конкурсный отбор кандидатов на обучение.	1. Цель тестирования: возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания. Пример использования: итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров.
2. Используемые шкалы: нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале.	2. Используемая шкала - в основном, шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особое внимание уделяется методики оптимального выбора критериального балла (или баллов).
3. Распределение индивидуальных баллов: близко к нормальному, в большинстве случаев имеет симметричный вид.	3. Распределение индивиду-альных баллов: произвольное, в большинстве случаев асим-метричное и имеет несимметричный вид.
4. Уровень детализации области содержания - несущественен. Авторы теста выбирают наиболее значимые элементы содержания.	4. Уровень детализации области содержания - подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по этой спецификации разрабатываются задания.
5. Нормативная группа испытуемых обязательна. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе.	5. Нормативная группа испытуемых не является необходимой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается шкале процентов.
6. Статистический анализ и отбор тестовых заданий. Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий.	6. Статистический анализ и отбор тестовых заданий. Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статисти-ческие характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла.
7. Надежность теста. Оценивается либо путем нахождения корреляциимежду результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании.	7. Надежность теста. Оценивается степенью постоянства принятия решения «зачет – незачет» при двукратном тестировании.
8. Валидность. Наряду с содержательной валидностью для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности.	8. Валидность. Особое внимание уделяется содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность.

Подытоживая, отметим, что нормативно-ориентированные и критериально-ориентированные тесты сильно отличаются друг от друга. При использовании тестов необходимо придерживаться следующих правил:

1) нельзя использовать критериально-ориентированный тест в качестве нормативно-ориентированного и наоборот;

2) нельзя использовать один и тот же тест и в качестве нормативно-ориентированного и в качестве критериально-ориентированного.

Нарушение этих правил приводит к получению тестовых результатов, обладающих низкой надежностью и большой ошибкой измерения.

Лекция 8. Педагогические тесты, их виды и предназначение.

1.Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях.

2.Задачи тестирования и виды тестов.

3.Классификация видов педагогических тестов.

4.Понятийный аппарат: предтестовое задание, тестовое задание, педагогический тест.

1. Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях

Общие подходы к интерпретации результатов педагогических измерений. При педагогических измерениях интерпретация баллов учащихся может иметь различный характер в зависимости от того, каким способом сравниваются оценки учеников. Согласно одному подходу проводится сопоставление баллов каждого учащегося с результатами определенной группы – выборки учащихся, выпол­нявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативно-ори­ентированный подход). Согласно другому подходу результаты испытуемых интерпретируются по отношению к содержательной об­ласти, включенной в тест и снабженной определенными крите­риями выполнения (критериально-ориентированный подход).

Оба подхода дают информацию о подготовленности учащихся, однако она имеет различный характер. В соответствии с этими под­ходами к интерпретации результатов тестирования выделяют нор­мативно-ориентированные и критериально-ориентированные те­сты.

Нормативно-ориентированный подход и нормы. Стандартизация тестов . Основная цель нормативно-ориентированного тестирова­ния заключается в дифференциации испытуемых по результатам выполнения теста. При интерпретации результатов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более силь­ной группы. Для корректной интерпретации результатов тестиро­вания балл каждого учащегося необходимо сравнивать с нормами выполнения теста.

Нормы – это совокупность показателей, отражающая резуль­таты выполнения теста четко определенной выборкой испытуе­мых – релевантной нормативной группой, репрезентативно пред­ставляющей генеральную совокупность тестируемых учащихся . К нормам обычно относят среднее значение тестовых бал­лов и показатель разброса (вариативности) вокруг среднего зна­чения всех остальных баллов, полученных представительной вы­боркой тестируемых учащихся, (методы подсчета среднего значения и показателей вариативности, приведены в главе 9). Имея нор­мы можно установить положение каждого результата по отноше­нию к среднему баллу по тесту, посмотреть, насколько результат учащегося выше или ниже среднего.

Процесс определения норм называется, стандартизацией тес­та. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой – обязательный момент при определении норм теста.

Относительность норм и выборка стандартизации . Тестовых норм, пригодных для интерпретации результатов всех учащихся по лю­бым тестам; не существует. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью ис­пытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент созда­ния теста и подлежат систематическому, обновлению и перепро­верке.

К нормам предъявляют следующие требования:

Нормы должны быть дифференцированными. Например, тес­ты для общеобразовательных и профильных школ необходимо стандартизовать на различных выборках, в результате чего полу­чатся, скорее всего, существенно различающиеся нормы;

Нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из со­временной ситуации в образовании;

Нормы должны быть репрезентативными, поэтому они все­гда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации (федеральной – для ЕГЭ, муниципальной – для аттестации школ, внутришкольной – для аттестации учащихся в школе).

«Норма» – относительное понятие, тесно связанное с каче­ством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стан­дартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные – объем и представительность, обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста.

Стратификация выборки. Для равномерного представления раз­личных групп учащихся в популяции испытуемых используют спе­циальный процесс – стратификацию. Стратификация – расслое­ние выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности учащихся . Обычно в качестве оснований для стратификации выделяют факторы, наиболее связанные с переменной измерения. В ЕГЭ к числу таких факторов можно отнести социальное положение родителей выпускника, регион, где рас­положена школа, ее принадлежность к числу сельских или город­ских школ и т.д.

Наличие многих факторов стратификации, необходимость ана­лиза пропорций генеральной совокупности испытуемых, прове­дение апробационного тестирования для определения норм дела­ют работу по стандартизации тестов довольно дорогостоящей и трудоемкой процедурой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нор­мами с помощью IRT , банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста.

Информация, прилагаемая к стандартизированным тестам . К стандартизованному тесту необходимо приложить:

Нормы выполнения теста, которые определяются на выборке стандартизации;

Объем выборки стандартизации, основания для ее стратифи­кации и временной период ее использования;

Необработанные результаты выполнения теста для выборки стандартизации.

Сопоставление норм по различным тестам возможно лишь в том случае, если есть основания для утверждения об адекватности выборок стандартизации.

Критериально-ориентированный подход в педагогических изме­рениях . При критериально-ориентированном подходе в педагоги­ческих измерениях результаты учащихся интерпретируются по от­ношению к содержательной области или требованиям, установ­ленным к учебным достижениям. При дихотомическом оценивании («1» или «0») результатов выполнения отдельных заданий балл каждого учащегося подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. В случае политомических оценок в проценты переводится отношение сырого балла учащегося, накопленного по заданиям, к максимально возможному баллу по тесту. Полу­ченный для каждого учащегося процент сравнивается со стандар­тами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста .

При критериально-ориентированном подходе по результатам тестирования можно:

- выявить освоенные и не освоенные знания, умения и навыки и построить индивидуальную образовательную траекторию каж­дого учащегося;

Ранжировать тестируемых по проценту выполнения и по­строить рейтинговые шкалы;

Разбить испытуемых на две группы с помощью одного крите­риального балла или на несколько групп с помощью нескольких критериальных баллов, поставив, например, школьные отметки – «два», «три», «четыре», «пять».

Недостатки критернально-ориентированного подхода. Критери­ально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100 %, в одном тесте. Аттестационные критериально-ориентиро­ванные тесты нередко получаются очень длинными – из 150 - 300 заданий, выполнить которые даже в старших классах при одноразовом предъявлении просто невозможно. Поэтому при ат­тестации нередко применяют адаптивное тестирование, позво­ляющее за счет оптимизации трудности заданий значительно со­кратить длину теста. Используют также сокращение содержания теста за счет минимизации целей оценивания. Для этого крите­риально-ориентированные тесты нередко применяют для про­верки одного-двух умений или навыков, а при охвате более раз­нородного содержания выбирают нормативно-ориентированные тесты.

Критериально-ориентированные тесты имеют к тому же довольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения и навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения те­стов. В более сложных и менее структурированных областях зна­ний, связанных с решением задач творческого уровня, опреде­лить верхний предел зачастую невозможно.

Иногда при выполнении таких заданий школьник руководству­ется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполне­нием задач творческого уровня, следует отдавать предпочтение нормативно-ориентированному подходу или стараться совмещать оба подхода в одном тесте .

Различия в нормативно-ориентированном и критериально-ори­ентированном подходах. Нормативно-ориентированные и крите­риально-ориентированные тесты различаются по целям создания, методике отбора содержания, характеру распределения эмпири­ческих результатов, тестирования, методам их обработки, крите­риям качества тестов и тестовых заданий, а главное, по интерпре­тации результатов испытуемых, выполнивших тест.

В критериально-ориентированных тестах, используемых для аттестации, задания достаточно простые, поскольку педагоги все­гда стараются спланировать процент «двоек» и ограничить число неаттестованных учеников. Например, если «двойки» не должны превышать 10% и критерий отсева неуспевающих планируется ус­тановить на уровне 70% (все, кто выполнил меньше 70% заданий теста, получают «два»), то в тест необходимо включить не менее 70% легких заданий, которые смогут выполнить 90% тестируе­мых учеников (рис. 9). Нормативно-ориентированные тесты обыч­но намного труднее. В них включают от 50 до 70 % заданий средней трудности, т.е. тех, которые смогла выполнить верно только по­ловина тестируемых учеников (рис. 10).

Рис. 9. Распределение заданий по трудности, в нормативно-ориентирован­ном тесте

Рис. 10. Распределение заданий по трудности в критериально-ориенпированном тесте

В силу того, что распределения сырых баллов репрезентативной выборки испытуемых по нормативно-ориентированным и крите­риально-ориентированным тестам имеют, как правило, различную форму (рис. 11), приходится использовать различающиеся ме­тоды оценивания надежности и валидности результатов педагоги­ческих измерений, методики шкалирования и выравнивания.

Рис. 11. Типичное распределение баллов по тестам для репрезентативной

выборки учащихся

Наиболее существенные различия между нормативно-ориен­тированными и критериально-ориентированньми тестами пред­ставлены в табл. 1.

Таблица 1

Различия между нормативно-ориентированными и критериально-ориентированными тестами

Характеристики	Нормативно-ориентированные тесты	Критериально-ориентированные тесты
Типичное среднее чис­ло учеников, выполнивших правильно поч­ти все задания теста
Область для сравнения результатов учащихся	Результаты других учеников
Диапазон охвата целей проверки	Широкий, охватывает многие цели и виды учебной деятельности	Узкий, обычно охва­тывает несколько це­лей контроля
Репрезентативность охвата содержания предмета	Умеренная, фрагментарная, – обычно включают не все раз­делы	Большая, обычно включают все то, что можно операционализировать и принять за 100%
Разброс результатов учащихся (вариатив­ность баллов)	Высокий, поскольку основная цель тестирования – дифференциация испытуемых по уровню подготовки	Низкий, внутри ре­зультатов группы учащихся, превысивших по своим результатам критериальный балл, почти нет вариативно­сти
Подбор заданий по трудности	Распределение оценок трудности близко к нормальному. Основ­ная часть заданий име­ет трудность 40-60%	Распределение ско­шенное. Основная часть заданий имеет трудность 80-90%

Для учителя наиболее информативной является ситуация, ког­да оба подхода взаимно дополняют, друг друга. Поэтому некоторые тесты разрабатываются с расчетом на то, что результаты учащих­ся можно соотносить как с нормами, так и с содержанием теста. Пример – контрольно-измерительные материалы (КИМ) ЕГЭ.

2. Задачи тестирования и виды тестов

Общая классификация задач, решаемых с помощью тестов . В со­ответствии с видами контроля при тестировании можно выделить:

Задачи, стоящие на входе в обучение (входной контроль);

Текущие задачи (текущий контроль);

Задачи, соответствующие концу определенного периода учеб­ного процесса (итоговый контроль) .

Тестирование во входном контроле . Началу обучения соответ­ствует входное тестирование, позволяющее выявить степень вла­дения базовыми знаниями, умениями и навыками, необходимы­ми для начала обучения, и определить уровень владения новым материалом до начала его изучения в классе. Последняя ситуация кажется не типичной для школы, вместе с тем достаточно вспом­нить классический пример, когда в первый класс поступают хо­рошо читающие дети и начинают скучать на уроках.

Тесты для входного контроля, обычно называемые претестами (предварительными тестами), делятся на два типа.. Претесты первого типа позволяют выявить готовность к усвоению но­вых знаний в классе. Они разрабатываются в рамках критериаль­но-ориентированного подхода и содержит задания для проверки базовых знаний, умений и навыков, необходимых для усвоения нового материала. В основном эти претесты предназначены для наиболее слабых учеников, находящихся на границе между явно подготовленными и явно не подготовленными к началу усвоения нового материала. По результатам выполнения претеста проводится деление тестируемых на две группы, в одну из которых попадают те, кто может двигаться дальше, а в другую – те, кто нуждается в дополнительной работе и консультациях педагога.

Претесты второго типа разрабатываются в рамках нор­мативно-ориентированного подхода. Они охватывают планируемые результаты предстоящего обучения и построены полностью на но­вом материале. По результатам выполнения претеста преподаватель принимает решение, позволяющее внести элементы индивидуали­зации в массовый учебный процесс. Если ученик показал некоторые предварительные знания по новому материалу, то план его обуче­ния необходимо перестроить и начать с более высокого уровня, чтобы учебный материал имел для него действительный характер новизны. Иногда роль входного претеста выполняет итоговый тест, который предназначен для будущей оценки результатов усвоения нового материала после завершения его изучения.

На рис. 12 показаны возможные функции входного тестирова­ния в учебном процессе.

Рис. 12. Упрощенная модель функций входного тестирования в учебном

процессе, соотнесенная с задачами педагога.

Тестирование в текущем контроле . Для текущего контроля раз­рабатывают корректирующие и диагностические тесты. Корректи­рующие тесты, как правило, являются критериально-ориентиро­ванными: если процент ошибок учащегося превышает критери­альный балл, то его знания нуждаются в коррекции. С помощью корректирующих тестов, можно найти слабые места в подготовке учащихся и выявить направления индивидуальной помощи в осво­ении нового материала.

Корректирующие тесты не следует путать со средствами теку­щего контроля знаний учеников, однако они в какой-то мере близ­ки, хотя бы по целям применения. Однако между первыми и вто­рыми средствами есть существенные различия технологического и содержательного характера. Традиционные средства текущего кон­троля менее эффективны и в основном ориентированы на про­верку и систематическую оценку знаний учеников по небольшим единицам учебного материала. Корректирующие тесты предназначены для выявления пробелов в знаниях по группе учебных еди­ниц, включающих содержание нескольких тем или даже разделов. Обычно они содержат задания, расположенные по нарастанию трудности, с тем чтобы выявить первые же проблемы в усвоении учебного материала.

Если затруднения ученика при выполнении заданий носят систе­матический характер, то педагог может прибегнуть к помощи диаг­ностических тестов. Основная цель диагностики – установление причин пробелов в знаниях учеников – достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчи­танные по форме представления на отслеживание отдельных этапов выполнения каждого задания корректирующего теста. Подробная де­тализация позволяет выявить причины устойчивых ошибок учени­ков, конкретизировать характер возникающих затруднений и полу­чить выводы о несформированности тех или иных учебных умений.

Например, задание с выбором одного правильного ответа из коррек­тирующего теста по математике для начальной школы может иметь сле­дующий вид:

2+6:3 – 8:4=

A. 2

Б. 3

B. 1

Г 4

Максимальное число заданий диагностического теста определяется количеством действий при выполнении задания корректирующего теста. Например, для рассматриваемого числового выражения, можно предло­жить четыре задания, если у педагога нет желания проверять знание уча­щимся порядка действий:

1) 6:3= А. 3 Б. 2 В. 4

2) 8:4= А. 2 Б. 4 В. 1

3) 2+6:3= А. 5 Б. 6 В. 4

4) 2+6:3-8:4 = А. 3 Б. 2 В. 0

Подбор заданий в диагностический тест осуществляется в ин­дивидуализированном режиме, в зависимости от тех заданий, которые выполнил неверно каждый учащийся в корректирующем тесте. Особенно эффективны процессы коррекции и диагностики при компьютерной генерации и предъявлении тестов в сочетании с обучающими модулями по каждой единице неусвоенного учеб­ного материала. В этом случае коррекция проводится незамедли­тельно, поскольку после выявления очередного пробела и уста­новления его причины компьютер сам подбирает обучающий мо­дуль и сразу же выдает его ученику.

Упрощенная модель функций текущего тестирования представ­лена на рис. 13.

Рис. 1З. Модель функций тестирования в текущем контроле

Итоговое тестирование. Основная цель итогового тестирова­ния – обеспечение объективной оценки результатов обучения, которая ориентирована на характеристику освоения содержания курса (критериально-ориентированные тесты) или на дифференциацию учащихся (нормативно-ориентированные тесты). На рис. 14 приведена модель функций итогового тестирования.

Рис. 14. Модель функций итогового тестирования

Итоговые тесты обычно подвергаются стандартизации, по­скольку чаше всего они применяются для принятия администра­тивных управленческих решений в образовании, Если проведе­ние входного и текущего тестирования – функция учителя, то итоговое тестирование часто проводится внешними структурами и носит характер независимых проверок. Примером независимо­го итогового тестирования в России является ЕГЭ, тестирова­ние при аттестации школ и т.д. внутри школы итоговые тесты можно, использовать при переводе учащихся из класса в класс, при отборе отстающих учеников для определения их в коррекционные классы и т.д.

3. Классификация видов педагогических тестов

Основные подходы к классификации тестов. В отечественной и иностранной литературе существуют различные подходы к классификации педагогических тестов, различающиеся по признакам, которые положены в основу демаркации видов. В соответствии с подходом к интерпретации данных выделяют нормативно-ориентированные и критериально-ориентированные тесты.

По размерности конструкта педагогические тесты делятся на гомогенные (измеряющие только одну переменную и потому од­нородные по содержанию) и гетерогенные (измеряющие более одной переменной – случай многомерного конструкта) тесты. Гетерогенные тесты бывают полидисциплинарными и междисцип­линарными . Полидисциплинарные тесты состоят из гомо­генных субтестов по отдельным дисциплинам. Результаты учени­ков по субтестам объединяются для подсчета итоговых баллов по всему полидисциплинарному тесту. Для выполнения заданий междисциплинарных тестов требуется применение обобщенных, меж­предметных, интегративных знаний и умений. Междисциплинар­ные тесты всегда многомерны, их разработка требует обращения к факторным методам анализа данных, математико-статистическим методам многомерного шкалирования и т.д.

По характеру измеряемых переменных выделяют тесты для про­верки знаний, учебных, практических умений, навыков, а также компетентностные тесты. Иногда в отдельную группу выделяют ско­ростные тесты, требующие жесткого временного ограничения на выполнение каждого задания и содержащие всегда избыточное число заданий, не позволяющее выполнить весь тест. В зависимости от формы предъявления различают бланковые и компьютерные, устные и письменные тесты.

Наиболее общая классификация тестов в учебном процессе позволяет разделить их на две неравные группы: стандартизован­ные тесты, обладающие нормами выполнения, и нестандартизованные тесты, которых значительно больше, поскольку для использования в повседневном учебном процессе их готовит каж­дый педагог. Нестандартизованные тесты нередко называют учи­тельскими, или авторскими, тестами.

Классификация по видам контроля, их функциям и характеру решаемых задач. Если в качестве признака демаркации выбрать виды контроля и характер задач, решаемых преподавателем с по­мощью тестов, то получится классификация видов педагогичес­ких тестов, представленная на рис. 15.

Рис. 15. Классификация педагогических тестов

Анализ классификационной таблицы позволяет выделить в ка­честве основополагающих четыре вида педагогических тестов, среди которых, наибольшую важность по сфере использования имеют итоговые нормативно-ориентированные тесты.

Увеличение влияния тестирования на принятие управлен­ческих решений на основе данных мониторинга и анализа ка­чества образования во многих странах привело в XXI в. к воз­никновению нового вида тестов административно-управленческого предназначения (в англоязычной литературе – High - Stakes tests ). Данные административно-управленческого тестирования являются важным информационным источником для анализа последствий образовательных реформ и инноваций в образова­нии, проведения сравнительных исследований качества подго­товленности выпускников различных регионов России, аттес­тации учебных заведений и оценки эффективности их деятельности.

4. Основные определения понятийного аппарата

Понятийный аппарат при разработке и использовании тестов. Необходимость создания четкого понятийного аппарата для раз­работки тестов не всегда понятна преподавателям-практикам. От­части это объясняется кажущейся простотой самих понятий, так как нередко любой набор заданий в тестовой форме в представле­нии учителя ассоциируется с тестом. Такие псевдотесты сплошь и рядом публикуются в специальных сборниках. Их можно исполь­зовать в текущем контроле, но не в работе аттестационных цент­ров.

Несоответствие псевдотестов научно обоснованным критери­ям качества может привести к значительному ошибочному ком­поненту в оценках подготовленности учащихся, следствием кото­рого будут неправильные выводы относительно эффективности работы отдельных преподавателей или педагогических коллекти­вов. Таким образом, понятийный аппарат необходим, поскольку он служит целям отделения тестов от того, что нередко за них принимается.

Предтестовое задание . Определение предтестового задания яв­ляется базовым, содержащим специфические требования, с тем чтобы отличить его от традиционного контрольного задания. Пред­тестовое задание – это единица контрольного материала, содер­жание, логическая структура и форма представления которого удовлетворяют ряду требований и обеспечивают однозначность оценок результатов выполнения благодаря стандартизованным правилам проверки .

В предтестовых заданиях проверяются наиболее существенные опорные элементы содержания дисциплины. В каждом предтестовом задании определяется то, что однозначно считается правиль­ным ответом с запланированной степенью его полноты.

Требования, предъявляемые к форме пред тес­товых заданий , можно условно разделить на специальные, отражающие специфику формы, и общие, инвариантные относи­тельно выбранной формы. Согласно, общим требованиям задание должно иметь определенный порядковый номера стандартную ин­струкций по выполнению, адекватную форме, эталон правильно­го ответа, стандартизованные правила по оценке результатов его выполнения и т. д. (см. Лекцию 10). Специальные требования к форме довольно многочисленны, частично они представлены в Лекции 10, посвященной формам предтестовых заданий.

Преимущества предтестовых заданий по сравнению с традиционными контрольными заданиями обеспечиваются предельной стандартизацией при предъявлении и оценивании результатов их выполнения, что в целом повышает объективность оценок уча­щихся по тесту.

Тестовое задание . Предтестовые задания должны пройти обязательную эмпирическую проверку, по результатам которой часть из них превращается в тестовые, а оставшаяся часть удаляется из первоначальной совокупности заданий теста. Предтестовое зада­ние превращается в тестовое, если количественные оценки его характеристик удовлетворяют определенным критериям, нацелен­ным на эмпирическую проверку качества содержания, формы и системообразующих свойств предтестовых заданий.

Обычно требуется не менее двух-трех апробаций, по результа­там которых ведется коррекция содержания, формы, трудности задания, его валидности и статистических свойств, характеризу­ющих качество его работы вместе с остальными заданиями теста. Исследование системообразующих характеристик тестового зада­ния проводится на основе анализа дескриптивной (описательной) статистики, а также методов корреляционного, факторного и латентно-структурного анализа. Интерпретация результатов ана­лиза – это всегда сложная аналитическая работа, результаты ко­торой зависят от множества условий, в том числе и от вида создаваемого теста. Статистические характеристики тестовых заданий и требования к их качеству рассмотрены в Лекции 12.

В длительной апробации и коррекции нуждаются в основном итоговые тесты, используемые для принятия управленческих ре­шений в образовании. Например, при разработке учительских те­стов для текущего контроля корреляционный и факторный анализ не нужны, но дескриптивная статистика, позволяющая без особых усилий отобрать валидные задания приемлемой трудно­сти, будет также очень полезна.

Педагогический тест. В отличие от первых двух определений, инвариантных относительно целей тестирования и решаемых задач, определение педагогического теста должно быть ориентиро­вано на конкретный вид теста. В частности итоговый нормативно-ориентированный тест – это система тестовых заданий, упорядо­ченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают высокую дифференциацию, точность и обоснованность оценок качества учебных достижений.

Из этого определения следуют два важных вывода. Первый: нет и не может быть тестов, качественных вообще, так как оценка дифференцирующего эффекта теста, точности измерений (надежности) и их адекватности поставленным целям (валидности) за­висит не только от характеристик тестовых заданий, но и от осо­бенностей тестируемого контингента учащихся. Второй: для оцен­ки качества теста необходимы эмпирические данные тестирова­ния, полученные на репрезентативной выборке учащихся. Работа по коррекции теста консолидирует систему тестовых задании – постепенно нарастают внутренняя связь и целостность, интегративностъ системы, совершается переход от совокупности предтестовых.заданий к профессионально разработанному тесту.

Итоговый критериально-ориентированный тест – это система тестовых заданий, упорядоченных в рамках определенной страте­гии предъявления и обладающих такими характеристиками, ко­торые обеспечивают валидную содержательную интерпретацию учебных достижений по отношению к установленным, статисти­чески обоснованным критериям выполнения . В определении не конкретизируется базовая содержательная область, используе­мая при интерпретации, что позволяет применять его для различ­ных разновидностей критериально-ориентированных тестов.