1.3 Надежность и валидность психологического теста

Ключевыми психометрическими характеристиками тестовых методик является надёжность и валидность. Именно эти параметры позволяет определять степень пригодности теста для решения практических задач.

Надежность

Надёжность является количественной характеристикой теста показывающей точность и воспроизводимость измерений, а также устойчивость результатов теста к действию посторонних случайных факторов.

На общий разброс диагностических данных влияет само измеряемое свойство и нестабильность измерительной процедуры. Коэффициент надежности показывает, в какой степени индивидуальные различия могут быть отнесены на счет действительных отличий в изучаемых свойствах. Нестабильность измерительной процедуры, обусловлена наличием ошибки измерения и характеризует действие внешних «помех».

На точность измерения влияют следующие факторы:

1) нестабильность измеряемого свойства

2) несовершенство методики (нечеткость инструкции, формулировки заданий)

3) меняющаяся ситуация обследования (время, освещенность, прочие условия)

4) поведение экспериментатора

5) изменения функционального состояния испытуемого

6) субъективность в способах оценки и интерпретации результатов

Стандартизация – это универсальный способ повышения надёжности.

Надёжность методики устанавливается с помощью корреляционного анализа. Корреляция – статистически достоверная взаимосвязь между двумя массивами данных. Таким образом, коэффициент надежности представляет собой коэффициент корреляции, значение которого может варьировать от 0 до 1. Тест с коэффициентом надёжности равным 1, то он не подвержен влиянию внешних переменных. Минимальное значение достаточного коэффициента надежности — 0,7. Это означает, что 70 % полученных по тесту результатов имеют отношение к измеряемому свойству, а оставшиеся 30 % составляют долю помех. Важно добавить, что данный уровень надежности соответствует минимально надежной группе методик — тестам-опросникам. Надежность когнитивных тестов варьирует в диапазоне 0,8–0,9.

Виды надежности

Виды надежности, для расчета которых необходимы два измерения (диагностика проводиться два раза):

1. Ретестовая надеж-ность основана на повторном предъявлении теста тем же испытуемым через определен-ный промежуток времени и установление корреляции. Предполагается, что между тестированиями измеряемое свойство осталось неизменным и полученные изменения результатов связаны с недостатком теста.

2. Надежность взаимозаменяемых форм предусматривает создание параллельных форм методики и предъявление их одним и тем же испытуемым, после чего рассчитывается коэффициент корреляции. Однако, создание абсолютно эквивалентных форм трудоёмкая задача.

3. При надежности отдельных пунктов теста выявляются такие пункты теста, на которые испытуемые реагируют одинаково. Пункты теста, которые вызывают максимально противоречивые реакции респондентов, подлежат устранению.

Виды надежности, для расчета которых достаточно одного измерения (диагностика проводиться один раз):

1. Надежность частей теста определяется путем деления методики на две части (чаще, на четные и нечетные пункты), после чего рассчитывается корреляция между показателями по отдельным частям теста. Метод обосновывается, что при нормальном распределении оценок по полному тесту выполнение любого случайного набора из частей теста даёт аналогичное распределение.

2. Надежность по Кьюдеру — Ричардсону основана на анализе согласованности ответов испытуемых по каждому пункту теста при однократном тестировании. Вычисляется для всех возможных разбиений теста на две части.

3. Надежность оценщика рассчитывается путем анализа устойчивости-согласованности оценок нескольких экспертов. Применяется, только для тех методик, где в качестве источника ошибок выступает личность диагноста (например, проективные методики).

Валидность

Валидность теста — понятие, указывающее, что именно тест измеряет и насколько хорошо он это делает. Таким образом, валидность — соответствие методики предмету измерения, в том числе ее сфокусированность на заявленном свойстве и устойчивость результатов со стороны других психических свойств.

Выделяют два способа получения валидности: прагматическую и собственно психологическую валидизацию.

Эмпирическая (прагма-тическая) валидность. Данный вид валидности имеет своей целью доказать, что «нечто», измеряемое методикой, имеет связь с определенными областями практической деятельности. Проверяется через корреляционные исследования в больших выборках.

Выделяют четыре вида эмпирической валидности:

1. Критериальная валидность — соответствие результатов диагностики некоторому внешнему критерию, измеримому и наблюдаемому в социальной практике. Критерий – факт достоверно характеризующий измеряемое свойство. Например, в больших выборках доказана связь между успешностью обучения и когнитивной сферой поэтому критерием валидизации тестов интеллекта является успеваемость (успеваемость - как факт результата обучения достоверно зафиксированный в полученной определённой оценке).

2. Конвергентная валидность — связь показателей теста с показателями по «родственным» методикам, т. е. методикам, измеряющим концептуально сходные качества. Например, методика измеряющая «жизнестойкость» должна коррелировать с результатами методик «нервно-психической устойчивость» или «стрессоустойчивость».

3. Дискриминативная валидность — отсутствие связи (корреляции) с методиками, измеряющим концептуально другое независимое свойство. Например, по модели Г. Айзенка экстра-интроверсия и нейротизм не связаны между собой и представлены в индивиде в каких-либо сочетаниях.

4. Конкурентная валидность — взаимосвязь показателей по изучаемому тесту с показателями аналогичного теста, валидность которого уже установлена. Существуют «эталонные» методики, корреляцию с которыми необходимо рассчитывать при разработке аналогичной методики. Например, для тестов интеллекта — это методика «Прогрессивные матрицы Равена». Однако, если коэффициент корреляции будет слишком высоким, то это свидетельствует о появлении эквивалентной формы существующего теста.

Если в качестве критерия рассматривать эмпирические показатели по другим тестам, то все перечисленные виды эмпирической валидности могут быть отнесены к критериальной. В зависимости от временных отношений между критерием и тестом выделяют следующие подвиды эмпирической валидности:

Текущая валидность - демонстрирует, представлено ли психическое свойство, которое мы изучаем в настоящий момент

Прогностическая валидность - с какой степенью точности и обоснованности методика позволяет судить о изменении психологического качества через определённое время. Прогностическая валидность отражает временной интервал, на который распространяется обоснование такого суждения. В случае, если критерий находится в прошлом, речь идет о ретроспективной валидизации, если в будущем — проспективной.

Теоретическая валидизация имеет отношение к теории измеряемого психологического явления и определяется не только через проведение корреляционных, но и экспериментальных исследований.

Выделяют три вида теоретической валидности:

1. Концептуальная валидность — методологическое обоснование теоретической концепции, которое делает возможным измерение исследуемого свойства данным психодиагностическим средством.

2. В содержательной валидности проверяется соответствие содержания заданий диагностической методики цели тестирования. Например, в тесте про агрессивность должны быть вопросы про агрессивность, а не про мотивацию. Обычно оценивается экспертами и лучше всего подходит для тестов, предмет которых предельно ясен (например, для тестов достижений).

3. Конструктная валидность определяется через соответствие результатов теста некоторому психологическому конструкту. Конструкт – это упрощённая модель измеряемого свойства, которая функционально передаёт его основные свойства. В качестве конструкта может выступать общий интеллект, вербальный интеллект, эмоциональная неустойчивость, интроверсия и т. д.

Существует ещё один вид валидности, который не может быть отнесен ни к эмпирической, ни к теоретической валидности, а именно – очевидная валидность. Она показывает соответствие содержания методики ожиданиям тестируемого, т.е. насколько методика понятна и очевидна для испытуемого.

Соотношение надежности и валидности получило название основного соотношения психометрики. Повышение надежности не влечёт за собой повышения валидности. Однако для ненадежного теста определить валидность невозможно. В количественном выражении коэффициент надежности (КН) всегда выше, чем коэффициент валидности (КВ) — КН ≥ КВ.

Взаимодействие психометрических элементов

Рассмотрев каждый элемент психометрических основ объединим их для получения цельной картины.

Тест как инструмент измерения представляет собой набор стандартизованных стимулов, которые ориентированы на определенный тип реакций испытуемого. Реакции на стимулы формализуются в соответствии с правилами выбранной измерительной шкалы. Далее они суммируются и образуют общий итоговый «сырой» балл, который преобразуется согласно правилам стандартных шкал в стандартный балл, т.е. происходит процесс стандартизации.

Кроме стимула, на реакции испытуемых влияет ряд помех, являющихся причиной ошибок измерения. Причинно-следственная связь между стимулами теста и реакциями на них испытуемых отражает надежность теста как показателя помехоустойчивости, или точности, измерения. Также, реакции, полученные в искусственной ситуации тестирования, должны соответствовать поведенческим маркерам измеряемого свойства, обозначенным как «Поведение». Таким образом, поведение испытуемого при взаимодействии с тестом аналогично поведению в жизненных ситуациях, что представляет собой эмпирическую валидность.

Маркеры поведения имеют отношение не столько к ситуации измерения, но, в первую очередь, к самому его предмету, обозначаемому в схеме как феномен. Под феноменом здесь понимается любое психическое свойство, состояние или процесс, подлежащий измерению. Связь «поведение» — «феномен» символизирует теоретическую, в первую очередь конструктную, валидность. А связь «стимул» — «феномен» — теоретическую, преимущественно содержательную валидность. Предлагаемая схема также объясняет основное соотношение психометрики, а именно соотношение валидности и надежности. Каждое звено в обозначенной последовательности элементов символизирует определенный исследовательский этап разработки теста, подверженный действию побочных переменных, что приводит к снижению значений соответствующих коэффициентов корреляции от надежности к валидности.