Марина Коновалова - Экспериментальная психология: конспект лекций

6.5. Требования к разработке, проверке и адаптации тестовых методик

Известны два пути создания психодиагностических методик: адаптация известных методик (зарубежных, устаревших, с иными целями) и разработка новых, оригинальных методик.

Адаптация теста – это комплекс мероприятий, обеспечивающих адекватность теста в новых условиях применения. Выделяют следующие этапы адаптации тестов:

1) анализ исходных теоретических положений автора теста;

2) для иностранных методик – перевод теста и инструкций к нему на язык пользователя (с обязательной экспертной оценкой соответствия оригиналу);

3) проверка надежности и валидности в соответствии с психометрическими требованиями;

4) стандартизация на соответствующих выборках.

Наиболее серьезные проблемы возникают при адаптации вербальных тестов (опросников, вербальных субтестов в составе тестов интеллекта). Эти проблемы связаны с языковыми и социокультурными различиями народов разных стран. Многовариантность перевода какого-либо термина, невозможность точной передачи идиоматических оборотов – обычное явление при переводах с языка на язык. Иногда бывает настолько сложно подобрать языковые и смысловые аналоги заданий теста, что полная его адаптация становится сопоставимой с разработкой оригинальной методики.

Понятие адаптации приложимо не только к зарубежным методикам, которые предполагается использовать в условиях нашей страны, но и к устаревшим отечественным методикам. Устаревают они достаточно быстро: в связи с развитием языка и изменчивостью социокультурных стереотипов методики должны корректироваться каждые 5–7 лет, что подразумевает уточнение формулировок вопросов, коррекцию нормативов, обновление стимульного материала, пересмотр интерпретационных критериев.

Самостоятельная разработка тестовой методики обычно состоит из следующих этапов.

1. Выбор предмета (явления) и объекта исследования (контингента).

2. Выбор вида теста (объективный, субъективный, проективный), типа заданий (с предписанными ответами, со свободными ответами) и шкал (числовые, вербальные, графические).

3. Подбор первичного банка заданий. Он может осуществляться двумя путями: вопросы формулируются исходя из теоретических представлений об измеряемом явлении (факторно-аналитический принцип) или же подбираются в соответствии с их дискриминативностью, т. е. способностью отделять испытуемых по наличию требуемого признака (критериально-ключевой принцип). Второй принцип эффективен при разработке тестов отбора (например, профессионального или клинического).

4. Оценка заданий первичного банка (содержательной валидности теста, т. е. соответствия каждого из заданий измеряемому явлению, и полноты охвата изучаемого явления тестом в целом). Проводится с помощью метода экспертной оценки.

5. Предварительное тестирование, формирование банка эмпирических данных.

6. Эмпирическая валидизация теста. Проводится с помощью корреляционного анализа оценок теста и показателей по внешнему параметру изучаемого свойства (например, школьной успеваемости при валидизации теста интеллекта, врачебного диагноза при валидизации клинических тестов, данных других тестов, валидность которых известна, и др.).

7. Оценка надежности теста (устойчивости результатов к действию случайных факторов, внешних и внутренних). Наиболее часто оцениваются ретестовая надежность (соответствие результатам повторного тестирования, обычно через несколько месяцев), надежность частей теста (устойчивость результатов отдельных задач или групп задач, например по методу «четное – нечетное») и надежность параллельных форм, если таковые существуют. Методика признается надежной, если коэффициент корреляции результатов (первичного и повторного тестирования, одной и другой частей теста, одной и другой параллельных форм) составляет не менее 0,75. При более низком показателе надежности производятся корректировка заданий теста, переформулирование вопросов, снижающих надежность.

8. Стандартизация теста, т. е. приведение процедуры и оценок к общепринятым нормативам. Стандартизация оценок подразумевает преобразование нормальной или искусственно нормализованной шкалы первичных оценок (эмпирических значений изучаемого показателя) в оценки шкальные (отражающие место в распределении результатов выборки испытуемых). Виды шкальных оценок: стены (1—10), станайны (1–9), 7-оценки (10—100) и др.

9. Определение прогностической валидности, т. е. информация о том, с какой степенью точности методика позволяет судить о диагностируемом психологическом качестве спустя определенное время после измерения. Прогностическая валидность также определяется по внешнему критерию, но данные по нему собираются спустя некоторое время после тестирования.

Таким образом, надежность и валидность – это собирательные понятия, включающие в себя несколько видов показателей, отражающих направленность методики на предмет исследования (валидность) и объект исследования (надежность). Степень надежности и валидности отражают соответствующие коэффициенты, указываемые в сертификате методики.

Создание методики – трудоемкая работа, требующая развитой системы заказа на методики с соответствующей оплатой труда разработчиков и гонорарами за использование авторских методик.

Обработка данных психологических исследований – отдельный раздел экспериментальной психологии, тесно связанный с математической статистикой и логикой. Обработка данных направлена на решение следующих задач:

• упорядочивание полученного материала;

• обнаружение и ликвидация ошибок, недочетов, пробелов в сведениях;

• выявление скрытых от непосредственного восприятия тенденций, закономерностей и связей;

• обнаружение новых фактов, которые не ожидались и не были замечены в ходе эмпирического процесса;

• выяснение уровня достоверности, надежности и точности собранных данных и получение на их базе научно обоснованных результатов.

Различают количественную и качественную обработку данных. Количественная обработка – это работа с измеренными характеристиками изучаемого объекта, его «объективированными» свойствами. Качественная обработка представляет собой способ проникновения в сущность объекта путем выявления его неизмеряемых свойств.

Количественная обработка направлена в основном на формальное, внешнее изучение объекта, качественная – преимущественно на содержательное, внутреннее его изучение. В количественном исследовании доминирует аналитическая составляющая познания, что отражено и в названиях количественных методов обработки эмпирического материала: корреляционный анализ, факторный анализ и т. д. Реализуется количественная обработка с помощью математико-статистических методов.

В качественной обработке преобладают синтетические способы познания. Обобщение проводится на следующем этапе исследовательского процесса – интерпретационном. При качественной обработке данных главное заключается в соответствующем представлении сведений об изучаемом явлении, обеспечивающем дальнейшее его теоретическое изучение. Обычно результатом качественной обработки является интегрированное представление о множестве свойств объекта или множестве объектов в форме классификаций и типологий. Качественная обработка в значительной мере апеллирует к методам логики.

Противопоставление друг другу качественной и количественной обработки довольно условно. Количественный анализ без последующей качественной обработки бессмыслен, так как сам по себе не приводит к приращению знаний, а качественное изучение объекта без базовых количественных данных в научном познании невозможно. Без количественных данных научное познание – чисто умозрительная процедура.

Единство количественной и качественной обработки наглядно представлено во многих методах обработки данных: факторном и таксономическом анализе, шкалировании, классификации и др. Наиболее распространены такие приемы количественной обработки, как классификация, типологизация, систематизация, периодизация, казуистика.

Качественная обработка естественным образом выливается в описание и объяснение изучаемых явлений, что составляет уже следующий уровень их изучения, осуществляемый на стадии интерпретации результатов. Количественная же обработка полностью относится к этапу обработки данных.

Все методы количественной обработки принято подразделять на первичные и вторичные.

Первичная статистическая обработка нацелена на упорядочивание информации об объекте и предмете изучения. На этой стадии «сырые» сведения группируются по тем или иным критериям, заносятся в сводные таблицы. Первично обработанные данные, представленные в удобной форме, дают исследователю в первом приближении понятие о характере всей совокупности данных в целом: об их однородности – неоднородности, компактности – разбросанности, четкости – размытости и т. д. Эта информация хорошо считывается с наглядных форм представления данных и дает сведения об их распределении.