prosdo.ru
добавить свой файл
1 2 ... 5 6




Семинарское занятие № 4 по дисциплине ССОРО

ПРОВЕДЕНИЕ ПРОБНОГО ТЕСТИРОВАНИЯ.

ПОКАЗАТЕЛИ КАЧЕСТВА ТЕСТОВ:

трудность и дискриминативность;

надежность и валидность.
Следующий этап в создании теста - это проведение апробации теста (пробное тестирование, предварительное тестирование).

Слово «апробация» латинского происхождения и дословно означает «одобрение, утверждение, установление качеств».

(не пу­тать с опробованием, т.е. проверкой на практике).

В современном понимании это установление истинности, компетентная оценка и конструктивная критика оснований, методики и результатов работы.

В роли ценителей, судей, критиков, оппонентов выступа­ют отдельные компетентные в области исследования ученые и практики, а также научные и педагогические коллективы и аудитории (Загвязинский В.И., Атаханов Р. Методология и методы психолого-педагогического исследования. – М.: 2003. – С.165).
Пробное тестирование преследует несколько целей:

  1. выявление заданий, в которых есть недостатки (несоответствие трудности заданий уровню подготовленности испытуемых; непонятные или двусмысленные формулировки заданий, выявление неработающих дистракторов в заданиях закрытой формы и др.);

  2. определение статистических характеристик тестовых заданий и теста в целом.


Для пробного тестирования готовятся следующие инструкции:

1) инструкция для учащихся, как выполнять тест,

2) инструкция для проводящих тестирование (наблюдателей),

3) инструкция по апробации (какие эмпирические данные необходимо собрать).

Апробация проводится на репрезентативной выборке испытуемых с четким соблюдением правил проведения тестирования.

Репрезентативная выборка испытуемыхэто испытуемые, представляющие всю часть населения (популяции), о которых идет речь в теме исследования.

ВЫБОРКА – это те люди, которые участвуют в эксперименте как испытуемые.

Критерии выборки:

1.СОДЕРЖАТЕЛЬНЫЙ – эти люди должны подходить ТЕМЕ исследования.

Н-р, бессмысленно проверять степень развития произвольного запоминания у годовалых или 2-хлетних детей или выяснять, в какой мере уровень интеллекта группы московских бомжей влияет на выбор того или иного кандидата в Государственную думу (т.к. они голосовать не имеют права).

2. ЭКВИВАЛЕНТНОСТЬ испытуемых – т.е. похожесть людей по побочным характеристикам, которые могут существенно влиять на зависимые переменные. Результаты, полученные при исследовании экспериментальной выборки, должны распространяться на каждого ее члена.

Процедура подбора эквивалентных групп и эквивалентных испытуемых называется РАНДОМИЗАЦИЕЙ.

3. РЕПРЕЗЕНТАТИВНОСТЬ – испытуемые должны представлять всю часть населения (популяции), о которых идет речь в теме исследования.

Экспериментальная группа испытуемых – испытуемые, которые подвергаются экспериментальному воздействию.

Контрольная группа испытуемых – те испытуемые, которые выполняют аналогичную деятельность, что и в экспериментальной группе, но экспериментальному воздействию не подвергаются. Эта группа существует для сравнения с экспериментальной.

Сбор и статистическая обработка результатов тестирования.

Статистическая обработка полученных данных тестирования (результатов испытуемых) позволяет определить количественные характеристики тестовых заданий и всего теста, что позволяет использовать тест как научно обоснованный, объективный инструмент педагогических измерений. Статистическая обработка результатов тестирования проводится с помощью программного обеспечения.

Для удобства обработки тестовых данных результаты заносятся в специальную таблицу - матрицу тестовых результатов.


Пример такой матрицы при дихотомической системе оценивания: один балл за правильный ответ, нуль баллов - за неправильный ответ или пропуск задания.

Пусть x - результат выполнения i-тым испытуемым j-того задания, тогда x=1, если ответ на задание правильный и x=0, если ответ неправильный.


№ испытуемого i


№ задания j

Индивидуальный балл Xi

1

2

3

4

5

6

7

8

9

10

1

1

1

1

1

1

1

0

0

0

0

6

2

1

1

0

0

0

0

0

0

0

0

2


3

0

0

0

0

0

0

0

1

0

0

1

4

1

1

0

1

1

1

1

1

1

1

9

5

1

0

1

0

1

1

0

0

0

0

4

6

1

1

1

0

0

0

0

1

0

0

4

7

1

1

1

1

0

1

0

0

0


0

5

8

1

1

1

1

0

0

0

0

0

0

4

9

1

1

1

1

1

1

1

1

1

0

9

10

1

1

1

1

1

0

1

0

0

0

6

Число правильных ответов Yj

9

8

7

6

5

5

3

4

2

1

50

В таблице в каждой строке даны результаты конкретного испытуемого, которые называются профилем ответов. В столбце занесены результаты испытуемых на каждое конкретное задание (профиль задания). В последнем столбце представлены индивидуальные баллы каждого испытуемого (индивидуальный балл - это сумма 1, которые получены за правильный ответ). В последней строке дано количество правильных ответов по каждому заданию теста.


Из матрицы удаляются строки и столбцы, содержащие только единицы или только нули. Если возникает ситуация, когда в строке ответов только единицы/нули, то это значит, что данный тест не пригоден для измерения учебных достижений данных испытуемых, потому, что он будет слишком легким (все 1) для сильного учащегося или слишком трудным (все 0) для слабого учащегося. Если же мы видим, что в столбце только единицы/ нули, то значит, данное задание является слишком легким (все 1) или слишком трудным (все 0), а соответственно не может использоваться для оценки уровня достижений испытуемых данной выборки.

Для большей наглядности и удобства дальнейшего использования необходимо упорядочить матрицу тестовых результатов. Для этого строки таблицы располагают таким образом, чтобы индивидуальные баллы располагались в порядке возрастания. Затем столбцы матрицы располагают в порядке убывания.




следующая страница >>