Новый подход к компьютеризированному адаптивному тестированию
Артеменков С.Л., кандидат технических наук, профессор кафедры прикладной информатики факультета информационных технологий, ФГБОУ ВО МГППУ, Москва, Россия, slart@inbox.ru
Юрьев Г.А., кандидат физико-математических наук, зам. декана, доцент, факультет информационных технологий, ФГБОУ ВО МГППУ, Москва, Россия, g.a.yuryev@gmail.com
Григоренко Е.Л., доктор психологических наук, доцент кафедры психологии образования и педагогики факультета психологии, Московский государственный университет имени М.В. Ломоносова, Москва, Россия, elena.grigorenko@yale.edu
Аннотация
Представлен новый подход к компьютеризированному адаптивному тестированию, модель предъявления заданий которого описывается с помощью марковских процессов с дискретными состояниями и дискретным временем. Этот подход опирается на обобщение модели Г. Раша и имеет существенные преимущества перед адаптивным тестированием на базе современной теории тестирования (IRT). Преимуществами разработанного подхода являются: учёт особенностей процесса выполнения предъявленных заданий, включая затраченное на них время; прогнозирование поведения испытуемых; возможность самообучения и улучшения характеристик модели в процессе тестирования; простая процедура идентификации модели, использующая доступные результаты наблюдений. Разработанная модель адаптивного тестирования обобщается на случаи политомических заданий и нескольких шкал измерений.
Ссылка для цитирования
Процедуры тестирования все чаще используются во многих
современных приложениях, требующих оценки поведения людей или машин. Согласно
традиционным моделям, основанным на классической теории тестирования, для
измерения уровня определенного умения или способности испытуемого настолько
точно, насколько это возможно, эти процедуры должны включать большое количество
заданий, затрудняющих использование тестов. Выход из этой ситуации обеспечивает
компьютеризированное адаптивное тестирование (CAT), развитию которого в
значительной мере способствовали современные технологии и вычислительные
возможности, появившиеся наряду с разработкой современной теории тестирования
(IRT). Использование IRT или других подходов CAT — это метод администрирования
тестов и измерения латентных конструктов с помощью небольшого количества
тестовых заданий и как можно более точно (Thompson, Weiss, 2011).
-
Burden R.L., Faires J.D. Numerical Analysis.
Brooks/Cole, Cengage Learning, 9th Ed., 2011. 895 pp. -
Kohonen T. Self-Organizing Maps. Springer, 3th Ed.,
2001. 501 pp. -
Kuravsky L.S., Marmalyuk P.A., Yuryev G.A., Dumin
P.N. A Numerical Technique for the Identification of Discrete-State
Continuous-Time Markov Models// Applied Mathematical Sciences. 2015. Vol. 9. №
8. P. 379—391. URL: http://dx.doi.org/10.12988/ams. 2015.410882. -
Kuravsky L.S., Margolis A.A., Marmalyuk P.A., Panfilova
A.S., Yuryev G.A., Dumin P.N. A Probabilistic Model of Adaptive Training //
Applied Mathematical Sciences. 2016. Vol. 10. № 48. P. 2369—2380. http://
dx.doi.org/10.12988/ams.2016.65168. -
Куравский Л.С., Марголис А.А., Мармалюк П.А., Юрьев
Г.А., Думин П.Н. Обучаемые марковские модели в задачах оптимизации порядка
предъявления психологических тестов // Нейрокомпьютеры: разработка и
применение. 2013. № 4. С. 28—38. -
Kuravsky L.S., Marmalyuk P.A., Baranov S.N., Alkhimov
V.I., Yuryev G.A., Artyukhina S.V. A New Technique for Testing Professional
Skills and Competencies and Examples of its Practical Applications // Applied
Mathematical Sciences. 2015. Vol. 9. № 21. Р. 1003—1026.
http://dx.doi.org/10.12988/ams.2015.411899. -
Куравский Л.С., Юрьев Г.А. Использование марковских
моделей при обработке результатов тестирования // Вопросы психологии. 2011. №
2. С. 98—107. -
Thompson N.A., Weiss D.J. A framework for the
development of computerized adaptive tests // Practical Assessment, Research
& Evaluation. 2011. Vol. 16(1). P. 1—9. -
Torre J. de la, Patz R.J. Making the Most of What
We Have: A Practical Application of Multidimensional Item Response Theory in
Test Scoring // Journal of Educational and Behavioral Statistics. 2005. Vol.
30(3). Р. 295—311. doi:10.3102/10769986030003295. -
Wilkinson J.H. The Algebraic Eigenvalue Problem,
Oxford, Clarendon Press, 1988. 662 pp.