Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Software systems and computational methods
Reference:

Reducing the complexity of the model of individual and group adaptive testing with multiple choice based on a fuzzy cognitive map

Kulikovskikh Ilona Markovna

PhD in Technical Science

Associate Professor, Department of Information Systems and Technologies, Academician Korolev Samara National Research University

443086, Russia, Samarskaya oblast', g. Samara, shosse Moskovskoe, 34

kulikovskikh.i@gmail.com
Prokhorov Sergej Antonovich

Doctor of Technical Science

Head of the Department of Information Systems and Technologies, Academician Korolev Samara National Research University

443086, Russia, Samarskaya oblast', g. Samara, shosse Moskovskoe, 34

sp.prokhorov@gmail.com

DOI:

10.7256/2454-0714.2018.4.28504

Received:

22-12-2018


Published:

29-12-2018


Abstract: The subject of the study is adaptive testing with multiple choice questions. This type of testing allows you to implement a machine assessment of the level of knowledge of the participants is simple and accessible, eliminating errors of evaluating the results. However, the adaptive testing model includes a parameter describing the probability of guessing answers to test tasks, which depends on many factors: the difficulty of the task, the level of knowledge of the learner, the presence of a fine for trying to guess, and the degree to which the participant’s answers with a higher level of knowledge influence the opinions of other participants. in the conditions of individual and group testing. The need to explicitly set this parameter complicates the model and introduces uncertainty in the test results. The introduction of a fuzzy cognitive map, which determines the degree of "pure" and "partial" guessing in response to test tasks, reduces the complexity of the testing model as a result of excluding the explicit probabilistic parameter. Unlike the well-known definitions of a cognitive map, the proposed interpretation is based on models of individual and group adaptive testing with multiple choice. The results of computational experiments in real testing confirmed the effectiveness of the introduction of the map. It was found that fuzzy estimates of the responses of participants with a lower level of knowledge to more complex tasks are more consistent than estimates that require explicit assignment of the probability of "pure" guessing. The method of reducing the complexity of a testing model based on a fuzzy cognitive map can be used both in educational software systems and in intelligent systems and decision support systems that provide for testing with multiple choice.


Keywords:

cognitive map, adaptive testing, collaborative learning, pure guessing, partial guessing, knowledge assessment, cognitive modelling, Bloom's taxonomy, interval-valued fuzzy set, logistic model


Введение

Адаптивное тестирование является одним из наиболее распространенных способов машинного оценивания уровня знаний обучаемых [1-3]. При этом регламентированной инструкцией для формирования тестовых заданий с целью контроля сложности заданий и текущего уровня знаний обучаемого часто является таксономия Блума [4]. Таксономия задана шестью когнитивными уровнями от низших уровней мышления (LOTS) до высших (HOTS) [4-6]. Доработанная версия таксономии, предложенная Андерсон [5], рассматривает 19 типов когнитивных процессов, разбитых на 6 основных категорий: запоминание, понимание, применение, анализ, оценивание, создание. Для построения эффективной стратегии обучения тестовые задания должны быть строго привязаны к одной из категорий.

Формулирование инструкций в соответствии с таксономией Блума является одной из наиболее сложных задач. Решением данной задачи может быть применение тестов с множественным выбором, которые позволяют оценивать как низшие, так и высшие уровни мышления [6-13]. Но, несмотря на многочисленные достоинства данного типа тестов, такие как большая доступность и простота тестирования, исключение ошибок измерения результатов, данный вид тестирования не исключает возможности угадывания [15,16] и забывания [17-21] ответов, что, как результат, приводит к снижению надежности результатов тестирования [8,14,15].

В отличие от индивидуального тестирования влияние факторов угадывания и забывания в контексте группового тестирования снижает надежность результатов даже в большей степени, так включает дополнительный источник неопределенности - мнение другого участника тестирования, особенно, если последний имеет более высокий уровень знаний [22]. Сложность в оценивании уровня знаний участников, выполняющих задания в группе, связана с наличием ограничений, накладываемых форматом тестирования, т. е. тестированием с множественным выбором. Выделяют две основных проблемы данного вида тестирования.

Первая проблема связана со сложностью разработки тестов, которые бы выходили за пределы низших уровней таксономии Блума: запоминание, понимание и применение, и включали рассмотрение высших уровней: анализ, оценивание и создание [4,5]. Предыдущие исследования [5,6,12] указывают на возможность разработки тестов с множественным выбором, которые бы анализировали высшие когнитивные уровни. Другие исследователи в данной области знаний приводят доводы в пользу того, что задания с множественным выбором рассчитаны лишь на фактическое запоминание информации [23-25]. Таким образом, наиболее простым способом регулирования сложности тестов является изменение числа альтернативных ответов в предлагаемых вариантах [16,23,26,27]. Но увеличение числа дистракторов (неправильных вариантов ответа) может привести к снижению пропорции корректных ответов. Обучаемые с большой вероятностью будут приобретать ложные знания вместо усиления способности запоминания материала. Как результат, данный формат тестирования может ввести в заблуждение и повысить риск дезинформации в процессе обучения.

В других исследованиях отмечается, что тестирование с множественным выбором может способствовать более глубокому обучению и повышать способность длительного запоминания [19-21]. Показано, что тестирование с множественным выбором может стимулировать процессы извлечения информации из памяти, которые значительно повышают эффективность обучения [17-19]. В данном случае участникам тестирования необходимо предложить метакогнитивную стратегию, чтобы вовлечь более высокоуровневое мышление. Применение метакогнитивных стратегий может поставить другую серьезную проблему оценивания: если обучаемые могут исключить некоторые ответы, полагаясь на критический анализ, они могут получить правильный ответ с помощью стратегии угадывания, вклад которой сложно оценить точно [15,28].

Постановка задачи исследования

Введем в рассмотрение модель для представления уровня знаний. В работе [29] предложена бинарную модель, в которой обладание высшим уровнем, т.е. полными знаниями, означает, что тестируемый правильно отвечает на все тестовые задания, т.е. вектор ответов состоит только из единиц. Низший уровень, в свою очередь, означает полное отсутствие знаний и способностей для правильного ответа хотя бы на одно тестовое задание. Вектор ответов содержит только нулевые значения. Позже в данную модель было введено два ограничения: 1) некорректный ответ обучаемого с полными знаниями является следствием забывания или частичного угадывания; 2) корректный ответ обучаемого с полным отсутствием знаний является результатом чистого угадывания. Принимая во внимание эти ограничения, формализуем следующие определения.

Определение 1 (Macready и Dayton [29]).

Пусть вероятности чистого и частичного угадывания и забывания для задания заданы как величины и , соответственно. Тогда вероятность правильного ответа на задание равны для тестируемого с высшим уровнем знаний и для тестируемого с низшим уровнем знаний.

Позднее [30] Определение 1 было дополнено с учетом предположения, что забывание может быть причиной угадывания: существенной разницы между тестируемым с низшим уровнем знаний, который не знает ответа, и тестируемым с высшим уровнем знаний, который забыл ответ нет – оба участника тестирования пытаются угадать правильный ответ.

Определение 2 (Van der Linden [30]).

Пусть вероятности чистого и частичного угадывания для задания заданы как величины и , соответственно. Тогда вероятность правильного ответа на задание равны или, что то же самое, для тестируемого с высшим уровнем знаний и для тестируемого с низшим уровнем знаний.

В свою очередь, Определение 2 было также модифицировано с учетом того, что переменная для оценивания уровня знаний должна быть непрерывной [30]. Вместо использования ступенчатой функции для представления двух состояний: полное знание и полное отсутствие знаний, было предложено ввести логистическую функцию (a latent trait model) [31,32].

Определение 3 (Birnbaum, Lord [32]).

Пусть задает уровень знаний тестируемого, – сложность задания , а – вероятность чистого угадывания. Тогда вероятность правильного ответа на задание может быть задана как

.

Процесс адаптивного тестирования может быть задан с помощью градиентного метода [2,3] с набором адаптивных параметров. Как видно из Определения 3, параметр, описывающий вероятность угадывания ответов на тестовые задания, зависит от сложности задания, уровня знаний обучаемого и условий проведения тестирования. Необходимость явного задания данного параметра усложняет модель и вносит неопределенность в результаты тестирования.

Целью данного исследования является понижение сложности модели адаптивного тестирования с множественным выбором. Для достижения поставленной цели в градиентный метод, описывающий процесс тестирования, вводится нечеткая когнитивная карта. Данная карта определяет степени «чистого» и «частичного» угадываний при ответе на тестовые задания, что позволяет снизить сложность модели тестирования за счет исключения явного вероятностного параметра. Заметим, что в отличие от известных определений когнитивной карты [33-37]. Термин когнитивная карта [38,39] был впервые предложен Е. Tolman [39] для описания взаимодействия объекта со средой окружения. Когнитивные карты могут обладать различной степенью общности, масштаба и организации в зависимости от полноты представленности пространственных отношений и выбранной точки отсчета. Предложенная в данной работе интерпретация напрямую построена на моделях индивидуального и группового адаптивного тестирования с множественным выбором.

Введем понятие когнитивной карты как функционал , где и задают вероятности «чистого» и «частичного» угадываний, соответственно.

Материал и методы исследования

Существенное влияние на результаты адаптивного тестирования оказывает восприятие информации тестируемыми. Следовательно, построение вероятностных моделей на бивалентной логике является существенным ограничением [40-44].

Нечеткая когнитивная карта при индивидуальном обучении. Нечеткая логика расширяет границы бивалентного набора [43], что позволяет классифицировать ответы на тестовые задания за пределами четкого «корректно» и «некорректно» [45]. Расширим предложенные модели оценивания уровня знаний в условиях индивидуального тестирования в терминах нечеткой логики.

Определение 4. Пусть задает нечеткое множество ответов обучаемого в условиях индивидуального тестирования. Тогда

,

где – функция принадлежности , будем называть степенью угадывания.

Величина связана с уровнем таксономии Блума и является обобщением вероятностной характеристики .

Определяя совокупность таких функций принадлежности, соответствующих 𝐿 уровням с центральных точек, сделаем допущение, что неоднозначность в определении каждой из центральной точек для каждого уровня мышления отсутствует. Таким образом, при оценивании степени угадывания анализируется лишь принадлежность к каждому уровню мышления без учета неопределенности, связанной с формированием степеней принадлежности, т.е. инструкций для тестирования в соответствии с заданным уровнем мышления. Используем понятие нечеткого множества 2-ого рода для дополнения Определения 4 [45-47].

Определение 5. Пусть , где, , . Тогда величину

будем называть степенью угадывания в условиях нечетко заданных уровней мышления.

При этом задает первичную функцию принадлежности ответов заданному уровню мышления, – вторичную функцию принадлежности заданных уровней мышления действительным уровням, и

,

откуда

.

Нечеткая когнитивная карта при групповом обучении. Обобщим Определение 4 с учетом условий группового тестирования. С этой целью обратимся к понятию интервальных нечетких множеств [46,47].

Определение 6. Пусть – совокупность всех замкнутых подинтервалов в диапазоне . В русле работы [47]

.

Тогда отображение

будем называть степенью угадывания в условиях группового тестирования.

При этом , где и – отображения, определяющие нижнюю и верхнюю границы интервала .

Наконец, как частный случай Определения 5 и обобщение Определения 6, введем следующее определение.

Определение 7. Пусть , где , , . Тогда величину

будем называть степенью угадывания в условиях нечетко заданных уровней мышления и группового обучения.

С учетом введенных определений, определим меру влияния группового обучения.

Определение 8. Пусть , и для . Тогда

,

где , , будем называть мерой влияния группового обучения.

Результаты исследования

Проведем вычислительные эксперименты для апробации моделей индивидуального и группового тестирования, включающих параметры когнитивной карты – параметр , задающий уровень «чистого» угадывания, и параметр , определяющий уровень «частичного» угадывания.

Вычислительный эксперимент 1. Построены нечеткие оценки результатов индивидуального тестирования. Даны результаты тестирования учащихся университета, которым было предложено 30 минут для выполнения набора тестов с множественным выбором на предлоги английского языка. Тесты даны от более простых (LOTS) к более сложным (HOTS). Уровни сложности заданий для тестирования были заданы в виде , где каждое из значений соответствует центру треугольной функции принадлежности согласно Определению 4. Для каждого задания использовано одинаковое значение штрафа за попытку угадывания. Уровень знаний оценен косвенно и установлен равным для каждого участника. При этом обучаемым не разрешено обсуждать задания и ответы с другими участниками тестирования.

Результирующие оценки до и после применения нечеткой модели приведены на рис. 1, где – исходные оценки; – оценки, модифицированные в соответствии с моделью частичного знания; – нечеткие оценки.

Рис. 1. Результирующие оценки до и после применения нечеткой модели оценивания

Из рисунка следует следующий вывод: результирующие нечеткие оценки по сравнению с исходными указывают на убывающий тренд в распределении ответов согласно требуемым уровням мышления. Данный результат подтверждает адекватность предложенной нечеткой модели, так как результирующие оценки привязаны к заданному уровню знаний и согласуются с требуемым уровнем (сложностью задания) и степенью угадывания. Более того, видна взаимосвязь между уровнем мышления и степенью угадывания: если , истинные оценки и предложенные нечеткие оценки демонстрируют более явные различия ввиду возрастающей вероятности «чистого» угадывания.

Вычислительный эксперимент 2. Вычислительный эксперимент 1 задан в условиях группового тестирования. Все участники разделены на 2 группы на основе уровня знаний английского языка согласно CEFR (The Common European Framework of Reference for Languages): тех, чей уровень выше B2 и тех, чей языковой уровень ниже . При этом каждая из групп случайно разбита на 2 подгруппы: одной подгруппе было аннонсирован штраф на попытку угадывания , другой подгруппе штраф не аннонсировался . Обучаемым разрешено обсуждать задания и ответы с другими участниками тестирования. Результирующие оценки до и после применения созданной нечеткой модели для каждой из подгрупп приведены на рис. 2 () и на рис. 3 ().

а)

б)

Рис. 2. Оценки и для : a) ; б)

а)

б)

Рис. 3. Оценки и для : a) ; б)

На рис. 2 а) продемонстрированы наиболее ожидаемые результаты: оценки располагаются по убывающей ввиду увеличения сложности тестовых заданий. Данные результаты соответствуют группе с высоким уровнем знаний и отсутствием штрафа. Как можно видеть, диаграмма аналогична представленной на рис. 1 с меньшим значением . В свою очередь, рис. 2 б) показывает лучшие результаты для группы с тем же уровнем знаний, но со значением По аналогии, рис. 3 а) и б) демонстрируют похожий эффект, но более стабильные результаты с убывающим трендом соответствуют случаю наличия штрафа.

Выводы

В работе рассмотрены модели индивидуального и группового тестирования с множественным выбором, включающие параметр, описывающий вероятность угадывания ответов на тестовые задания. Предложено нечеткая когнитивная карта, определяющая степени «чистого» и «частичного» угадываний, которая исключает необходимость явного задания данного параметра и, таким образом, снижает сложность рассмотренных моделей тестирования. Результаты вычислительных экспериментов на реальных ответах на тестовые задания подтвердили эффективность введения карты. Было выявлено, что нечеткие оценки ответов участников с более низким уровнем знаний на более сложные задания являются более согласованными по сравнению с оценками, требующими явного задания вероятности «чистого» угадывания. Метод понижения сложности модели тестирования на основе нечеткой когнитивной карты может быть использован как в образовательных программных системах, так и в интеллектуальных системах и системах поддержки принятия решения, предусматривающих тестирование с множественным выбором.

References
1. Bessarabov N. A., Bondarenko A. V., Kondratenko T. N., Timofeev D. S. Algoritmicheskoe obespechenie adaptivnoi sistemy testirovaniya znanii // Programmnye produkty i sistemy. – 2016. – № 1(113). – S. 68-74.
2. Kibzun A. I., Panarin S. I. Formirovanie integral'nogo reitinga s pomoshch'yu statisticheskoi obrabotki rezul'tatov testov // Avtomatika i telemekhanika. – 2012. – № 6. – S. 119-139.
3. Kibzun A. I., Inozemtsev A. O. Otsenivanie urovnei slozhnosti testov na osnove metoda maksimal'nogo pravdopodobiya // Avtomatika i telemekhanika. – 2014. – № 4. – S. 20-37.
4. Bloom B. S. (Ed.), Engelhart M. D., Furst E. J., Hill W. H., Krathwohl D. R. Taxonomy of educational objectives: The classification of educational goals. Handbook 1: Cognitive domain. – New York: David McKay, 1956. – 207 p.
5. Anderson L. W. (Ed.), Krathwohl D. R. (Ed.), Airasian P. W., Cruikshank K.A., Mayer R. E., Pintrich P. R., Raths J., Wittrock M. C. A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives (Complete edition). – New York: Longman, 2001. – 336 p.
6. Mayer R. E. A taxonomy for computer-based assessment of problem-solving // Computers in Human Behaviour. – 2002. – 18. – pp. 623-632.
7. Deutsch T., Herrmann K., Frese T., Sandholzer H. Implementing computer-based assessment-A web-based mock examination changes attitudes // Computers & Education. – 2012. – 58. – pp. 1068–1075.
8. Kubinger K. D., Holocher-Ertl S., Reif M., Hohensinn C., Frebort M. On minimizing guessing effects on multiple-choice items: Superiority of a two solutions and three distractors item format to a one solution and five distractors item format // International Journal of Selection and Assessment. – 2010. – 18(1). – pp. 111-115.
9. Kuo C.-Y., Wu H.-K. Toward an integrated model for designing assessment systems: An analysis of the current status of computer-based assessment in science // Computers & Education. – 2013. – 68. – pp. 388-403.
10. Lesage E., Valcke M., Sabbe E. Scoring methods for multiple choice assessment in higher education-Is it still a matter of number right scoring or negative marking? // Studies in Educational Evaluation. – 2013. – 39. – pp. 188-193.
11. Terzis V., Economides A. A. The acceptance and use of computer based assessment // Computers & Education. – 2011. – 56. – pp. 1032-1044.
12. Thelwall M. Computer-based assessment: a versatile educational tool // Computers & Education. – 2000. – 34. – pp. 37-49.
13. Wang T.-H. Developing an assessment-centered e-learning system for improving student learning effectiveness // Computers & Education. – 2014. – 73. – pp. 189-203.
14. Bereby-Meyer Y., Meyer J., Budescu D. V. Decision making under internal uncertainty: the case of multiple-choice tests with different scoring rules // Acta Psychologica. – 2003. – 112. – pp. 207-220.
15. Espinosa M. P., Gardeazabal J. Optimal correction for guessing in multiple-choice tests // Journal of Mathematical Psychology. – 2010. – 54. – pp. 415-425.
16. Vanderoost J., Janssen R., Eggermont J., Callens R., De Laet T. Elimination testing with adapted scoring reduces guessing and anxiety in multiple-choice assessments, but does not increase grade average in comparison with negative marking // PLoS ONE. – 2018. – 13(10). – p. E0203931. DOI: 10.1371/journal.pone.0203931.
17. Nurkova V. V., Gofman A. A. Zabyvanie: problema nalichiya sleda pamyati, ego dostupnosti i namerennogo kontrolya // Natsional'nyi psikhologicheskii zhurnal. – 2016. – № 3(23). – S. 64–74. DOI: 10.11621/npj.2016.0309.
18. Nurkova V.V., Gofman A.A. Zabyvanie: problema nalichiya sleda pamyati, ego dostupnosti i namerennogo kontrolya // Natsional'nyi psikhologicheskii zhurnal. – 2016. – № 4(24). – S. 3–13. DOI: 10.11621/npj.2016.0401.
19. Bjork E. L., Little J. L., Storm B. C. Multiple-choice testing as a desired difficulty in the classroom // Journal of Applied Research in Memory and Cognition. – 2014. – 3(3). – pp. 165-170.
20. Bjork E. L., Soderstrom N. C., Little J. L. Can multiple-choice testing induce desirable difficulties? Evidence from the Laboratory and the Classroom // The American Journal of Psychology. – 2015. – 128(2). – pp. 229-239.
21. Little J. L. The role of multiple-choice tests in increasing access to difficult-to-retrieve information // Journal of Cognitive Psychology. – 2018. – 30 (5-6). – pp. 520-531.
22. Smith M. K., Wood W. B., Adams W. K., Wieman C., Knight J. K., Guild N. et al. Why peer discussion improves student performance on in-class concept questions // Science. – 2009. – 323. – pp. 122-124.
23. Butler A., Roediger H. L. Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing // Memory & Cognition. – 2008. – 36(3). – pp. 604-616.
24. Nickerson R. S.,Butler S. F., Carlin M. T. Knowledge assessment: Squeezing information from multiple-choice testing // Journal of Experimental Psychology: Applied. – 2015. – 21(2). – pp. 167-177.
25. Nicol D. E-assessment by design: using multiple-choice tests to good effect // Journal of Further and Higher Education. – 2007. – 31(1). – pp. 53-64.
26. Dehnad A., Nasser H., Hosseini A. F. A comparison between three and four option multiple choice questions // Procedia-Social and Behavioral Sciences. – 2014. – 98. – pp. 398-403.
27. Lesage E., Valcke M., Sabbe E. Scoring methods for multiple choice assessment in higher education-Is it still a matter of number right scoring or negative marking? // Studies in Educational Evaluation. – 2013. – 39. – pp. 188–193.
28. Kubinger K. D., Holocher-Ert S., Reif M., Hohensinn C., Frebort M. On minimizing guessing effects on multiple-choice items: Superiority of a two solutions and three distractors item format to a one solution and five distractors item format//International Journal of Selection and Assessment. – 2010. – 18(1). – pp. 111-115.
29. Macready G. B., Dayton C. M. The use of probabilistic models in the assessment of mastery // Journal of Educational Statistics. – 1977. – 2. – pp. 99-120.
30. Van der Linden W. J. Forgetting, guessing, and mastery: The MacReady and Dayton models revisited and compared with a latent trait approach // Journal of Educational Statistics. – 1978. – 3(4). – pp. 305-317.
31. Lord F. M., Novick M. R. Statistical theories of mental test scores. – Reading, MA: Addison Wesley, 1974. – 592 p.
32. Rasch G. Probabilistic models for some intelligence and attainment tests. – Chicago: The University of Chicago Press, 1980. – 224 p.
33. Kulinich A. A. Komp'yuternye sistemy modelirovaniya kognitivnykh kart: podkhody i metody // Problemy upravleniya. – 2014. – № 3. – S. 2-16.
34. Kulinich A. A. Semioticheskie kognitivnye karty. Ch. 1. Kognitivnyi i semioticheskii podkhody v informatike i upravlenii // Problemy upravleniya. – 2016. – № 1. – S. 2-10.
35. Kulinich A. A. Semioticheskie kognitivnye karty. Ch. 1. Osnovnye opredeleniya i algoritmy // Problemy upravleniya. – 2016. – № 2. – S. 24-40.
36. Zhilov R. A. Optimizatsiya kognitivnoi karty dlya zadach prognozirovaniya // Kibernetika i programmirovanie. – 2015. – № 5. – S.128-135. DOI: 10.7256/2306-4196.2015.5.16592.
37. Martyshenko S. N., Martyshenko N. S. Informatsionnaya tekhnologiya postroeniya kognitivnykh modelei // Programmnye sistemy i vychislitel'nye metody. – 2016. – № 4. – S. 362-374. DOI: 10.7256/2305-6061.2016.4.21456.
38. Kitchin R. M. Cognitive maps: what are they and why study them? // Journal of Experimental Psychology. – 1994. – 14(1). – p. 1-19.
39. Tolman E. C. Cognitive maps in rats and men // Psychological Review. – 1948. – 55(4). – pp. 189-208.
40. Singpurwalla N. D., Booker J. M. Membership functions and probability measures of fuzzy sets // Journal of the American Statistical Association. – 2004. DOI: 10.1198/016214504000001196.
41. Zadeh L. A. Toward a perception-based theory of probabilistic reasoning with imprecise probabilities // Journal of Statistical Planning and Inference. – 2002. – 105. – pp. 233-264.
42. Zadeh L. A. Fuzzy possibilities // Information Processing & Management. – 1984. – 20(3). – pp. 363-372.
43. Zadeh L. A. Fuzzy sets // Information and Control. – 1965. – 8. – pp. 338-353.
44. Zadeh L. A. Fuzzy sets as a basis for a theory of possibility // Fuzzy Sets and Systems. – 1978. – 1. – pp. 3-28.
45. Kulikovskikh I. M., Prokhorov S. A., Suchkova S. A., Matytsin E. V. Kompleksnaya sistema kollaborativnogo obucheniya na osnove nechetkikh modelei dlya opisaniya povedeniya sistem s chastichnym znaniem // Izvestiya SNTs RAN. – 2016. – t. 18, № 4(4). – S. 760-765.
46. Zadeh L. A. Interval type-2 fuzzy logic systems: Theory and design // Inf. Sci. – 1971. – 3. – pp. 159-176.
47. Bustince H., Fernandez J., Hagras H., Pagola M., Barrenechea E. Interval type-2 fuzzy sets are generalization of interval-valued fuzzy sets: Towards a wider view on their relationship // IEEE Tran. On Fuzzy Sets. – 2014. DOI: 10.1109/TFUZZ.2014.2362149