On the assessment of formation of the system of main concepts of mathematical analysis

Volkova Elena Sergeevna PhD in Physics and Mathematics Docent, the department of Data Analysis, Decision-making and Financial Technologies, Financial University under the Government of the Russian Federation 125993 (GSP-3), Russia, g. Moscow, ul. Leningradskii Prosp., 49 evolkova@fa.ru

Gisin Vladimir Borisovich PhD in Physics and Mathematics Professor, the department of Information Security, Financial University under the Government of the Russian Federation 125993 (GSP-3), Russia, g. Moscow, ul. Lenigradskii Prospekt, 49 vgisin@yandex.ru

1. Введение

Подготовка экономистов, владеющих математическими методами в финансах и экономике, ведется во всем мире. В целом, математическая подготовка выпускника Финансового университета (по направлению «Прикладная математика и информатика») соответствует математической подготовке выпускников ведущих европейских университетов по близким направлениям.

Ключевой дисциплиной в формировании математических компетенций студентов финансового университета служит математический анализ. Эта дисциплина формирует тот понятийный каркас, на основе которого могут быть изучены более продвинутые математические методы, методы построения и применения математических моделей в экономических исследованиях. В то же время именно математический анализ вызывает наибольшие затруднения в изучении, что проявляется, в частности, и в сравнительно низких оценках. Зачастую математический анализ оказывается своеобразным демотиватором изучения других математических дисциплин. Столкнувшись с новыми и достаточно сложными понятиями математического анализа, студенты зачастую теряют интерес к изучению других математических дисциплин, использованию математического аппарата для решения прикладных задач экономики и финансов.

Исследования, проводимые, начиная с 2003 г., американскими специалистами на гранты NSF, выявили ряд проблем в математической подготовке студентов США и позволили наметить направления для улучшения ситуации. В ходе исследований особое внимание было обращено на освоение понятийного каркаса математического анализа. Исследователи исходили из того, что без овладения ключевыми понятиями математического анализа применение математических методов в экономике невозможно. Особенно актуально это в эпоху развития вычислительных технологий, когда экономист, сознающий свою математическую некомпетентность, в лучшем случае откажется применения количественных методов, в худшем случае замаскирует объемными вычислениями неподтвержденные и ошибочные выводы.

Для оценки овладения понятиями математического анализа рабочей группой при AMS под руководством профессора Эпштейн в период с 2003 г. по 2005 г. был разработан специальный тест (CCI – Calculus Concept Inventory test) для оценки овладения системой основных понятий. Экспериментальное тестирование проводилось в двенадцати университетах США и одном университете в Финляндии. В апробации теста участвовало около 1200 студентов. В последующие годы использование теста проходило параллельно с широким обсуждением научной общественностью. Измерения на основе этого теста были проведены в десятках ведущих университетов США. Выходной показатель по замыслу разработчиков отражает эффективность преподавания математического анализа в части его понятийного аппарата.

Разработка тестов типа CI (Concept Inventory) имеет довольно давнюю историю. Первый тест такого рода был разработан физиками ^[10]. В последующие два с лишним десятилетия тесты CI были разработаны для многих разделов точных и естественных наук. Использование этих тестов показало, что учащиеся преуспевают в традиционных аудиторных оценках благодаря поверхностному запоминанию фактов и процедур, а не через развитие глубоких, концептуальных знаний.

Студенты, овладевшие понятийным каркасом дисциплины, могут учиться более эффективно как по этой дисциплине, так и по другим. Инвентаризация накопленных концептуальных знаний привлекла внимание к насущной необходимости разработки и внедрения педагогических методов, которые поддерживают глубокое концептуальное обучение. Например, инвентаризация концепции силы (FCI) в физике (первый тест типа CI), способствовала повышению эффективности и внедрению активных методов обучения при изучении в физики ^[9].

Тесты типа CI имеют перспективы, если они действительно могут измерять знания студентов. Чтобы использовать результаты этих тестов для совершенствования методики, необходим их тщательный анализ с учетом особенностей всей дидактической среды, в рамках которой происходит образовательный процесс. Американские специалисты, имеющие большой опыт в использовании тестов для контроля уровня знаний, используют для анализа тестов так называемый треугольник оценивания ^[12,13], включающий три взаимосвязанных элемента: теория, наблюдение, интерпретация.

Теория связана с системой предположений о том, как студенты представляют знания и развитие компетентности в целевой предметной области, и как студенты получают знания.

Наблюдения связаны с задачами, которые будут указывать на то, как далеко продвинулся студент на своем пути к знанию, определяемому предметной областью. В случае инвентаризации концепций наблюдения, скорее всего, должны заключаться в наличии или отсутствии путаницы в понятиях.

При интерпретации нужно учитывать, что студент может дать верный ответ или ошибиться по причинам, не связанным с теми качествами, которые измеряются (например, особенности обозначений, терминологии и т.п.). Правильная интерпретация помогает оценить надежность и достоверность получаемых результатов.

В работе ^[12] отмечается, что при анализе тестов типа CI основное внимание, как правило, уделяется лишь двум компонентам треугольника: теории и наблюдению. Недостаточный анализ интерпретации сужает пространство заключений относительно того, каковы настоящие знания студентов, и как результаты теста могут быть использованы для улучшения методики преподавания дисциплины.

Тесты CI, как правило, направлены на небольшое число ключевых конструкций и понятий в ограниченной области образовательного контента. В отличие от обычных контрольных заданий, для выполнения которых нужно продемонстрировать овладение некоторыми методами и алгоритмами решения задач, тесты CI основаны на теоретической интерпретации и интуитивном представлении преподавателя о понимании студентом раздела дисциплины. Разработчики используют эти представления для концептуализации и генерирования проблемных ситуаций, предлагаемых студентам, а также для разработки правдоподобных дистракторов множественного выбора, связанных с ошибочными представлениями. Таким образом, за тестом типа CI стоит некоторая когнитивная модель того, как у учащегося формируются понятия, и как эта модель может быть использована для контроля успеваемости.

Интерпретация играет решающую роль в определении того, как тестовые паттерны студентов могут быть использованы для того, чтобы сделать те или иные заключения о сформированности понятийного каркаса. Сложности с интерпретацией обусловлены тем, что анализ результатов проводится на основе классической теории тестирования, в которой содержательный анализ латентных признаков и других показателей затруднен и, зачастую, проводится формально и без достаточных содержательных обоснований. Попытки перенести в педагогический контекст методы диагностического моделирования (см. ^[4]) носят единичный характер и пока что не показали своей эффективности при работе с данными педагогических тестов. Современные методы статистического анализа тестов CI дают лишь ограниченную информацию для определения их валидности относительно предполагаемых конструкций и практически не дают информации, которую можно было бы использовать в учебном процессе.

По своей сути, как системы понятий изучаемых дисциплин, так и инструменты тестирования многомерны и нелинейны. Типичные статистические подходы не в состоянии охватить и использовать эту многомерность. Попытка вместить ее в статистические модели приводит к сложным конструкциям, которые с трудом могут быть сопоставлены дидактическими реалиями. В ^[12] отмечается, что, несмотря на усилия по разработке богатого, теоретически мотивированного набора наблюдений, интерпретативный результат этих наблюдений невелик по сравнению с тем, что возможно. Это затрудняет массовое диагностическое применение инструментов тестирования типа CI и ограничивает его использование преподавателями. В то же время, экспертный анализ результатов тестирования на овладение системой понятий позволяет сделать полезные выводы для совершенствования преподавания.

Начиная с 2016 г. в Финансовом университете проходит тестирование студентов по методике теста CCI. Настоящая статья посвящена анализу теста и полученных в ходе тестирования результатов.

Статья организована следующим образом. В разделе 2 приводятся основные факты из теории тестирования. В разделе 3 приведено описание теста CCI и дан содержательный анализ теста. В разделе 4 содержится описание и анализ результатов, полученных в ходе тестирования. В заключении подведены итоги и намечены пути совершенствования методики преподавания математического анализа.

2. Теория тестовых заданий и тесты типа CI

Тесты типа CI, направленные на диагностику овладения ключевыми понятиями, возникли в некотором смысле как альтернатива тестам, направленным на выявление процедурных и инструментальных компетенций. Вообще, дискуссия о приоритете концептуальных или процедурных знаниях достаточно традиционна для специалистов по преподаванию математики. В ходе этой дискуссии развиваются и совершенствуются представления о том, каким образом студенты осваивают математику, и о том, как нужно ее преподавать, а методика преподавания получает подходы, опирающиеся на временно найденную точку равновесия между концептуальностью и инструментальностью. Авторы работы ^[11] прослеживают истоки этой дискуссии, находя их не только в психологии познания (например, у Пиаже), но и в философии.

В последние годы в связи с развитием информационных технологий дискуссии обрели новую остроту, а среди преподавателей математики произошла довольно заметная радикализация в отстаивании той или иной позиции. Тесты типа CI создают баланс в оценке достижений учащихся с использованием тестовых методов и позволяют более объективно подойти к оценке методов преподавания дисциплины.

Тесты типа CI используются для оценки студентов до начала курса и после его изучения. При первом тестировании студенты отвечают на вопросы теста, опираясь на здравый смысл и знания, полученные в школе. После второго тестирования по завершении курса оценивается прогресс студентов в овладении основными понятиями. Подобный подход обусловливает особенности тестов типа CI.

В тестах типа CI не должны использоваться термины и обозначения, с которыми студенты незнакомы до изучения курса. Чтобы оценить освоение новых понятий, требуется в относительно простых вопросах «замаскировать» достаточно сложные концепции.

Методика оценки эффективности обучения такова, что оценивается групповое, а не индивидуальное продвижение. Тест оценивает не разницу в знаниях между отдельными студентами, а продвижение целой группы, для которой преподавание велось по одной методике, желательно одним преподавателем.

С учетом сказанного валидность теста оценивается в первую очередь в разрезе вопросов: валидность содержания и валидность внутренней структуры. Важна, конечно, и достоверность получаемых результатов. Валидность определятся тем, в какой степени используемые модель и теория согласуются с интерпретацией результатов, связанных с целенаправленным использованием тестов. В случае тестов типа CI — с интерпретацией результатов по выявлению сформированного запаса понятий. Таким образом, валидность является наиболее фундаментальным соображением при разработке и оценке тестов.

В рамках общей схемы (см. ^[15]) валидность содержания и внутренней структуры должны обеспечить оценку того, насколько сформированы основные понятия. Чтобы убедиться в достоверности полученных результатов нужно оценить, насколько большим может быть отклонение наблюдаемых результатов от истинных. Наконец, опираясь на полученные результаты, нужно дать им содержательную интерпретацию и получить значимые выводы методического характера.

Если достоверность достаточно высока, то наблюдаемый балл можно считать приблизительно совпадающим с истинным баллом. Надежный тест в различных условиях и ситуациях, включая различные среды тестирования, должен давать примерно одинаковые результаты. Валидность описывает, насколько можно доверять результатам теста, интерпретируемым для определенной цели.

Вопрос о том, действительно ли тест проверяет то, на что он предназначен, остается ключевым, несмотря на развитие теории тестирования. В педагогических измерениях этот вопрос приобретает особую остроту. Целью измерения является представление свойств индивида с использованием достоверных и адекватных теоретических моделей. Одним из самых сложных явлений в социальных науках является ненадежность их измерений. Как отмечено в ^[14], измерение одного и того же признака дважды часто приводит к двум различным результатам.

Тест в целом и его составляющие элементы могут быть оценены в соответствии с различными теориями, предназначенными для анализа и манипулирования всем психометрическим процессом.

Классическая теория тестирования (CTT) является самой ранней теорией измерения. В течение длительного времени психометрические характеристики личностных показателей изучались с использованием допущений СТТ. Основной целью этой теории является оценка достоверности наблюдаемых результатов теста. Истинная оценка студента T определяется как усреднение по всевозможным условиям проведения испытания. Предполагается, что эта оценка является объективной. При любом однократном проведении теста наблюдаемый балл X , скорее всего, отличается от истинного балла на случайную ошибку E. Таким образом, можно считать, что

X=T+E

Относительно случайных величин T и E могут быть сделаны те или иные предположения (см. ^[14]). В частности, обычно предполагается, что математическое ожидание ошибки равно нулю, и, кроме того, σ²(X)= σ²(T)+ σ²(E). При этих предположениях величина

Rel=1- σ²(E)/ σ²(X)

может трактоваться как мера надежности. Впрочем, подобная трактовка возможна и в более общем случае, и можно считать, что выполняется следующее соотношение:

σ(E)= σ(X)(1-Rel)^1/2. (1)

Вообще говоря, в современной теории тестирования надежность принято считать атрибутом самого теста. С учетом этого в качестве альтернативной оценки надежности можно выбрать, например, коэффициент альфа Кронбаха (см. ^[2]) и тогда формула (1) приобретает следующий вид:

σ(E)= σ(X)(1-α)^1/2. (2)

Коэффициент альфа Кронбаха вычисляется по формуле:

α=n/(n-1)·(1-(∑ⁿ_i=1(σ_i)²/σ²(X))), (3)

где n — число вопросов в тесте, а (σ_i)² — дисперсия ответов на вопрос i . В точном смысле коэффициент альфа Кронбаха служит нижней границей оценки надежности (1) в предположении о некоррелированности ошибок (впрочем, это предположение может быть ослаблено, см. ^[3]).

Если ответы на вопросы теста оцениваются по бинарной шкале, формула (3) сводится к следующей формуле:

α=n/(n-1)·(1-(∑ⁿ_i=1(p_iq_i)/σ²(X))), (4)

где p_i — доля верных ответов на вопрос i, а q_i — доля неверных ответов.

Важными для выводов методического характера являются коэффициенты дискриминации вопросов. Эти коэффициенты позволяют выделить вопросы, которые разделяют слабых и сильных студентов. Для дихотомических тестов значения коэффициентов дискриминации вопроса можно вычислять следующим образом ^[6]:

r_i=(M_i – M₀)·(pq)^1/2/σ(X), (5)

где

M_i — средняя оценка студентов, правильно ответивших на вопрос i ;

M₀ — средняя оценка студентов, неправильно ответивших на вопрос i ;

p — доля студентов, правильно ответивших на вопрос i ;

q— доля студентов, неправильно ответивших на вопрос i .

Коэффициент r_i лежит в промежутке от -1 до 1. Большое значение r_i означает, что студенты, выбравшие правильный ответ на этот вопрос получили за тест более высокие оценки, а студенты, выбравшие неправильный ответ, — более низкие. В случае тестов типа CI сравнение значений коэффициентов r_i, полученных при тестировании, предшествовавшем курсу, и полученных по завершении курса, позволяет оценить изменения во владении основными понятиями.

Для оценки самого теста и полученных результатов применяются также методы теории тестовых заданий (IRT) и модель Раша. Здесь важно отметить, что хотя ИРТ (IRT) и модель Раша похожи друг на друга с точки зрения вычислений, предпосылки, лежащие в их основе, сильно различаются. В исследовании данных, как правило, имеется альтернатива между приспособленностью модели к данным и, соответственно, точностью и простотой. Модели теории тестовых заданий стремятся к как можно более точному описанию данных, тогда как модель Раша достаточно проста. Математически это проявляется в числе оцениваемых параметров: модели теории тестовых заданий могут использовать до трех параметров, модель Раша — один. В некотором смысле модели теории тестовых заданий можно считать описательными, поскольку, используя эти модели, стремятся к максимально точному описанию данных. В подходе Раша в центре находится модель, и данные оцениваются по тому, как они вписываются в эту модель. Общим для обоих подходов является попытка оценки в рамках одной модели как атрибутов испытуемого (его готовности относительно группы к ответу на вопрос), так и атрибутов вопросов (их сложности в рамках теста). Оценка теста и ответов на задания на основе моделей классической теории тестирования и модели Раша позволяет сделать достаточно обоснованные выводы о результатах тестирования.

В общем виде модель Раша может быть описана следующим образом. Предположим, что имеется тест, содержащий k вопросов, который выполняют n испытуемых. Обозначим через X_piє{0,1} результат ответ испытуемого p на вопрос i. Тогда получаем:

P(X_pi=1│θ_p, δ_i)=e^{θp – δi}/(1+ e^{θp – δi}), (6)

где θ_p латентная переменная — уровень подготовки испытуемого p, а δ_i — уровень трудности задания i.

В модель, описываемую формулой (6), могут быть введены дополнительные параметры: a_i — коэффициент дискриминации, который показывает, насколько эффективно вопрос i позволяет различать испытуемых по уровню знаний, и коэффициент c_i , связанный с вероятностью угадывания правильного ответа.

Начальные оценки значений θ_p и δ_i рассчитываются как логиты доли верных ответов испытуемого p или доли неверных ответов на вопрос i в матрице результатов (X_pi)

θ⁰_p=ln(∑^k_i=1 X_pi/ ∑^k_i=1 (1-X_pi)), α⁰_i= ln(∑^k_i=1(1- X_pi)/ ∑^k_i=1 X_pi).

Начальные значения вероятностей рассчитываются по формуле (6).

Для оценки параметров модели Раша принято использовать метод максимального правдоподобия. В работе ^[1] показано, что метод наименьших квадратов дает близкие результаты, в некоторых отношениях более удобные для оценивания модели. Результаты, приведенные в разделе 4, получены с использованием этого подхода.

3. Содержание теста CCI

Тест CCI предназначен для оценки уровня овладения основными понятиями математического анализа. В идейном плане этот тест включен в линейку подобных тестов, разработанных и продолжающих разрабатываться преподавателями американских университетов. Тест CCI был разработан группой авторитетных преподавателей математики и специалистов по валидации тестов. Тест прошел апробацию в ряде университетов США и других стран. Его применение показало, что традиционная методика преподавания математического анализа, принятая в университетах США, не способствует освоению базовых понятий, нацелена в большей степени на выработку навыков решения стандартных задач вычислительного характера. Близкий результат показали студенты там, где процесс преподавания был компьютеризован.

В качестве выходного показателя использовалась следующая величина (которая трактуется как прогресс в освоении понятий):

g=(μ_f–μ₀)/(100-μ₀),

где μ₀ — среднее значение результатов до изучения курса, μ_f — среднее значение результатов до изучения курса (в процентах от максимального значения).

Значение показателя g находилось, как правило, в промежутке от 0,08 до 0,23 Существенно лучшие результаты были зафиксированы там, где занятия проводились в интерактивном режиме ^[5]. Значение показателя g находилось в промежутке от 0,30 до 0,38.

Тест CCI содержит 22 вопроса. Согласно авторам теста, он является двумерным: (a) функции, (b) производная. В процессе экспериментов «проявилось» и третье измерение — (c) последовательности, пределы и континуум. Содержательно вопросы теста могут быть классифицированы следующим образом:

(a) 5, 7, 10, 12, 14, 17, 20, 22, 16;

(b) 2, 3, 8, 9, 11, 15, 19, 21, 22;

(c) 1, 4, 6, 13, 18.

Психометрический анализ теста CCI был проведен в работах ^{[7, 8, 16]}. В этих работах был выявлен целый ряд специфических особенностей, снижающих ценность проведенного тестирования для студентов американских университетов. Так, например, в тесте содержится восемь вопросов, в которых используются обозначения и терминология, незнакомые большинству студентов-первокурсников американских университетов: производная fʹ(x), fʹʹ(x), dV/dx. Это дает авторам статьи основание сделать вывод о том, что стандартный нормализованный выигрыш g между пред- и пост-курсовыми тестами неадекватно оценивает достижения студентов в течение семестра. Тем не менее, это не мешает инструменту обеспечить точную меру концептуального понимания в конце первого семестра изучения математического анализа. Забегая вперед, отметим, что наличие в тесте упомянутых выше обозначений не представляет проблему при проведении тестирования первокурсников Финансового университета: выпускники средней школы в Российской Федерации знакомятся с этими понятиями и обозначениями в старших классах.

Исследование большого массива результатов американских студентов показало, что тест, скорее всего, является одномерным, что согласуется с первоначальными предположениями разработчиков теста. Для оценки внутренней согласованности использовались коэффициент альфа Кронбаха и двух-параметрическая модель Раша. В результате проведенного анализа авторы статей ^{[7, 8]} пришли к выводу, что тест CCI не позволяет в полной мере оценить те достижения студентов, на которые он был ориентирован.

4. Результаты тестирования

В этом разделе описаны результаты тестирования студентов по тесту CCI в Финансовом университете. Тестирование проводилось со студентами первого курса факультета прикладной математики и информационных технологий в период с 2015 по 2019 г., направление подготовки «Прикладная математика и информатика» (см. таблицу 1).

Таблица 1. Значение показателя g

Отсутствие показателя g в результатах 2015 и 2016 г. объясняется тем, что в эти годы проводилось тестирование проводилось только по одному разу. Выборочное тестирование проводилось для студенческих групп направления подготовки «Экономика». В этих группах значения показателя оказались близки к тем, которые приведены в таблице 2. Хотя результаты обоих тестах были в среднем ниже, чем на направлении подготовки «Прикладная математика и информатика».

Сравнительно низкое значение коэффициента g связано, вероятно, с тем, что основы математического анализа изучаются в средней школе. На первом курсе Финансового университета при изучении дисциплины «Математический анализ» в основном происходит систематизация понятий на более строгом и формализованном уровне изложения, но концептуально основные понятия фактически осваиваются на том же уровне, что и в средней школе. Полученные результаты, безусловно, побуждают к тому, чтобы существенно обновить содержание базовой части курса.

Для студенческих групп, в которых проводилось тестирование, были вычислены коэффициенты альфа Кронбаха. Значения оказались существенно выше, чем в американских университетах, что в определенной мере свидетельствует о том, что тест CCI в гораздо большей степени приспособлен для российских университетов, чем для американских. В исследованиях Эпштейна ^[5] и Глисона с соавторами ^[8] значение коэффициента альфа Кронбаха находился в районе 0,7, и фактически выходил за границы, в которых тест может считаться надежным. При тестировании в Финансовом университете, значение коэффициента альфа Кронбаха оказывалось, как правило выше 0,9 (см. таблицу 2). При таких высоких значениях тесты считаются надежными даже в медицинских исследованиях, где требования существенно выше, чем в психометрических исследованиях. В психометрических исследованиях принято считать тесты надежными, если α>0,8.

Таблица 2. Коэффициент альфа Кронбаха

* σ(E) Значение в таблице 2 вычисляется по формуле 2.

**Пост-тестирование студентов 2019 г. набора проводилось дистанционно. Значения α по по пяти различным группам курса распределились следующим образом: 0,84; 0,83; 0,54; 0,46; 0,94. Есть основания считать, что условия проведения тестирования сказались на результатах групп 3 и 4. Через дробь отдельно указаны значения для групп 1, 2, 5 и 3, 4 соответственно.

Оценивая результаты с использованием коэффициента альфа Кронбаха, можно считать, что ошибка в среднем составляет около 0,5 балла. Это позволяет использовать тест для индивидуальной оценки студентов с достаточно высокой точностью.

Оценка трудности задач в рамках модели Раша приведена в таблице 3 (трудность указана в единицах логит-шкалы от – 5 до 5).

Таблица 3. Трудность задач в модели Раша (набор 2019 г., пред-тест)

Задача 1 опирается на понимание предела, и, вполне ожидаемо, оказывается самой трудной. Затруднения вызвали также задачи 8 и 22, достаточно элементарные с точки зрения понятий анализа, но по формулировке отличающиеся от привычных для школьника задач. Для сравнения приведем оценку изменения трудности от пред- к пост-тесту (таблица 4).

Таблица 4. Изменение трудности от пред- к пост-тесту (набор 2017 г.)

Наиболее заметное снижение сложности происходит в задаче 1 — следствие того, что понятие предела подробно разбирается в университетском курсе. Эта тенденция характерна для всех годов набора. Задача 7 опирается на геометрический смысл производной, задачи 16 и 20 опираются на умение представить графически реальную зависимость. Все эти умения тщательно отрабатываются в первом семестре курса математического анализа.

Остановимся еще на расчете коэффициентов дискриминации (см. формулу (5)). Результаты, полученные для студентов набора 2017 г. и 2019 г. представлены в таблицах 5 и 6.

Таблица 5. Коэффициенты дискриминации (набор 2017 г.)

Таблица 6. Коэффициенты дискриминации (набор 2019 г.)

На пост-тесте наибольшее дискриминантное значение имеет задача 1, в то время как на пред-тесте ее дискриминантное значение рано нулю. Этот результат хорошо согласуется с остальными количественными оценками теста: задача на понятие предела «не различает» сильных и слабых студентов на пред-тесте, но служит выраженным разделителем по завершении курса анализа. Сходным свойством обладает задача 16.

Заметим еще, что равномерное разбиение логит-шкалы оценки освоенности θ на четыре интервала хорошо согласуется с экзаменационными оценками студентов на шкале от 2 до 5.

5. Заключение

В статье приведено описание и выполнен анализ теста CCI, направленного на оценку освоения основных понятий математического анализа (функция, предел, производная). Оценки выполнены с использование методов теории тестовых заданий и модели Раша. Описаны и проанализированы результаты экспериментального тестирования студентов факультета прикладной математики и информационных технологий в 2016-2020 гг. Полученные результаты в целом согласуются с представлениями об уровне подготовки и освоения курса математического анализа студентами направления «Прикладная математика и информатика» и могут быть использованы для совершенствования методики преподавания. Проведенное исследование показывает, что для студентов российских вузов тест CCI оказывается более информативным, чем для студентов американских университетов. В условия российской высшей школы тест CCI может быть использован не только для оценки группового продвижения студентов в освоении понятий математического анализа, но и для оценки индивидуальных результатов.