To the question of automation of knowledge testing on the practical disciplines

Litvinov Vladimir Andreevich PhD in Physics and Mathematics Docent, the department of Informatics and Special Technology, Barnaul Law Institute of the Ministry of Internal Affairs of Russia 656038, Russia, Altaiskii krai, g. Barnaul, ul. Chkalova, 49 lva201011@yandex.ru Other publications by this author

Baumtrog Viktor Etmontovich PhD in Physics and Mathematics Associate Professor, Department of Informatics and Special Engineering, Barnaul Juridical Institute 656038, Russia, Altaiskii krai, g. Barnaul, ul. Chkalova, 49 barnaul@list.ru Other publications by this author

На протяжении нескольких последних десятилетий российская экономика и все общество претерпели существенные изменения, которые естественным образом повлияли и на систему образования. Множество реформ, проводимых в системе образования страны, проводятся под девизом «повысим качество подготовки обучающихся». Это утверждение справедливо к любому уровню системы образования страны.

Повышение качества образования, несомненно, достойная цель. Но далеко не все изменения, ставящие своей целью повышение качества образования, приводят к ней. Ряд мероприятий по первоначальному замыслу призванных улучшить, сделать эффективнее образовательный процесс не приносят желаемого эффекта.

В федеральных государственных образовательных стандартах (ФГОС) третьего поколения результатом образовательного процесса провозглашено формирование определенного набора компетенций. При этом в содержательной части стандартов перечислялись также базовые знания, умения и навыки, которые должны быть сформированы в процессе обучения, например, ^[1]. В новых редакциях стандартов ФГОС 3+ из содержательной части исключены формулировки знаний, умений и навыков ^[2]. Вероятно, это предполагает, что контролю подлежат только сформированные компетенции обучающихся.

По нашему мнению, такой подход требует полного перестроения организации образовательного процесса. В частности, отказа от предметной оценки знаний, умений и навыков. В данной работе мы не будем делать попыток выяснить преимущества предметной и блочно-модульной системы организации обучения. Отметим лишь, что на запрос «оценка компетенций» на ресурсе e-library выдается около 6000 ссылок. Многие авторы отмечают, что в нашей стране отсутствует единый инструментарий, позволяющий измерить и оценить результаты обучения ^[3-6].

Одним из выводов, который можно сделать из обзора литературы по методике оценки сформированности компетенций, является необходимость создания новых инновационных технологий комплексного оценивания совокупности знаний, умений, навыков и социально-личностных характеристик, формирующих компетенции. Отмечается, что компетентностный подход предполагает не простую трансляцию знаний и демонстрацию набора умений, а ситуационную деятельность по применению знаний и умений.

Широкое внедрение информационных технологий в образовательный процесс, развитие и востребованность дистанционных технологий требует совершенствования методик оценки качества образования с применением компьютеров. Наиболее распространенным является применение компьютерных тестов для проверки теоретических знаний. По физико-математическим, техническим дисциплинам тесты применяют также и для проверки умений решать определенные задачи. Но, все-таки, большинство тестов ориентированы на проверку наличия знаний некоторого фактографического материала. В то же время, как указывалось выше, компетентностный подход предполагает в первую очередь проверку умений.

В данной работе рассмотрены варианты применения компьютерных технологий для проверки определенной совокупности умений, традиционно проверяемых при помощи использования технических средств. Показано, что использование мультимедийных тестовых заданий позволяет автоматизировать процесс проверки широкого круга умений обучающихся.

Востребованность компьютерных технологий при оценке умений обучающихся объясняется не только желанием автоматизировать эту сторону образовательного процесса. По многим практическим дисциплинам применяемые традиционные методы проверки умений трудоемки, экономически затратны и, что не маловажно, не безопасны.

Например, проверка умения соблюдать определенную последовательность действий при настройке дорогостоящего оборудования. При необходимости провести проверку такого умения у большого числа обучающихся у преподавателя будет много времени тратиться на наблюдения за действиями обучающегося и на возврат настроек оборудования в исходное состояние. Применение компьютерного моделирования, соответствующих тренажеров может существенно повысить эффективность данного этапа образовательного процесса.

Компьютерные тесты позволяют эффективно проверять умения обучающихся выполнять действия, результат которого поддается формализации. Выше уже отмечалось, что решение задач по математическим и техническим дисциплинам заканчивается в большинстве случаев получением численного результата, что легко поддается проверке при помощи компьютера. Для сложных задач можно предусмотреть контроль промежуточных результатов, что позволит дифференцировать оценку за выполнение задания. В качестве примера данного типа заданий на проверку умений приведем следующие: определить, на какую частоту настроена выданная обучающемуся радиостанция; определить, какое слово содержалось в удаленном с флеш-накопителя текстовом файле.

К рассматриваемой группе заданий можно отнести также задания на проверку умений поиска необходимой информации, умения проводить классификацию (группировку) объектов по некоторым признакам и т.д.

Как предварительная оценка умений выполнять некоторые действия может быть использована оценка выделять из видео-, аудио материалов фрагменты, соответствующие правильным или ошибочным действиям. И, как отмечалось выше, широкий простор для проверки умений и даже навыков дает использование компьютерных симуляторов (тренажеров).

В меньшей степени компьютерные технологии применимы для проверки сформированных у обучающегося навыков. Но следует отметить, что на современном рынке труда спрос на сотрудников с высшим образованием, обладающих определенными навыками, фактически не сформирован. Это объясняется тем, что традиционно в российской высшей школе основной упор делался на фундаментальность образования. Авторы работы ^[7] отмечают, что «… сегодня основная часть сообщества работодателей в нашей стране не имеет профессиональных стандартов. В основной своей массе работодатели, топ‑менеджеры и собственники бизнес‑организаций не испытывают особого интереса к взаимодействию с вузами, полагая, что приняв на работу молодых специалистов с хорошей фундаментальной подготовкой, они смогут самостоятельно их доучить, обеспечив нужную профилизацию.»

По нашему мнению именно профилизация образования определяет перечень необходимых навыков у выпускников. Отсутствие сформированного спроса на рынке труда на навыки, конечно, не исключает их формирование в процессе обучения. Но если сравнивать перечень формируемых в образовательной организации навыков со знаниями и умениями, то последние явно превосходят навыки. Таким образом, на наш взгляд автоматизация проверки наличия навыков по сравнению с проверкой знаний и умений является задачей второстепенной.

При подготовке тестовых заданий для проверки умений необходимо соблюдать все требования, которые формулируют к тестам на проверку знаний. В ходе составления контрольно-измерительных материалов разработчики руководствуются такими требованиями, как: валидность (объекты оценки должны соответствовать поставленным целям обучения), надежность (использование единообразных стандартов и критериев для оценивания достижений), справедливость (обучающиеся должны иметь равные возможности для достижения успеха), эффективность (соответствие результатов деятельности поставленным задачам).

Относительно легко выполнить вышеуказанные требования при оценке теоретических знаний. Например, создав достаточно большое количество тестов разной степени сложности. Более трудная ситуация возникает, когда необходимо измерить степень освоения тех или иных операций, приемов, владений. Например, в рамках дисциплины «Специальная техника ОВД» это могут быть приемы работы с радиостанциями, металлоискателями, диктофонами и прочими приборами; в рамках дисциплины «Физическая подготовка» — правильность выполнения приемов боевого раздела; в рамках дисциплины «Огневая подготовка» — действия по командам руководителя стрельб.

Один из вариантов решения такой проблемы, удовлетворяющий вышеуказанным критериям, следующий. Формулируем практические задания по всем изученным техническим средствам. При этом, для контроля степени освоения умения работы с конкретным техническим средством необходимо предусмотреть по нескольку заданий: от простого, соответствующего пороговому уровню сформированности компетенций, до сложного, соответствующего продвинутому уровню. Далее присваиваем в зависимости от степени сложности задания соответствующее ему количество баллов. Для выполнения требования надежности блок контрольно-измерительных материалов для оценки практических умений в каждом варианте должен включать в себя полный набор заданий по всем возможным умениям, освоение которых предусмотрено в рамках изучаемой дисциплины. Причем, для выполнения принципа справедливости, предъявляемого к контрольно-измерительному материалу, обучающиеся должны иметь возможность набрать одинаковое максимальное количество баллов в любом варианте. Распределяя максимально возможные баллы между теоретическим тестированием и оценкой практических умений (например, 30 — за теоретическое тестирование, 70 за практическую часть), можно регулировать вклад каждой компоненты в общую оценку и достаточно надежно измерить степень сформированности компетенций дисциплины.

Следует заметить, что у представленного выше способа имеется один недостаток — он весьма трудоемкий для преподавателя. Проверка и оценка степени усвоения умений занимает вовсе не одну минуту. К примеру, чтобы выполнить все практические задачи по дисциплине «Специальная техника ОВД» на экзамене хорошо подготовленному обучающемуся необходимо минимум 90 минут времени. В этой связи, автоматизация измерения умений весьма актуальна. Причем, при реализации программ дистанционного образования, измерение умений в автоматическом режиме, дает дополнительные возможности для повышения эффективности дистанционного контроля уровня сформированности компетенций.

Обратимся к определению термина «умение». Умение — это освоенный субъектом способ выполнения действия, обеспечиваемый совокупностью приобретенных знаний и навыков. Формируется путем упражнений и создает возможность выполнения действия не только в привычных, но и в изменившихся условиях. Таким образом, при осуществлении умений обучающийся должен четко представлять себе порядок выполнения определенных операций, движений, манипуляций. Процесс правильного и неправильного выполнения заданий можно зафиксировать на видеосъемке. К примеру, правильность и неправильность выполнения приемов боевой борьбы или действий по команде «Оружие к осмотру» вполне возможно реализовать в видеоформате. При этом есть ряд преимуществ такого теста: зрительная визуализация правильного действия более информативна для обучающегося и воспринимается более легко обучающимся, чем действия, соответствующие правильным умениям, изложенные в текстовом виде (см. рис.1); при повторном решении обучающийся не сможет угадать правильный ответ по внешнему виду задания; достаточно значим его обучающий потенциал, т.к. просматривая правильную видеореализацию умения, проще повторить его на практике.

Рис. 1. Вид одного и того же тестового задания для измерения умений в текстовом формате (слева) и видеоформате (справа)

Другим вариантом реализации тестового задания на измерение умений может быть задание с видеофрагментом и предложением выбрать вариант ответов указывающих ошибки, сделанные в демонстрационном фрагменте.

Таким образом, для контроля умений можно использовать расширенный вариант тестового материала, который бы включал в себя видео-, а, возможно, аудиовизуальную часть. В настоящее время для целей тестирования широко практикуются традиционные тестовые задания: выбор одного или нескольких вариантов ответа; ввод ответа с клавиатуры; установка соответствия; расстановка в нужном порядке. Полагаем, что следующим этапом совершенствования тестов будет их реализация с использованием:

· вставки изображений различных форматов;

· вставки анимированных GIF-изображений;

· вставки произвольного HTML и JavaScript-кода (например, для интеграции видео из YouTube);

· вставки видео файлов с возможностью воспроизведения;

· вставку аудио файлов с возможностью воспроизведения;

· вставку произвольных файлов-вложений для скачивания.

Такие возможности предоставляет, к примеру, тестовая программа «Индиго» (рис. 2). Возможна реализация вышеуказанных опций и в программе тестирования ^[8,9], при минимальной ее доработке.

Широкие возможности для проверки умений дают компьютерные программы тренажеры. В работе ^[10] описан инструментарий для создания тренажеров по решению задач, требующих алгоритмизированных действий. В качестве примера рассмотрено расследование квартирной кражи. Собственно инструментарий позволяет создавать произвольные задания, выполнение которых регламентируется набором логических условий, допускающих выполнение одного из возможных действий или запрещающих таковые. Ошибки в действиях обучающегося разделены на критические и исправимые, что позволят ранжировать оценки даже при получении положительного итога.

Выше мы рассматривали уже существующие инструментарии, позволяющие автоматизировать процедуру проверки наличия определенных умений у обучающихся. Но в отдельных случаях можно использовать и специализированные компьютерные тренажеры, которые могут также применяться в процессе обучения. Например, как это указывалось ранее, симуляторы настройки режимов работы дорогостоящего оборудования ^[11].

Рис.2 Возможности контроля тестовой программы «Индиго» (ресурс http://indigotech.ru)

В настоящей работе приведены способы автоматизации процесса измерения степени сформированности умений. В частности, применение компьютерных программ тестирования с элементами мультимедиа и интерактивности позволит повысить эффективность работы преподавателя, снизить на него нагрузку при оценке умений. В результате целенаправленного формирования тестовых материалов, направленных на измерение умений, можно существенно повысить эффективность и надежность оценивания степени сформированности компетенций. Применение компьютерных технологий позволяет оценить степень сформированности всех или почти всех умений обучающихся за приемлемый временной интервал. Для проверки сложных комбинаций умений и знаний предлагается использовать компьютерные тренажеры.