книги / Управление образовательной деятельностью многопрофильного технического университета на основе негэнтропийного подхода

но до приёмлемого уровня, в работу включается модуль оценки качества образовательных технологий. С его помощью должны быть установлены слабые или излишне требовательные преподаватели, выявлены возможные конфликты участников процесса, нарушения структурнологических связей в последовательности дисциплин учебных планов и т. д. На этом же этапе становится возможной оценка качества результатов тестирования.

После того как появится уверенность в адекватности результатов тестирования действительному состоянию учебного процесса, становится возможной оценка уровня компетентности, достигнутой отдельными студентами и студенческими коллективами с помощью модуля оценки компетентности студентов.

Работа модуля формирования управленческих решений начинается сразу после того, как модуль проверки статистических гипотез устанавливает достаточность материала для принятия простых решений. Например, легко устанавливаются тестовые задания, правильно выполненные слишком большим (более 95 процентов) или, наоборот, слишком малым числом студентов при заданной достоверности результата, и так же легко принимается решение об удалении этих вопросов из базы тестовых заданий.

Для принятия других решений возникает необходимость подключения модуля кластерного анализа, работа которого иллюстрируется следующим примером. Опыт ведения образовательной деятельности показывает, что контингент студентов университета по уровню подготовленности, отношению к учёбе и достигнутым результатам может быть разбит на следующие квалификационные группы:

–основной массив студентов, характеризующихся средними уровнями подготовленности, отношения к учёбе и достигнутых результатов. Эта самая многочисленная группа обладает определённой количественной устойчивостью. К ней относятся студенты, достаточно подготовленные для обучения в университете и способные учиться достаточно напряжённо, а с другой стороны, минимизирующие усилия, затрачиваемые на учёбу, и удовлетворяющиеся средним уровнем оценок;

–студенты, характеризующиеся повышенным уровнем подготовленности, отношения к учёбе и достигнутых результатов. По большинству предметов эти студенты имеют отличные оценки;

–студенты, характеризующиеся недостаточным для учёбы в университете уровнем подготовленности, отношения к учёбе и достигнутых результатов. Эта группа характеризуется количественной нестабильно-

212

стью, поскольку значительная часть студентов из этой группы отчисляется из университета. Но поскольку условия формирования и сохранения данного кластера устойчивы (например, за счёт пополнения контингента студентов на контрактной основе и особых условий для пересдачи неудовлетворительных оценок), он обязательно присутствует и на младших курсах весьма заметен.

Наличие данных кластеров должно обязательно отражаться на результатах контроля знаний, что графически может быть представлено на графике ранжирования (рис. 5.6).

Рис. 5.6. Результат ранжирования студентов, прошедших тестирование

После проведения кластерного и корреляционного анализов согласно схеме (см. рис. 5.5) необходимо оценить качество как самих тестов, так и процедуры тестирования.

При исследовании качества тестов и процедуры тестирования проводится оценка надежности и эквивалентности тестов, а также дифференцирующей способности баз тестовых заданий. Мера надёжности средств, процедуры и результатов тестирования оценивается двумя способами: с помощью критерия согласия Пирсона (критерия «хи-квадрат»), методика применения которого подробно описана в [14–16], и оценкой ретестовой надёжности, устанавливаемой путём проведения повторного тестирования на той же выборке испытуемых, проходивших первое тестирование, с последующим расчётом коэффициента корреляции [14] ме-

213

жду результатами основного и повторного тестирования, проведёнными с интервалом 3–4 (но не более 6) месяцев. Надёжность средств, процедуры и результатов тестирования считается низкой, если коэффициент корреляции имеет значение порядка 0,5, считается средней – при коэффициенте корреляции порядка 0,65, считается высокой – при коэффициенте корреляции, большем 0,8.

Основанием для оценки дифференцирующей способности средств и процедуры тестирования являются следующие соображения. Опыт ведения образовательной деятельности показывает, что контингент студентов университета по уровню подготовленности, отношению к учёбе и достигнутым результатам может быть разбит на некоторые квалификационные группы с помощью процедуры кластерного анализа (см. рис. 5.6).

Если средства и процедура тестирования спроектированы и реализованы правильно, то факт наличия в каждом студенческом коллективе (в учебной группе, в потоке, на направлении или специальности, факультете и т. д.) студентов, принадлежащих к каждой из указанных групп, может быть установлен по результатам тестирования. Для этого в состав тестовых заданий, включённых в БТЗ, обязательно должны быть включены задания двух видов: среднего и повышенного уровней сложности.

Для проведения процедуры кластеризации студентов по результатам тестирования использовалсяметодК-средних, описанныйвработе [15].

Особо следует подчеркнуть необходимость проверки оценки дифференцирующей силы какого либо вопроса в тесте и/или теста в целом. Соответствующий алгоритм основан на применении критерия Стьюдента и позволяетсравниватьвыборки оценок«отличников» и«двоечников» [15, 16].

Остановимся подробнее на оценке валидности тестов. Основанием для оценки валидности средств, процедуры и результатов тестирования являются результаты прохождения конкретным контингентом студентов тестов по дисциплинам, объединённым структурно-логическими связями (СЛС), а также результаты итоговых испытаний по дисциплинам, по которым студенты подвергались рубежному тестированию. Наличие междисциплинарных структурно-логических связей может определяться тем, что рассматриваемые дисциплины последовательно формируют различные части, элементы или компоненты одной компетенции. Считается, что компоненты знаний, умений, навыков и опыта деятельности также связаны СЛС в соответствии с указанной последовательностью их приобретения.

Мерой валидности средств, процедуры и результатов тестирования может являться значение коэффициента корреляции между результатами тестирования по дисциплинам, связанными СЛС. Валидность средств,

214

процедуры и результатов тестирования считается низкой, если значение коэффициента корреляции – порядка 0,5, средней – при значении коэффициента корреляции порядка 0,65 и высокой – при коэффициенте корреляции, большем 0,8.

После проверки качества баз тестовых заданий и процедуры тестирования возникает возможность автоматизированной проверки качества знаний студентов и, как следствие этой проверки, – выработка управляющих воздействий на участников учебного процесса.

Следует отметить, что ФГОС ВПО в качестве результатов образования определяют компетенции выпускника в зависимости от уровня и направления подготовки ВПО. Вызывает некоторое сомнение тезис «студент освоил дисциплину, если он усвоил все дидактические единицы (ДЕ)». Это в известном смысле противоречит компетентностному подходу в профессиональном образовании. Современному специалисту необходима не просто сумма знаний, а умение использовать их при решении конкретных задач. Хотя и сумма знаний, безусловно, необходима как для принятия решений, так и для поиска нужной информации. Как достичь разумного баланса? Как настроить учебный процесс на формирование компетенций у будущего специалиста? Эти вопросы сегодня очень актуальны. Тестирование в основном предназначено для контроля знаний студента и позволяет, кроме прочего, оценить, насколько регулярно работал студент при изучении конкретной дисциплины. Убедиться в наличии компетенций можно, предложив студенту выполнить комплексное задание с привлечением любых вспомогательных материалов: книг, справочников, интернет-ресурсов, конспектов. Однако рассмотрение такого рода заданий, методики их создания, методов оценки результатов их выполнения требует дополнительных исследований. Здесь же знания рассматриваются как один из компонентов компетенции специалиста, на проверку качества которого и направлено компьютерное тестирование.

Важной составляющей методики оценки качества подготовки студентов по результатам компьютерного тестирования является модель информационно-аналитической поддержки принятия решений, которая должна содержать графические формы представления результатов: рей- тинг-лист; гистограмму плотности распределения результатов, карту коэффициентов решаемости заданий по темам; карту коэффициентов освоения дидактических единиц дисциплины; график освоения дисциплины; диаграмму упорядочения результатов контроля освоения ФГОС и т. п. Эти формы представления результатов компьютерного тестирования позволяют определить уровень и качество усвоения программного

215

материала по темам, группам обучающихся, уровню сложности, получить информацию о типичных ошибках и затруднениях. Кроме того, данная модель должна позволять формировать управляющие воздействия на всех участников учебного процесса, направленные на улучшение его качества. Эти рекомендации формируются в виде карточек предупреждающих и корректирующих воздействий и направляются всем участникам процесса, которые должны оперативно принимать управленческие решения (организационно-методические мероприятия) на основе данных рекомендаций и методических указаний, подготовленных заранее в УМУ университета. Схема системы управления учебным процессом на основе контроля знаний студентов приведена на рис. 5.7.

Рис. 5.7. Структурная схема системы управления учебным процессом на основе результатов компьютерного тестирования студентов

Следует отметить, что карточки предупреждающих и корректирующих воздействий желательно формировать не в бумажной, а электронной форме и доводить до каждого участника учебного процесса. Кроме того, в карточке предупреждающих и корректирующих воздействий должно быть предусмотрено поле для отметки участником процесса о выполнении рекомендаций. Данные отметки должны быть доступны ЦУКО университета для осуществления контролирующих функций и проверки эффективности «обратных связей» в АСУ УП ПНИПУ.

Остановимся на определении показателей качества учебного процесса. Под качеством учебного процесса здесь понимается не только качество

216

подготовки студентов, но и качество образовательных технологий, в том числе и качество тестов и процедуры компьютерного тестирования. Поэтому разрабатываемые показатели должны всесторонне отражать качество учебного процесса, чтобы на их основе можно было построить критерии качества всех управляемых подпроцессов (самообразования и обучения студентов, подготовки тестовых заданий, тестирования, формирования корректирующих воздействий на объекты управления). На рис. 5.8 приведена предлагаемая система показателей качества учебного процесса на основе результатовкомпьютерноготестированиястудентов.

Качество учебного процесса

Рис. 5.8. Система показателей качества учебного процесса на основе результатов тестирования

Как видно из рисунка, для оценки качества учебного процесса предлагается использовать следующие основные показатели:

•коэффициент решаемости тестового задания;

•коэффициент освоенияосновныхпонятий, модуляидисциплины;

•процент выполненных заданий;

•средняя оценка учебной группы по результатам тестирования;

•рейтинг студента и учебной группы;

•коэффициент наклоналинейноготрендауспеваемостистудентов;

•коэффициент корреляции результатов тестирования.

Имея результаты тестирования, можно измерить каждый из этих показателей и оценить качество подготовки специалистов, качество учебного процесса.

217

Критерии оценки качества учебного процесса можно разделить на четыре группы (см. рис. 5.8):

•Качество знаний студента. В данной группе проверяются полнота знаний студента, уровень подготовки, соответствие знаний программе дисциплины.

•Качество подготовки учебной группы. В данной группе про-

веряются полнота знаний и умений студентов учебной группы, уровень подготовки, соответствие знаний программе дисциплины.

•Качество тестов и процедуры тестирования. В данной группе проверяются точность, надёжность, эквивалентность тестов, производятся оценка валидности тестов, оценка сложности тестовых заданий и оценка качества работы авторов баз тестовых заданий.

•Качество образовательных технологий. В данной группе про-

веряется оценка качества результатов работы преподавателей дисциплин.

Оценка качества знаний (обученности) студентов складывается из множества факторов, зависящих как от качества образовательных технологий, так и способностей (мотивации) самих студентов к обучению. Поэтому здесь необходим индивидуальных подход, учитывающий возможности образовательной системы удовлетворить потребности каждого студента в получении необходимых компетенций (профессиональных и социальных), позволяющих ему стать конкурентоспособным на рынке труда. Однако для оценки качества всей образовательной системы вуза (факультета, кафедры) можно применять статистические показатели, получаемые в результате компьютерного тестирования.

Для проверки уровня подготовки студента следует анализировать

процент выполненных заданий (ПВ), вычисленный по теме (модулю,

дисциплине, всем дисциплинам, циклам дисциплин) в различные моменты времени (по датам рейтинговой аттестации, по семестрам, годам). Исходя из значений процента выполненных заданий, можно сделать следующие выводы:

1. Если ПВ < 40, значит, уровень подготовки студента по данной теме (модулю, дисциплине, циклу дисциплин) не соответствует внутривузовскому стандарту.

2. Если 40 < ПВ < 60, значит, уровень подготовки студента по данной теме (модулю, дисциплине, циклу дисциплин) не полностью соответствует внутривузовскому стандарту и требуется обратить внимание на низкий уровень знаний студента.

218

3.Если 60 < ПВ < 80, значит, уровень подготовки студента по данной теме (модулю, дисциплине, циклу дисциплин) соответствует внутривузовскому стандарту, однако требуется обратить внимание на невысокий уровень знаний студента.

4.Если ПВ > 80, значит, уровень подготовки студента по данной теме (модулю, дисциплине, циклу дисциплин) полностью соответствует внутривузовскому стандарту и данная тема (модуль, дисциплина, цикл дисциплин) освоена на высоком уровне.

Для проверки соответствия знаний студента программе дисциплины следует использовать средний процент выполненных заданий (ПВ),

вычисленный по всем понятиям темы дисциплины. Исходя из значений процента выполненных заданий, можносделатьследующие выводы:

1.Если ПВ < 0,6, то знания студента не соответствуют программе дисциплины и внутривузовскому стандарту.

2.Если ПВ > 0,6, то знания студента соответствуют программе дисциплины и внутривузовскому стандарту.

Для проверки полноты знаний студентов учебной группы следу-

ет использовать коэффициент освоения (КО), вычисленный для учебной группы вуза (факультета, направления подготовки, специальности) по одной дисциплине (всем дисциплинам, циклам дисциплин) в различные моменты времени (по датам рейтинговой аттестации, по семестрам, годам). Исходя из значений коэффициента освоения, как предлагает Национальное аккредитационное агентство (Росаккредагентство), можно сделать следующие выводы:

1.Если КО < 0,4, значит, дисциплина (все дисциплины, цикл дисциплин) освоена на низком уровне.

2.Если 0,4 < КО < 0,7, значит, дисциплина (все дисциплины, цикл дисциплин) освоена на удовлетворительном уровне.

3.Если КО > 0,7, значит, дисциплина (все дисциплины, цикл дисциплин) освоена на высоком уровне.

Для проверки соответствия знаний студентов учебной группы программе дисциплины следует использовать коэффициент освое-

ния, вычисленный для учебной группы вуза (факультета, направления подготовки, специальности) по всем понятиям и темам дисциплины в различные моменты времени (по датам рейтинговой аттестации, по семестрам, годам). На основе коэффициента освоения строится график освоения дисциплины. Исходя из значений коэффициента освоения и следуя модели, разработанной Национальным аккредитационным

219

агентством (Росаккредагентство), можно сделать выводы о качестве освоения тем учебного модуля дисциплины. Предложенная модель требует, чтобы все темы модуля были освоены не менее чем 50 процентами студентов. Половина тем модуля должна быть освоена 99 процентами студентов. По заданным точкам модели строится модельный график освоения дисциплины. На той же координатной плоскости строится реальный график освоения дисциплины студентами данной учебной группой. Согласно принятой модели реальный график должен быть выше модельного. В этом случае считается, что уровень подготовки студентов по данной дисциплине соответствует вузовскому стандарту и требованиям ФГОС.

Основанием для оценки точности, надёжности и эквивалентности средств, процедуры и результатов тестирования являются результаты повторного прохождения одним и тем же контингентом студентов тестов, сформированных из одной и той же базы тестовых заданий (БТЗ).

Основной мерой надёжности средств, процедуры и результатов тестирования является значение ретестовой надёжности и коэффициентов корреляции Спирмена или Пирсона между результатами основного и повторного сеансов тестирования, проведённых с интервалом 3–4 (но не более 6) месяца.

Ускоренной реализацией меры эквивалентности средств, процедуры и результатов тестирования является значение ретестовой надёжности и коэффициента корреляции между результатами выполнения одними и теми же студентами тестов, сначала сформированных из тестовых заданий, относящихся к первому набору, а спустя 3–4 дня – ко второму набору тестовых заданий, эквивалентных по содержанию, но отличающихся формой представления.

Непосредственно по результатам тестирования должен использоваться метод раздельного коррелирования. Для получения величины коэффициента надёжности сравниваются результаты выполнения двух случайно выбранных частей теста, равных по числу тестовых заданий.

Для оценки надёжности тестов следует использовать коэффициент корреляции (КК) между результатами повторного тестирования, вычисленный для студентов учебной группы вуза (факультета, направления подготовки, специальности) по одной дисциплине в различные моменты времени (но не позднее 6 месяцев после проведения первой процедуры тестирования). Исходя из значений коэффициента корреляции, можно сделать следующие выводы:

220