книги / Управление образовательной деятельностью многопрофильного технического университета на основе негэнтропийного подхода

же коллективом разработчиков по принципу «добавь элементы неизвестного качества взамен заведомо плохих», будет в среднем приводить к повышению качества функционирования системы. Следовательно, упорядоченность процессов будет возрастать, а энтропия системы – уменьшаться, что эквивалентно привнесению в систему с каждой порцией замещающих элементов порции отрицательной энтропии.

Предложенный алгоритм негэнтропийного управления качеством системы контроля уровнем подготовки студентов был использован для повышения качества баз тестовых заданий и процедуры компьютерного тестирования в ПНИПУ, что позволило снизить количество проявлений некачественности системы контроля текущих знаний студентов на 37 % и обеспечить значительное повышение доверия к системе автоматизированного контроля как со стороны студентов, так и со стороны преподавателей, которые стали шире учитывать результаты централизованного рубежного тестирования студентов в промежуточной аттестации.

Только после этого система управления качеством образования в ПНИПУ была использована при оценке качества образовательных технологий, используемых в преподавании конкретных дисциплин. Как отмечено в 5-й главе, показатели качества освоения каждой учебной группой каждого модуля дисциплины должны находиться в корреляционной связи с результатами освоения этой же группой других учебных дисциплин, а также с результатами освоения этого модуля другими учебными группами. Если данная корреляционная связь отсутствует, то этот результат может свидетельствовать о несоответствии уровня преподавания контролируемой дисциплины уровню учебного заведения или о нарушениях учебного процесса, или о наличии конфликтов в коллективе.

После того как появилась уверенность в приемлемом качестве обучения и контроля результатов учебного процесса, становится возможным использование результатов тестирования для выработки необходимых предупреждающих и корректирующих действий в отношении студентов, демонстрирующих недостаточный уровень знаний при тестировании.

6.3. Демонстрационный пример управления качеством реализации образовательных программ

подготовки бакалавров

Рассмотрим пример, демонстрирующий возможности предложенного в 4-й главе алгоритма комплексного негэнтропийного оценивания уровня сформированности компетенций студентов при управлении каче-

261

ством реализации образовательных программ подготовки бакалавров. При этом процесс реализации учебного процесса моделируется с помощью имитационной деловой игры (ИДИ).

Имитационное моделирование является наиболее ценным системообразующим звеном в системах поддержки принятия решений, так как позволяет исследовать большое число альтернатив (вариантов решений), проигрывать различные сценарии при изменяющихся входных данных [17, 18]. Применение делового имитационного моделирования при разработке механизмов управления сложными системами позволяет осуществить экспериментальную проверку теоретических результатов и практических предложений по созданию новых и совершенствованию существующих механизмов.

Имитационная деловая игра моделирует процессы принятия решений по вопросам управления уровнем профессиональной подготовки (УПП) на примере первого контура модели управления (рис. 6.5) – процесса формирования дисциплинарных компетенций, ответственного за управление знаниевым компонентом компетенций, а именно формирования знаний i-й компетенции из j-й группы компетенций, заявленных в соответствующей ООП вуза.

Рис. 6.5. Трёхконтурная модель управления уровнем подготовки студентов

262

Вобщем случае считается, что весь учебный процесс можно условно разбить на 3 части: процесс формирования дисциплинарных компетенций, процесс базовой профессиональной подготовки и процесс профильной профессиональной подготовки [19].

При этом можно считать, что:

– 1-й контур (КУЗ) отвечает за управление уровнем знаниевого компонента компетенций, который формируется в процессе изучения учебных дисциплин;

– 2-й контур (КУУ) – за управление уровнем формирования у студентов умений при выполнении курсовых и лабораторных работ, индивидуальных практических заданий и т. д.;

– 3-й контур (КУВ) – за управление формированием у студентов владений при выполнении междисциплинарных практических разделов ООП (производственной практики, НИРС, выполнении ВКР).

При обработке текущих образовательных результатов студентов после каждого семестра используются негэнтропийный подход и линей- но-нелинейные свёртки, описанные в 4-й главе книги.

Вданном примере рассматривается задача увеличения уровня сформированности компетенций на текущий момент времени. Решение этой задачи должно проводиться в три этапа:

1) построение объекта управления на текущий момент времени;

2) оценка текущего уровня сформированности компетенций; 3) локализация «узких мест» и принятие соответствующего управ-

ленческого решения с целью коррекции процесса формирования дисциплинарных компетенций.

Для решения поставленной задачи имитируется модель объекта

управления на текущий момент времени (t0), которая представляет собой срез оценочных данных и распределение трудоёмкости между учебными дисциплинами и практическими разделами ООП, участвующими в формировании исследуемых компетенций. Последние данные берутся из учебного плана ООП, сформированного на базе разработанной вузом компетентностной модели выпускника (см. 4-ю главу). Оценочные данные (определённый срез) предоставляются преподавателями, деканатами

иберутся из базы данных рубежного контроля знаний и умений студентов, полученных с помощью компьютерного тестирования.

Участниками данной игры являются менеджер ООП (модератор), преподаватели, работодатели и студенты.

На первом этапе ИДИ применяемый эталонный стандартизированный механизм измерения уровня сформированности набора компетенций отдельного студента, который основан на разработанном алгоритме агре-

263

гирования оценочных данных в комплексную оценку и учитывает элементы семантики образовательных технологий с компетенциями и группами компетенций, подвергается процедуре сертификации путём параметрического синтеза комплексного оценивания [20, 21]. Получение согласованных экспертных оценок параметров эталонного механизма оценивания проводится с помощью неманипулируемых методов усреднения экспертной информации [22]. Необходимость данной процедуры обусловлена, с одной стороны, большой чувствительностью комплексной оценки к различным вариациям параметров комплексного оценивания, а, с другой стороны, необходимостью проверки достоверности при сопоставлении результатов, полученных традиционными механизмами, предполагающими усреднение оценочных данных, и инновационным механизмом, основанным на негэнтропийном подходе и композиции линей- но-нелинейных матричных свёрток оценочных данных. Также идея сертификации эталонного стандартизированного механизма заключается в проведении серии вычислительных экспериментов с индивидуальными оценочными данными xи. по учебным дисциплинам и практическим разделам ООП вуза, а также проверки чувствительности полученной комплексной оценки к изменению этих данных, принимая во внимание отдельные компетенции и группы компетенций.

С этой целью на первом шаге игры менеджер ООП (модератор) просит высказать мнение участников игры относительно следующих параметров эталонного инструмента оценивания:

–преподавателей – относительно возможного количества негэтропии

Еji d , накапливаемой студентом при освоении конкретной дисциплины с со-

ответствующими оценками «отлично», «хорошо», «удовлетворительно»;

– преподавателей – относительно параметров линейной свёртки, определяющей негэнтропийную оценку Еji сформированности компе-

тенций, а именно значение эффективной трудоёмкости Tji d каждой дис-

циплины для формируемых компетенций;

– работодателей – относительно степени важности компетенций в группе.

На втором шаге игры менеджер ООП определяет уровень сформированности набора компетенций традиционными механизмами, основанными на усреднении оценочных данных по дисциплинам, и линейной свёрткой средних оценок по группам компетенций.

На третьем шаге игры менеджер ООП оценивает уровень сформированности набора компетенций разработанным инновационным механизмом,

264

основанным на негэнтропийном подходе и композиции линейно-нели- нейных матричных свёрток рабочим инструментом с предварительным усреднениеминдивидуальныхоценочныхданных подисциплинам.

Первоначально с помощью инновационного рабочего инструмента определяется уровень сформированности отдельных компетенций в учебной группе в зависимости от оценочных данных по отдельным дисциплинам и их эффективных трудоёмкостей, который описывается линейной свёрткой (4.2), приведённой в 4-й главе.

Затем, имея исходную информацию о трудоёмкости дисциплин Tjmaxi d , участвующих в формировании компетенций, и матрицы распределения дисциплин между компетенциями, определяется эффективная трудоёмкость Tji d формирования части компонента i-й компетенции в рам-

ках дисциплины, исходя из экспертно устанавливаемой и закреплённой рабочей программой дисциплины доли участия этой дисциплины d в формировании конкретной i-й компетенции.

Текущий уровень сформированности компетенции предполагается сопоставлять с количеством полезной информации в условных единицах (у. е.), получаемой студентом в ходе образовательного процесса и необходимой ему для последующего успешного решения производственных

задач. Зависимость оценочных данных xji d по учебным дисциплинам и

практическим разделам ООП, участвующих в формировании компетенций, и эффективной трудоёмкости описывается кривыми, подобными кривым «научения», описанным в 4-й главе. Далее определяется уровень сформированности групп близких компетенций на текущий момент времени с применением линейной свёртки (4.3), где степень важности отдельной компетенции выражается ранжированными коэффициентами.

Для определения текущего уровня сформированности групп компетенций из различных областей (например, общекультурных и общепрофессиональных) используются нелинейные матричные свёртки, агрегирующие уровень сформированности групп компетенций в комплексную оценку. Для решения этой задачи используется модель комплексного оценивания уровня сформированности набора компетенций, приведённая в 4-й главе.

Необходимо отметить, что вычислению комплексной оценки предшествует процедура приведения количественных значений частных критериев из шкалы измерения в стандартную шкалу комплексного оценивания, т. е. приведение негэнтропийных оценок к качественной четырехбалльной шка-

265

ле (рис. 6.6) [23, 24]. Данная процедура необходима для обеспечения процесса свёртки гетерогенных критериев в комплексную оценку, а именно для свёртки групп компетенций в интегральный показатель уровня сформированности набора компетенций. При этом экспертным образом устанавлива-

ется максимальное Еmaxj и минимальное Еminj количество негэнтропии, накапливаемое приформированиигрупп компетенций.

Рис. 6.6. Функция приведения негэнтропийных оценок к стандартной шкале комплексного оценивания

На четвёртом шаге игры менеджером ООП производится сопоставление результатов вычисления уровня сформированности набора компетенций с результатами эталонного механизма оценивания при использовании комплексной оценки уровня сформированности набора компетенций на основе негэнтропийного подхода и композиции линейнонелинейной свёртки индивидуальных образовательных результатов конкретного студента [25, 26]. Эта оценка, полученная эталонным механизмом измерения, необходима для сопоставления результатов, полученных традиционными методами оценки текущего уровня сформированности набора компетенций (с помощью рабочего механизма измерения уровня профессиональной подготовки), с эталонным механизмом с целью определения эффективности рабочего инструмента. Однако эта оценка не ведёт к локализации проблемных участков профессиональной подготовки всего контингента обучаемых, а только к коррекции индивидуальных об-

266

разовательных траекторий, поэтому она не может использоваться для мониторинга текущего уровня профессиональной подготовки в рамках всей рассматриваемой ООП.

На пятом шаге игры менеджером ООП (модератором) задаётся необ-

ходимоеприращениеуровнясформированности наборакомпетенций	ˆ
	X .

На шестом шаге игры менеджер ООП в задачах повышения уровня сформированности набора компетенций использует традиционные механизмы управления, например, модернизацию учебного оборудования, привлечение профессорско-преподавательского состава более высокой квалификации, улучшение учебно-методического материала и т. п. Указанные средства управления характеризуются увеличением финансовых ресурсов для достижения поставленной цели – повышения уровня профессиональной подготовки выпускников.

На седьмом шаге игры менеджером ООП используется разработанный механизм локализации проблемных участков образовательного процесса [27]. Инновационный механизм измерения текущего уровня сформированности компетенций изначально был ориентирован на возможность осуществления обратной процедуры декомпозиции с целью определения проблемных «узких» мест образовательного процесса. Исходными позициями для решения этой задачи являются текущие оценочные данные по отдельным дисциплинам ООП формирования измеряемого компонента компетенций, комплексная оценка уровня профессиональной подготовки на текущий момент времени со всей совокупностью промежуточных результатов вычисления и обоснованное рыночными обстоя-

тельствами планируемое приращение комплексной оценки	ˆ
	X .

Этапы декомпозиции соответствуют обратному порядку построения линейно-нелинейной свёртки оценочных данных. На первом этапе задача решается на основе линеаризации матричной свёртки с учётом исходных данных и промежуточных результатов агрегирования.

После определения приращения уровня сформированности группы компетенций X j менеджер ООП, анализируя сложившуюся динамику

процесса формирования групп компетенций с позиции оценочных данных, характеризующих данный процесс, и степеней важности компетенций в группе, распределяет полученное приращение между группами компетенций наилучшим и обоснованным, по его мнению, образом.

Для коррекции ООП менеджер может выбрать компетенции, отличающиеся низким уровнем накопленной негэнтропии Eji в сочетании с

высокой степенью их важности.

267

На заключительном этапе декомпозиции в отношении выделенных вразличных группах «проблемных» компетенций менеджером ООП при участии ответственных за них преподавателей вырабатываются рекомендации по повышению эффективности процесса накопления информации при освоениидисциплин, участвующихвформированииэтих компетенций.

Коррекции на данном уровне могут привести к перераспределению эффективной трудоёмкости между дисциплинами, участвующими в формировании «проблемных» компетенций. Данная технология управления считается беззатратной, так как не требует дополнительных затрат, и может быть реализована в рамках функциональных обязанностей управленческого персонала и профессорско-преподавательского состава.

На последнем шаге игры менеджером ООП, после определения «узких» мест в образовательном процессе и внесения соответствующих коррекций, процедура измерения текущего уровня сформированности компетенций рабочим инструментом повторяется вновь, а полученные результаты сравниваются с результатами, полученными при помощи эталонного стандартизированного механизма.

Рассмотрим применение предложенного механизма управления на примере фрагмента ИДИ с использованием реальных экспериментальных данных, полученных при анализе качества подготовки бакалавров по направлению «Строительство», реализуемому в ПНИПУ. Данная игра проводилась на строительном факультете под руководством старшего преподавателя А.Ю. Букаловой, которая осуществляла все вычислительные эксперименты [28, 29]. Кроме того, в деловой игре в качестве экспертов принимали участие ведущие преподаватели и методисты ПНИПУ, отвечающие за реализацию исследуемой образовательной программы, а также основные работодатели, заинтересованные вполучениикомпетентныхвыпускников.

В ходе серии вычислительных экспериментов на конкретной задаче проверяются эффективность разработанных алгоритмов агрегирования оценочных данных, основанных на негэнтропийном подходе и композиции линейно-нелинейных матричных свёрток, а также алгоритм локализации проблемных участков образовательного процесса.

Исходными данными игры является объективная и достоверная информация о параметрах учебного процесса: три варианта оценочных данных по дисциплинам в срезе окончания первого курса обучения бакалавров, сформированные случайным образом (табл. 6.2), матрица соотношения дисциплин и компетенций, трудоёмкость дисциплин, успешно пройденных и оценённых, участвующих в формировании компетенций согласно учебному плану подготовки бакалавров.

268

Необходимо отметить, что из анализа спроектированной выпускающей кафедрой КМВ следует, что пройденные и оцениваемые в конце первого курса дисциплины участвуют в формировании трёх компетенций, отнесенных к двум группам (общекультурные и профессиональные компетенции): ОК-1, ПК-1, ПК-3.

Таблица 6 . 2 Оценочные данные по учебным дисциплинам

Шаг 1. Считается, что степень влияния дисциплин на формирование указанных компетенций определяется трудоёмкостью этих дисциплин и установленной экспертно долей трудоёмкости этой дисциплины, выделяемой для формирования указанных компетенций. Определение эффективной трудоёмкости дисциплины в формировании компетенций ОК-1, ПК-1 и ПК-3 представлено в табл. 6.3.

Экспертным способом на данном шаге игры определяются остальные параметры комплексного оценивания.

269

Таблица 6 . 3

Определение эффективной трудоёмкости образовательных технологий участвующих, в формировании компетенций

Дисциплина		Параметр		Трудоёмкость
	Общая	Доля участия
	трудоёмкость	трудоёмкости		формирования час-
	дисциплины	дисциплины d в		ти компонента ком-
	Tjmaxd , ч	формировании		петенции в рамках
	i	компетенции		соответствующей
				педагогической тех-
				нологии Tj d , ч
				i
	Общекультурная компетенция ОК-1
Философия	180	0,25		45
История	180	0,35		63
	Общепрофессиональная	компетенция ПК-1
Математика	504	0,35		176
Физика	324	0,35		113
Химия	108	0,65		54
Информатика	144	0,25		36
	Общепрофессиональная	компетенция ПК-3
Инженерная графика	144	100		144

Согласно методике активной экспертизы [22] определения взвешенных коэффициентов, ранжированных по степени важности, были получены следующие результаты. Экспертам, количество которых равно пяти, предлагалось высказать своё мнение относительного максимального и минимального значения критериев, определяющих степень важности компетенции ПК-1 и ПК-3 в группе общепрофессиональных компетенций: доля производственных задач, в которых участвует конкретная компетенция из указанной группы, и время, необходимое на реализацию этой компетенции при решении задачи. Для определения согласованного минимального и максимального значения критериев применяется механизм активной экспертизы, предложенный в работе [22]. На основании анализа и диалога с работодателями менеджером ООП было установлено, что доля задач, в которых участвует общепрофессиональная компетенция ПК-1, составляет 37 %, а ПК-3 – 58 %; время, необходимое на реализацию этих компетенций при решении производственных задач, – 58 и 42 минуты соответственно. Полученные результаты приводятся к стандартной 4-балльной шкале комплексного оценивания (рис. 6.7).

Обработав полученные данные, определили, что взвешенные коэффициенты важности компетенций ПК-1 и ПК-3 составляют 0,44 и 0,56

270