Раздел 1.

ТЕОРЕТИКО-МЕТОДОЛОГИЧЕСКОЕ ОБОСНОВАНИЕ.

ПРОБЛЕМА ИССЛЕДОВАНИЯ:

ФОРМИРОВАНИЕ СИСТЕМЫ ОБЩЕСТВЕННОЙ ЭКСПЕРТИЗЫ ОБРАЗОВАНИЯ.

Параллельно с разработкой муниципальной модели СОКО, основанной на объективной статистике по оценке стандарта качества, в рамках КПМО стартовал проект по разработке концепции общественной экспертизы образования, миссия которой состоит в изучении субъективного мнения населения по воплощению образовательных стандартов качества в конкретные результаты деятельности.

По данным Рособрнадзора - система оценки со стороны населения развита недостаточно, хотя и включена в систему мониторинга СОКО. Требования КПМО сформировали регулярную практику проведения опросов населения по оценке качества образовательных услуг, непосредственно затрагивающих его интересы. C2008г. г.Барнаул осуществляет замер общественного мнения в лонгитюде всего экспериментального периода федеральных проектов (КПМО 2008-2009, ННШ 2010-2011, МРСО 2011-2013), федеральных и региональных целевых программ (План модернизации образования 2011-2015, Программа развития образования 2013-2020, Программа развития образования г.Барнаула 2013-2017). В этих целях Комитетом по образованию с 2008г. проводятся массовые опросы родительской общественности о степени удовлетворенности качеством предоставления бюджетных услуг в системе дошкольного, общего и дополнительного образования.

Целью опросов является формирование общественной экспертизы оценки качества бюджетных услуг.

Система критериев общественной оценкикачества бюджетных услуг ОУ и система нормативных критериев качества бюджетных услуг не равнозначны и не эквивалентны.Мониторинг качества бюджетных услугимониторинг общественной оценки качества предоставляемых услугне совпадают по:

1. показателям и индикаторам для измерения одного и того же критерия оценки (пример:

оценка комплектации кадров)

2. зачастую не совпадают по самим критериям (пример:% педагогов с регулярным повышением квалификации может бытьвычислен объективно, ноне имеет смысла для субъективной оценки родителями¹).

Выводы:

1. Не все критерии качества бюджетных услуг могут или должны быть автоматически перенесены для оценки методом общественной экспертизы;

2. Не все критерии качества бюджетных услуг будут иметь сходное параметрическое описание для системы объективной и субъективной оценки;

3. Не все идентичные параметры профессиональной и субъективной оценки могут быть измерены в эквивалентной системе индикаторов;

4. Сетка нормативных показателей качества бюджетных услуг не может быть автоматически перенесена для их измерения методом общественной экспертизы (показатели не валидны для их измерения шкалами субъективных оценок);

5. Необходима сетка показателей общественной оценки качества бюджетных услуг (федеральный и региональный стандарт отсутствует, существуют тестовые варианты, апробируемые центрами оценки качества образования и центрами общественной экспертизы в образовании).

Опросы общественности по оценке качества услуг ОУ могут носить:

1. прямой характер опросных методов(анкеты и опросные листы, разработанные на основе стандартной сетки критериев, показателей и индикаторов по каждой услуги для системы общественной экспертизы),

2. опосредованный характер оценки статистической информации(предоставляется статистика оценки качества услуг в образовании и опрашивается степень удовлетворенности достигнутыми показателями в восприятии общественности).

В этой связи ключевыми задачами по формированию системы общественной экспертизы муниципальных образовательных услуг на этапе внедрения КПМО стали:

1. Разработка критериев и измерительной технологии для оценки качества бюджетных услуг (по видам ОУ) методами общественной экспертизы.

2. Разработка открытой ежегодной статистической аналитической справки о состоянии качества предоставляемых услуг ОУ города для населения.

3. Определение субъектов-участников общественной экспертизы по видам ОУ.

4. Разработка стандартного инструментария для опросов населения по видам ОУ

5. Формирование квотной репрезентативной выборки для общественной экспертизы качества предоставляемых бюджетных услуг сетью ОУ города.

Мониторинг опросов удовлетворенности 2010-2011гг. включал редакцию инструментария, сформированную по критериям МСОКО, с целью получения обратного отклика по реализации текущих федеральных и региональных проектных инициатив. При этом, критериальная база инструментария относительно оценки ДОСТУПНОСТИ и КАЧЕСТВА образовательных услуг практически не менялась, изменялась система параметров и индикаторов для каждого критерия.

Теоретико-методологическое обоснование для методики формализации «индекса удовлетворенности»²образовательными услугами включало следующие вопросы:

1. Раздел общественной экспертизы на уровне НСОКО и МСОКО.

2. Проектные и экспериментальные моделиосуществления общественной экспертизы оценки качества образованием.

3. Параметрические моделиобщественной экспертизы: критерии, показатели, индикаторы.

4. Методы и технологииобщественной экспертизы ( на основе прямых опросов и анкетирования, а также на основе отношения к образовательной статистике).

5. Формы представления образовательной статистики для населениякак потребителей услуг.

6. Соотношение статистики стандартовпредоставления услугстатистике отношенийк качеству предоставляемых услуг (проблема содержательного соответствия и математических методов)

ЦЕЛИ И ЗАДАЧИ ИССЛЕДОВАНИЯ.

Проведение опросов населения осуществляется в целях выявлениямнения населения о качестве предоставляемых ОУ бюджетных услуг, непосредственно затрагивающих его интересы.

Основными задачами оценки соответствия качества бюджетных услуг стандартам качества предоставления бюджетных услугявляются:

1. создание системы мониторинга деятельности бюджетных учреждений с учетом мнения населения, общественных организаций о качестве предоставляемых бюджетных услуг;

2. формирование информационной базы о качестве фактически предоставленных бюджетных услуг для принятия решений о направлениях и способах оптимизации расходов бюджета;

Настоящее исследование направлено на решение задачи, обозначенной в п.1 в части сегмента «родительская общественность» и реализуется методами социально-психологических опросов населения как потребителей образовательных услуг.

ПРЕДМЕТ ИССЛЕДОВАНИЯ:

ИНТЕГРАЛЬНЫЙ КРИТЕРИЙ И ПОКАЗАТЕЛЬ.

Предмет исследования – система показателей удовлетворенности населения качеством предоставляемых бюджетных образовательных услуг муниципальными учреждениями образования.

Исследуемый критерий:

Удовлетворенность населения качеством общего образования, начального и среднего профессионального образования.

Интегральный показатель критерия:

Индекс потребительской удовлетворенности. («Модельная методика расчета индекса потребительской удовлетворенности бюджетной услугой»).

Описание:показатель отражает степень удовлетворенности населения объемом и качеством предоставляемых услуг в сфере общего образования. Динамика изменения данного показателя позволяет получить дополнительную оценку принимаемых органами исполнительной власти мер по организации общедоступного и бесплатного начального общего, основного общего, среднего (полного) общего образования.

Интегральный показатель складывается из весовых коэффициентов целостной системы показателей, по индикаторам (реальным измеряемым переменным) которых можно судить о степени результативности оказания бюджетных услуг на взгляд общества. Система таких показателей, их весовые соотношения и конкретные индикаторы для общественной системы СОКО находятся на стадии разработок и не регламентированы федеральным стандартом, в отличие от общей схемы базовых нормативов по оценке стандарта качества образовательных услуг.

Исследования воплощения стандарта качества, егопрофессиональной иобщественной экспертизысоставляют предмет современных мониторинговых исследований по реализации концепции ОСОКО.

Наиболее разработанными на текущий момент являются измерительные модели для оценки стандарта качества (с жестко регламентируемыми критериями, но частично вариативными показателями и индикаторами). Менее разработаны критерии, показатели и индикаторы для моделей профессионального аудита. И совсем мало разработок, посвященных описательной базе критериев общественной оценки, вопросам «по каким показателям и тем более, измерительным индикаторам» должна проходить экспертиза общественного мнения.

Понятно, что параметрические модели стандарта и профессионального аудита имеют больше взаимных соответствий, лучше формализуются, так как основаны на системе объективных показателей. В основе же общественной экспертизы лежат субъективные оценки воплощения регламентируемых стандартов в результаты деятельности³.

В 2010г. на базе ВШЭ (Москва) была защищена докторская диссертация по экономике, предметом которой стала модельная методика расчета индекса потребительской удовлетворенности. Данная методика прошла апробацию в различных сферах оказания бюджетных услуг и имеет возможность сравнения данных (по видам учреждений, по видам бюджетных услуг) в единой математической модели.

Расчет индекса потребительской удовлетворенности представлен вМетодике 2012.

Коэффициент удовлетворенности определяется как сумма средних значений удовлетворенности по влияющим на качество и доступность обслуживания факторам, взвешенных с учетом значимости этих факторов для обеспечения качества и доступности.

Формализация расчета коэффициента удовлетворенности с учетом весовых коэффициентов оценки важности каждого фактора в общественном мнении более затратная, но с точки зрения ИЗМЕРЕНИЯ является более точной и репрезентативной ВЗВЕШЕННОЙ ОЦЕНКОЙ. В результате методика позволяет осуществить кластерный анализ зон риска в образовательной сети, образовательной системе и образовательной политике.

Параметрическая база факторной модели для ИНДЕКСА УДОВЛЕТВОРЕННОСТИ соответствует ТЕКУЩИМ ИНТЕГРАЛЬНЫМ КРИТЕРИЯМ ОЦЕНКИ ДОСТУПНОСТИ И КАЧЕСТВА БЮДЖЕТНЫХ УСЛУГ, обоснованных в концепции НСОКО, нормативных требованиях новых ФГОС, федеральных мониторингах оценки качества реализации проектных инициатив (МНШ, МРСО), а также целевых индикаторах Программы развития образования г.Барнаула на 2013-2017гг.

ТРЕБОВАНИЯ К СИСТЕМЕ ПОКАЗАТЕЛЕЙ

При разработке показателей результативности оказания бюджетной услуги следует учитывать, что каждый показательдолжен быть:

специфичным(измерять результат деятельности по предоставлению бюджетных услуг);

измеряемым(иметь информационную базу для оценки);

достижимым(относиться к сфере деятельности бюджетного учреждения, предоставляющего бюджетную услугу);

определенным во времени(подлежать оценке по истечении отчетного периода).

Это стационарные требования к любой подсистеме ОСОКО, в том числе и системе общественной оценки - одной из трех главных составляющих ОСОКО.

Система оценки качества образования включает: национальный, федеральный, региональный, муниципальный уровень, уровень образовательного учреждения, уровни участников образовательного процесса (педагоги, обучающиеся, родители (законные представители).

Функциональная составляющая деятельности оценки качества образования на каждом уровне характеризуется:

• инвариантной составляющей, обеспечивающей интересы вышестоящего уровня (федерации, региона, муниципалитета и т.д.)  в вопросах управления качеством образования;

• вариативной составляющей, которая обеспечивает собственные приоритеты развития качества образования (региона, муниципалитета, отдельного образовательного учреждения).

Таким образом, любой критерий оценки качества не будет абсолютно однородным по системе показателей (о чем спрашивать), и тем более индикаторов (как спрашивать). Поэтому соответствие нормативов, профессиональных эталонов и общественных эталонов гарантировано на уровне номинальных критериев (номинальное соответствие –одинаковоенаименованиекритериев). Но развертывание критериев по содержанию в каждом случае будет свое, поэтомуфункциональное соответствие всегда будет относительным. Математическая задача – сделать его как можно более тесным на языке математических зависимостей. Тогда действительно можно говорить о том, что государственный заказ формируется и соответствует требованиям профессионального рынка и общества.

Поэтому, даже на уровне определения, ОСОКО как системная модель состоит из функционально взаимосвязанных между собой процедур оценки качества образования, измерительных средств и инструментов, организационных структур, осуществляющих оценку качества образования.

ПОНЯТИЙНАЯ БАЗА ИССЛЕДОВАНИЯ.

Основные понятия:

бюджетная услуга- нематериальный результат деятельности бюджетных учреждений, связанный с выполнением зафиксированных законодательством функций, профинансированных за счет бюджетных источников и предоставленный как обществу в целом, так и индивидуальным потребителям на нерыночной основе;

бюджетное учреждение - организация, созданная органом местного самоуправления для осуществления управленческих, социально-культурных, научно-технических или иных функций некоммерческого характера, деятельность которой финансируется за счет местного бюджета на основе сметы доходов и расходов;

стандарт качества предоставления бюджетных услуг- совокупность целевых значений качественных и количественных показателей результативности оказания бюджетной услуги, описание технологии оказания бюджетной услуги, набор объемных индикаторов ресурсов, отражающих структуру затрат;

объекты оценки соответствия качества бюджетных услуг- бюджетные услуги, предоставляемые бюджетными учреждениями за счет средств бюджета города

Качество образования– интегральная характеристика системы образования, отражающая степень соответствия реальных достигаемых образовательных результатов, условий образовательного процесса нормативным требованиям, социальным и личностным ожиданиям.

Оценка качества образования– процесс, в результате которого определяется степень соответствия измеряемых образовательных результатов, условий их обеспечения зафиксированной в нормативных документах системе требований к качеству образования.

Основными пользователями информации о результатах оценки качества образования являются:

• обучающиеся и их родители (законные представители);

• педагогические коллективы образовательных учреждений;

• органы, осуществляющие  управление в сфере образования;

• работодатели;

• общественные организации; СМИ и др.

Они же являются субъектами общественной экспертизы.

Общественная экспертиза качества образования–

совокупность мнений заинтересованных в образовании сторон относительно соответствия ресурсов, процесса и результата образования требованиям современного общества.

Общественная экспертиза качества образования обеспечивает соответствие требований, предъявляемых к качеству образования социальным ожиданиям и интересам общества и развитие механизмов независимой экспертизы качества образования.

НСОКО предполагает обязательное привлечение общественности к внешней оценке качества образования на всех уровнях и ступенях. Система общественной экспертизы качества образования обеспечивает организацию деятельности общественных экспертов в сфере образования, представительство и участие экспертов в проведении контрольно-оценочных процедур.

Под образовательной услугойпонимают:

1. «объем учебной и научной информации как суммы знаний общеобразовательного и специального характера, а также практических навыков, передаваемых личности по определенной программе».

2. «целенаправленная деятельность, характеризуемая взаимодействием участников образовательного процесса и направленная на удовлетворение образовательных потребностей личности».

3. в условиях разработки и внедрения новых стандартов все более широкое распространение получает понимание качества образования как « совокупности предметных, метапредметных и личностных результатов».

Этим различием в понимании качества образования во многом объясняются столь разные оценки роли ГИА и ЕГЭ в повышении качества образования.

Скок Г.В. Формирование ценностей и норм как основы построения системы качества образования //Качество образования: концепции, проблемы: Материалы III Международной науч.-метод. конф. Новосибирск: НГТУ, 2000. 380 с.

Субетто, А.И.Качество образования как синтезатор проблем развития образования в России: мониторинг, проблемы / А.И. Субетто, В.А. Селезнева. –Новосибирск.: НГТУ. – 2005. – 380 с.

Субетто А.И.«Качество образования: проблемы оценки и мониторинга»

ИНТЕГРАЛЬНЫЕ КРИТЕРИИ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ:

1. Уровень доступности образования, в соответствии с современными стандартами для всех категорий граждан независимо от местожительства, социального и имущественного статуса и состояния здоровья

2. Уровень соответствия образования современным стандартам качества

3. Уровень соответствия образования потребительским потребностям

ПАРАМЕТРИЧЕСКАЯ МОДЕЛЬ ПРЕДМЕТА ИССЛЕДОВАНИЯ:

КРИТЕРИИ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ СТАНДАРТОВ

И СТЕПЕНЬ УДОВЛЕТВОРЕННОСТИ ВЫПОЛНЕНИЯ СТАНАРТОВ

В ОЦЕНКАХ ОБЩЕСТВЕННОЙ ЭКСПЕРТИЗЫ.

Объектами оценки государственных образовательных стандартов выступают:

- оценка образовательных достижений

- оценка процесса обучения

- оценка ресурсов образования

Муниципальный стандарт качества предоставления образовательных услуг(Постановление администрации г.Барнаула №3255 от 7.12.2012 «Об утверждении стандартов качества предоставления муниципальных услуг в сфере образования») отражает содержательное описание объектов оценки для бюджетных услуг общеобразовательных учреждений начального, основного и полного среднего образования.

Общественная экспертиза качества образования обеспечивает соответствие данных требований,предъявляемых к качеству образованиясоциальным ожиданиям и интересамобщества.

Основными объектами общественной экспертизыкачества образования выступают:

1. Условия образовательной деятельности (материально-техническая база, кадровый потенциал, наличие органов взаимодействия субъектов образования и т.п.),

2. Уровень выполнения/освоения образовательныхстандартов,

3. Особенности педагогической деятельности(используемые формы, методы и средства, их адекватность целям),

4. Характер использования результатов образованияв процессе дальнейшей жизнедеятельности (организация собственной образовательной/производственной деятельности, реализованность образовательных намерений и т.д.).

5. Внеучебные достиженияобучающихся (на основе обобщенных результатов);

6. Общий уровень духовного, нравственного, социального и культурного развития учащихся школы;

7. Условия, созданные в ОУ в целях сохранения и укрепления психического, психологического и физического здоровья школьников.

8. Эффективность управления школой, в том числе – в финансово-экономической сфере.

Критериями общественной оценкипо анализу данных мониторинговых исследований различных моделей РСОКО обычно выступают:

• Качество обучения (по предметам и ступеням обучения);

• Уровень сформированности ключевых компетенций учащихся

• Уровень адаптации учащихся к образовательному процессу

• Мотивационная готовность учащихся к учебной деятельности

• Качество знаний и обученность учащихся выпускных классов

• Степень подготовки выпускников школы к поступлению в престижные вузы;

• Качество преподавания, общей культуры и компетентности педагогических кадров;

• Отношение к ребенку со стороны учителей и одноклассников, комфортность психологического климата в школе;

• Уровень дисциплины и безопасности условий пребывания в школе для жизни и здоровья ребенка;

• Наличие условий для дополнительного образования;

• Достижения учащихся во внеучебной деятельности

• Организация и качество питания

• Наличие здоровьесберегающих технологий

• Обеспечение условий безопасности

Указанные в таблице критерии оценки стандарта качества (кадровое обеспечение, доступность образования, качество обучения и воспитания, условия образования и воспитания)являются недостаточными для общественной экспертизы степени удовлетворенности предоставляемымиОУ бюджетными услугами.Более того, многие параметры и индикаторы измерения указанных критериев не могут быть автоматически перенесены для опроса общественного мнения и нуждаются в дополнительной операционализации.

Для разработки показателей общественной экспертизы оценки качества предоставления бюджетных услуг ОУ нативный список критериев:

1. Кадровое обеспечение,

2. Доступность образования,

3. Качество обучения и воспитания,

4. Условия образования и воспитания

был дополнен дополнительными критериямиоценки качества:

5. Репутация образовательного учреждения

6. Прозрачность и открытость деятельности ОУ

7. Ключевые компетентности личности⁴

8. Процессы модернизации ОУ.

Все критерии указаны в направлениях модернизации системы образования и обсуждаются как важные составляющие образовательной политики в приоритетных направлениях НПРО.

Следующая таблица включает расширенный параметрический набор показателей и индикаторов⁵для описания каждого из 7 критериев. Полученная модель описания содержательной валидности критериев положена нами в основу формирования вопросов-индикаторов для измерения общественного мнения относительно оценки бюджетных образовательных услуг с учетом сетевой принадлежности, типа ОУ и основных сегментов экспертной оценки.

Расширение списка наименований и содержания критериеввыполнено в соответствиес объектами общественной экспертизы и критериями их оценки, сформированнымина основе муниципального стандарта утвержденных критериев оценки качества МСОКО в г.Барнауле.

КРИТЕРИАЛЬНАЯ И ПАРАМЕТРИЧЕСКАЯ БАЗА ОПРОСНИКОВ

ПО ВИДАМ ОБРАЗОВАТЕЛЬНЫХ УСЛУГ

На основе выше представленной параметрической моделиописаниякритериев, показателей и индикаторов оценки предоставления бюджетных услуг ОУ разработаныопросные листы по оценке каждого вида бюджетной образовательной услуги(дошкольное образование, начальное общее, основное общее, полное общее, дополнительное образование в системе общеобразовательных учреждений, дополнительное образование в системе УДО) длясегмента «родительская общественность».

Предметом общественной оценкив опросах стали критерии, наиболее полно иллюстрирующие характер соответствия нормативных требований, предъявляемых к качеству образования,социальным ожиданиям и интересам потребителей.

Критерии общественной экспертизы МОУ.

• Качество обучения (по предметам и ступеням обучения);

• Уровень сформированности ключевых компетенций учащихся

• Уровень адаптации учащихся к образовательному процессу

• Мотивационная готовность учащихся к учебной деятельности

• Степень подготовки выпускников школы к поступлению в вузы;

• Качество преподавания, общей культуры и компетентности педагогических кадров;

• Отношение к ребенку со стороны учителей и одноклассников;

• Уровень безопасности условий пребывания в ОУ для жизни и здоровья ребенка;

• Наличие условий для дополнительного образования;

• Достижения учащихся во внеучебной деятельности

• Организация и качество питания

• Наличие здоровьесберегающих технологий

• Оценка результатов, эффектов и рисков модернизации

Критерии общественной экспертизы ДОУ.

• Качество условий воспитания и образования (вариативность программ, инновационный потенциал);

• Оценка развития ключевых возрастных компетенций ребенка

• Готовность выпускников ДОУ к учебной деятельности

• Качество деятельности, общей культуры и компетентности педагогических кадров;

• Отношение к ребенку со стороны воспитателей и педагогов ДОУ;

• Психологическое самочувствие ребенка в ДОУ;

• Уровень безопасности условий пребывания в ДОУ для жизни и здоровья ребенка;

• Наличие условий для дополнительного образования;

• Организация и качество питания

• Наличие здоровьесберегающих технологий

• Оценка результатов, эффектов и рисков модернизации

Критерии общественной экспертизы УДО.

• Качество условий предоставления услуги дополнительного образования;

• Уровень востребованности услуги потребителем

• Мотивационная готовность детей к занятиям по выбору

• Качество преподавания, общей культуры и компетентности педагогических кадров;

• Отношение к ребенку со стороны педагогов;

• Уровень безопасности условий пребывания в ОУ для жизни и здоровья ребенка;

• Наличие условий для индивидуального роста и развития;

• Оценка результативности индивидуальных достижений ребенка

• Оценка развивающего эффекта от занятий

• Оценка МТБ для занятий, предложения по оптимизации услуги

• Оценка результатов, эффектов и рисков модернизации

Кроме того, исследовались факторы, определяющие выбор ОУ, критерии оценки привлекательности различных типов ОУ, потенциал системы образования города в глазах потребителя, особенности видения родителями плюсов и минусов основных показателей условий образовательной среды, качества образовательного процесса и результата, влияние НСОТ и программ модернизации на качество предоставляемых услуг.

Содержание анкетного инструментария по оценке удовлетворенности качеством предоставления образовательных услуг в системе общего, дошкольного и дополнительного образования в замерах 2008\2009\2010 представляет унифицированный стандартвопросовв соответствии с заявленной параметрической базой критериев МСОКО, что делает возможным лонгитюдный анализ данных на предмет соответствия стандартов образовательных услуг жизненным установкам их потребителей.

Содержание анкетного инструментария по оценке удовлетворенности качеством предоставления образовательных услуг в системе общего, дошкольного и дополнительного образования в замерах 2011/2012 сохраняет преемственность с инструментарием 2008-2010 по критериальной базе, но претерпело существенные изменения по параметрической и индикативной базе. Вариант 2012 представляет унифицированный стандартвопросовв соответствии с КРИТЕРИЯМИ МСОКО и КРИТЕРИЯМИ ОЦЕНКИ ДОСУТПНОСТИ, КАЧЕСТВА И УСЛОВИЙ ОБРАЗОВАНИЯ по актуальной нормативно-правовой базе ФЕДЕРАЛЬНЫХ/РЕГИОНАЛЬНЫХ проектных инициатив.

Вместе с тем, анкеты допускают вариативную часть вопросов, связанную с необходимостью общественной рефлексии относительно муниципальных проектов и программ текущего года.

Формат данных позволяет использовать результаты опросов не только в целях общественного контроля образовательного пространства или управленческой рефлексии образовательной политики, но и для проектирования образовательных инициатив, отвечающих запросам и требованиям потребителей образовательных услуг. Усиление общественного характера управления образованием, включая доступность и прозрачность образовательной статистики для общественной оценки, становится штатным механизмом развития системы образования г.Барнаула.