Отечественные модели ранжирования в сфере образования, Рейтингование регионов по показателям развития образования - Система ранжирования общеобразовательных учреждений

Интерес российского экспертного сообщества к теме ранжирования проявился в 2006 году в связи с проведением государственного рейтингования регионов по показателям развития образования. Вторая волна активизации интереса к модели сравнительной оценки качества связана с началом государственного рейтингования российских ВУЗов в 2011-2012 гг. Несмотря на то, что обращение к методологии ранжирования образовательных учреждений отмечается еще в 1999 году и являлось тогда собственной инициативой журнала "Карьера", бурные дискуссии в образовании начались лишь как реакция на государственную инициативу. Значительным фактором, объясняющим повышение активности общественности, стала новая традиция государственной власти обосновывать управленческие решения результатами рейтингования (проекты по поддержке ведущих ВУЗов РФ и программ стратегического развития государственных образовательных учреждений высшего образования).

Рейтингование регионов по показателям развития образования

В 2007 г. была опубликована критическая статья Е. Е. Чепурных и А. Н. Майорова "Рейтинг заблуждения или заблуждения рейтинга". Авторы высказывают свои критические замечания касательно проведения рейтингования регионов. Основной тезис заключается в характеристике одномерного рейтингования как "специфического инструмента, который адекватно может быть использован в весьма узком сегменте управления, там, где нужно провести отбор лучшего объекта, при этом не просто лучшего, а абсолютно лучшего, не учитывая условий деятельности объекта рейтингования" (86; 267). Данная модель названа "самым примитивным способом построения рейтингов" (86; 254), основанного на выстраивании одного ранжированного ряда, который не учитывает особенности и условия развития сложных систем.

Е. Е. Чепурных и А. Н. Майоров обращают внимание на то, что организаторы, опубликовав материалы в 2006 году в сборнике приказов и инструкций Министерства образования и науки РФ "Вестник образования", не оставили комментариев от редакции. Материалы представлены без пояснений, как констатация факта. Это, безусловно, вызвало сомнение относительно обеспечения информационной прозрачности в управлении образованием. Впоследствии (к 2008 году) по вопросам рейтинга регионов были проведены научно-практические конференции, дискуссии в печати (журнал "Вопросы образования"), публикация результатов и создано программное обеспечение рейтинга.

Другое критическое замечание высказано касательно необоснованного выбора индикаторов и их агрегирования. Е. Е. Чепурных и А. Н. Майоров заметили, что в представлении пользователя информацией все объекты сравнения, как правило, находятся в равных одинаковых условиях, несмотря на многообразие объекта. Именно признание многообразия объекта позволяет говорить о "проблеме идентичности объектов измерения относительно использования результатов рейтинга и, как следствие, идентичности условий их функционирования и развития" (86; 256). На объект исследования оказывают влияния различные факторы в разной степени. Выведение в абсолют одного из них или даже несколько факторов, при этом игнорируя другие, дает искаженную информацию при рефлексии результатов. Так, сравнение школ накладывает обязательства рассмотрения и учета социально-демографических условий регионов-районов, где они располагаются, и состава классов. Таким образом, авторы сделали вывод о некорректности одномерного сравнения объектов, которые характеризуются своим разнообразием. Адекватной и перспективной моделью оценки при описании образовательных систем в регионах авторами названа кластерная модель, когда образовательные учреждения распределены и анализируются по группам (кластерам) на основе общих признаков.

Подобранные индикаторы должны максимально точно раскрывать специфику объекта. Например, для определения степени доступности нужно учитывать социокультурный, территориальный, экономический, структурно-институциональный и специфические (информация и мотивация) барьеры. Любое огрубление шкалы подсчета (от стобалльной к десятибалльной, например) приводит к искажению информации, что ведет к риску стирания различий между показателями, числительные данные округляются. В итоге индикаторы должны "обладать собственной содержательной значимостью", "приемлемой дифференцирующей способностью", "надежностью в понимании помехоустойчивости" (86; 262-263)

Дополнительную проблему авторы статьи видят в соотношении цели рейтингования и практических решений, которые по его результатам принимаются. Акцент делается на том, что рейтинг не может являться обоснованием любых управленческих решений. При составлении рейтинга регионов допущены ошибки не только в отборе индикаторов и вычислениях их весов, но и в представлении интерпретации результатов, порой игнорируя здравый смысл. Важно, по мнению Е. Е. Чепурных и А. Н. Майорова, чтобы существовало несколько альтернативных объяснений числительных результатов.

В защиту рейтинга регионов выступила Н. В. Ковалева (37), объясняя, что представлена экспериментальная модель, чьи достоинства и недостатки призваны помочь в совершенствовании данного инструмента (эксперимент проводился в период 2004 - 2007 гг. Институтом статистических исследований и экономики знаний НИУ ВШЭ). Официальный характер информационных источников (статистические данные Рособрнадзора, Федерального казначейства) должен был обеспечить объективность представленных результатов, но при этом, если учесть, что информацию предоставляли также сами объекты исследования, увеличивается риск использования ложных данных. Интерес авторов рейтинга касался таких показателей, как доступность, качество образования, материально-технические, финансовые и человеческие ресурсы с учетом социально-экономической и демографической ситуации в регионе. В 2007 г., когда эксперимент был завершен, применительно к каждому индикатору подготовили "стандартизированные описания" (паспорта), где указывались базовые показатели, источник информации, интерпретация индикатора. Заявлено, что выбор индикаторов зависел от выбора источников информации. Ориентир исключительно на официальную статистику, которая априорно ограничена рамками, по сути, стал признанием информационной ограниченности представленного рейтинга.

Н. В. Ковалева, характеризуя рейтингование как информационно-аналитическую систему, обратила внимание, что "в условиях децентрализации управления образованием система рейтинговой оценки является одним из немногих возможных способов формирования единого образовательного пространства, регулятором взаимодействия регионального и федерального уровней управления образованием, инструментом формирования объективного представления об условиях и результатах предоставления образовательных услуг в регионах России" (37; 271). Целевая аудитория рейтинга - чиновники государственных структур различных уровней. Н. В. Ковалева считает, что выявив наиболее эффективные региональные образовательные системы, в дальнейшем можно организовать их транслирование. При этом автором не было оставлено комментария относительно обоснованности выбора модели одномерного ранжирования.

Характеризуя систему рейтингования регионов по показателям развития образования, Н. В. Ковалева, В. И. Кузнецова, Е. Г. Нечаева составными элементами системы выделили информационные блоки, сложившиеся в результате. Таким образом, системными элементами определены: методологический блок (индикаторы и весовые коэффициенты), информационный блок (статистическая и финансовая информация), организационный блок (документы касательно сбора данных), аналитический блок (таблицы и графики), презентационный блок (публикации), программный блок (программное обеспечение системы). Данная схема отличается от структурно-институционального представления системы, сложившегося за рубежом, которое предполагает акцентирование внимания на раскрытии специфики заказчика, субъекта, объекта, целевой аудитории, цели и задач, этапов, источников, методологии, презентации конечных результатов.

Особый интерес российского экспертного сообщества проявился к определению индикаторов и выбору адекватной методологии расчета, которые позволяют "перейти от суждений и мнений к обоснованной оценке состояния и развития системы и ее отдельных элементов; сформировать инструмент оценки, контроля и стимулирования органов управления всех уровней -- от министерства до школы; сделать предметным общественное обсуждение образовательной политики и реформ" (4; 120-121). Через индикаторы можно проследить динамику изменений, осуществить планирование и контроль над проектами и программами. М. Л. Агранович отмечает, что через характеристику индикаторов вводится в практику обоснование управленческих решений, оценка деятельности систем. Риск допустить ошибку в вычислениях усиливает общую тревожность и нервозность в системе управления, так как государственная власть ориентируется на них в поощрении и наказании. Таким образом, "набор индикаторов является достаточно мощным средством управляющего воздействия на политику: подведомственные структуры будут стремиться обеспечивать положительную динамику тех показателей, по которым их оценивают, и таким образом реализовывать определенные приоритеты образовательной политики вышестоящего органа" (4; 131). Главное предложение М. Л. Аграновича заключается в том, что сегодня требуется ввести профессиональную экспертизу модели рейтингования прежде, чем ее будут использовать для обоснования управленческих решений.

Индикаторы в системе управления образованием можно разделить на три группы: затраты (input); результаты управленческих действий (output); эффекты от этих действий (outcomes). Исходя из специфики образования как открытой системы, нужно учитывать естественные проблемы и риски:

    1) риск отказа от масштабных долгосрочных проектов, так как эффект от результата можно оценить спустя определенное время, а отчитаться требуется за гораздо меньшие временные периоды; 2) показатели непосредственного результата не могут обосновать правильность выбора стратегии; 3) учреждения государственного управления ограничены в планировании стратегии тем полем, в рамках которого распространяются их полномочия и ответственность.

Рекомендуется учитывать, что индикаторы разрабатываются под конкретные задачи и должны меняться по мере реализации этапов программы. Ошибочным является оценивать результаты одними и теми же индикаторами на протяжении всего срока проекта.

М. Л. Агранович предлагает учитывать взаимосвязь между выбором индикатора и наличием источника данных. Автор статьи высказывает сомнения о правомочности использования в качестве источника информации, которую предоставляет объект исследования. Для выработки методики анализа показателей поднимается вопрос соотнесения между собой объектов сравнения, обладающих неравными потенциалами и ресурсами. Марк Львович предлагает для межрегионального сравнительного анализа образовательных систем учитывать контекстные показатели (социально-экономические, демографические и другие условия).

Безусловно, совокупность индикаторов взаимосвязана с целями, которые ставит заказчик. Это позволяет выяснить, какому из двух подходов к управлению отдает предпочтение заказчик в лице государственной власти, а именно:

    - предоставление средств и свободы действий по реализации управленческой задачи, но при этом осуществлять контроль результата; - выделяя средства, контролировать процесс (что является традицией российской практики управления).

Если зарубежный опыт ранжирования предполагает, в первую очередь, определиться с целевой группой и целями, а только потом, отталкиваясь от этой информации, выбирать индикаторы и способы расчета, то российская традиция предполагает характеризовать заказчика не по целям, а сразу по индикаторам. Возникает вопрос касательно релевантности рейтинга регионов, на сколько результаты соответствовали сформулированным целям и задачам.

Похожие статьи




Отечественные модели ранжирования в сфере образования, Рейтингование регионов по показателям развития образования - Система ранжирования общеобразовательных учреждений

Предыдущая | Следующая