Методики оценки эффективности стратегического планирования - Общественное участие как фактор эффективности разработки и реализации программ развития мегаполисов и агломераций

Рассмотрим подходы определения эффективности программ и методики оценки эффективности программ развития: российский и зарубежный опыты.

Что касается зарубежных и российских методов и подходов к оценке эффективности программ.

Международная практика оценки эффективности программ имеет полувековую историю. В своей книге "Evaluation in Public-Sector Reform, Concepts and Practice in International Perspective", профессор Г. Вольманн выделил три основополагающих этапа опыта оценивания эффективности H. Wollmann Evaluation in Public-Sector Reform, Concepts and Practice in International Perspective//Cheltenham. 2003. P. 34:

1 этап: 60-е годы XX века: говорится об осознании необходимости заблаговременного планирования, также, о необходимости прогнозирования результатов и оценки эффективности программ. 2 этап: конец 70-х - 80- е годы XX века: говорится об эффективности использования выделяемых на программу денежных средств. 3 этап: 90-е - 2000-е годы: в этот период, основой для оценки эффективности считались результаты реализации программ.

Итак, что же считать эффективностью в программах развития и каким способом ее можно оценить?

В постановлении Правительства РФ "Об утверждении Порядка разработки, реализации и оценки эффективности государственных программ Российской Федерации", под эффективностью понимается оправданность использования государственных ресурсов. Это понятие включает в себя все положительные результаты, полученные после реализации государственной программы в регионе. Эффективность в узком смысле представляет собой соотношение понесенных затрат к полученным результатам. Оценка эффективности программ развития необходима с целью оптимизации соотношения затрат на реализацию и результатов, а также для обеспечения принципов бюджетной системы Российской Федерации: эффективности и экономности использования бюджетных средств, гласности, достоверности бюджета, адресности и целевого характера бюджетных средств Постановление Правительства РФ от 02.08.2010 N 588 (ред. от 28.03.2014) "Об утверждении Порядка разработки, реализации и оценки эффективности государственных программ Российской Федерации" [Электронный ресурс]: сайт КонсультантПлюс. URL: http://base. consultant. ru/cons/cgi/online. cgi? req=doc;base=LAW;n=161431 .

По мнению Г. Л. Тульчинского: "Эффективность выражает не только относительность результата деятельности к ее целям, но и результата с использованными для его достижения средствами (материальными, финансовыми, трудовыми и др.) -- как характеристика оптимальности их использования [...] Эффективность -- соотношение затрат и результатов работы. Однако главной характеристикой эффективности является все-таки соответствие результатов целям, по отношению к которому оптимальность затрат является характеристикой вторичной, производной". Тульчинский Г. Л., Шекова Е. Л. Менеджмент в сфере культуры: Учебное пособие. 4_е изд., испр. и доп. -- СПб.: Издательство "Лань"; "Издательство ПЛАНЕТА МУЗЫКИ", 2009. С. 484-485

Осознание необходимости оценки эффективности программ, привели к возникновению массы методик и подходов в различных странах. Рассмотрим несколько кейсов, которые наглядно отражают различные подходы стран к использованию оценивания:

1. Соединенные Штаты Америки

Методика мониторинга результативности была создана в США ведущим исследователем The Urban Institute (Вашингтон, США) и директором его Программы государственного управления Гарри П. Хатри.

Мониторинг результативности Хатри Г. П. Мониторинг результативности в общественном секторе: Пер. с англ. -- М.: Фонд "Институт экономики города", 2005. C. 19- регулярное измерение результатов и эффективности предоставления услуг или программ. При этом в качестве клиентов могут выступать как граждане, непосредственно получающие услуги, так и граждане, и компании, интересы которых лишь косвенно затрагиваются этими программами и услугами. Одна крайне важная характеристика результативности, которую часто забывают при рассмотрении путей использования результатов мониторинга, -- это обеспечение равенства всех граждан в доступе к результатам мониторинга. Тщательно проработанная система показателей позволяет оценить, насколько справедлива какая-либо программа, и принять необходимые меры.

В рамках мониторинга результативности эффективность обычно определяется как отношение использованных ресурсов (денежные средства, время персонала или иной физический вклад) к произведенному за счет этих ресурсов продукту.

Система мониторинга результативности способствует решению трех задач стратегического планирования:

* определение стартовых значений по каждому из показателей стратегического плана, на основе которых могут быть разработаны планы необходимых действий; * наличие исторических данных по каждому показателю, на основе которых

Могут быть определены показатели для каждого из рассматриваемых вариантов развития;

Соединенные Штаты Америки

Program rating assessment tool (PART) - система рейтинговой оценки программ - инструмент (механизм), призванный повысить эффективность и результативность государственных программ в США в 2001-2009 гг.

При использовании этой методики, эксперт должен ответить на вопросы, содержащиеся в четырех основных категориях Gilmour J. B. Implementing OMB's Program Assessment Rating Tool (PART): Meeting the Challenges of Integrating Budget and Performance//Budgeting. 2007. №1.:

1. структура программы и ее цели; 2. стратегическое планирование; 3. управление программой; 4. достигнутые результаты

На вопросы, содержащиеся в первых трех категориях, следует давать ответы "да/нет", а на вопросы последней категории: "да/нет", "в значительной/незначительной степени". Каждый ответ имеет свой вес, таким образом, рассчитывается рейтинг программы. Ответы на вопросы системы PART ранжируются по шкале от 0 до 100 (где 100 - самый лучший ответ). Программы с рейтингом ниже 50% являются неэффективными, программы с рейтингом выше - 80%- эффективными, между ними располагаются - "достаточно эффективные" и "формально приемлемые".

Программа перестала использоваться с приходом к власти Барака Обамы, но ее идеи все еще используются. Ее идеи, например, использовались Министерством Финансов РФ, при разработке "Программы повышения эффективности бюджетных расходов до 2012 года" Программы повышения эффективности бюджетных расходов до 2012 года [Электронный ресурс]: URL: http://www. minfin. ru/common/img/uploaded/library/2010/02/PPEBR_190210.pdf.

3. Великобритания

В Великобритании существует система, которая называется "Best Value" (или "Best value regime"), которая была создана в 1999, но ее положения вступили в силу в апреле 2000 года. Этот механизм направлен на контроль процесса реализации и оценку эффективности исполнения программ. Существуют, так называемые четыре измерения производительности Martin S., Walker R. M., Enticott G., Ashworth R. Evaluation of the long-term impact of the Best Value regime: Baseline report//Centre for Local &; Regional Government Research. 2003 [Электронный ресурс]: URL: http://www. google. ru/url? q=http://citeseerx. ist. psu. edu/viewdoc/download%3Fdoi%3D10.1.1.199.4817%26rep%3Drep1%26type%3Dpdf&;sa=U&;ei=XFNqU9OXN-LayQPJ-oHQAw&;ved=0CB0QFjAA&;sig2=lclpGX4Hxkx-ru1pGpb86A&;usg=AFQjCNG0lIGGodt4b5ew_Vkvg97ifP9bJw:

1. стратегические цели и задачи, заявленные в программе (Strategic Objectives); 2. качество полученных результатов, их соответствие целям программы (Service Delivery Outcomes); 3. качество предоставляемых услуг (Quality); 4. справедливый доступ к предоставляемым услугам (Fair access).

"Best value regime" подразумевает проведение опроса исполнителей и населения, оценки экспертов. Существует четыре этапа оценивания:

Япония

Новая Система оценивания государственных программ, которая была представлена в Японии, явилась результатом реформ министерств и представительств в январе 2001 года. Каждое министерство, совместно с Министерством государственного управления, Министерством внутренних дел, Почтой и Министерством телекоммуникаций, обязаны ввести унифицированные методы оценки и проводить анализ программ.

Каждое министерство должно принять и реализовать соответствующие методы оценки, в зависимости от особенностей программы. Выделяют три метода оценки Azuma N. Problems and Prospects of Policy Evaluation System of Central Government in Japan. Government Auditing Review. 2002. [Электронный ресурс]: URL: http://www. jbaudit. go. jp/english/exchange/pdf/e09d05.pdf :

Россия

В России процесс оценки эффективности программ, до сих пор остается слабо проработанным. Хотя и существует много работ с описанием конкретных методик оценки, но, обычно, это выдвинутое самим автором некоторое количество коэффициентов, на субъективной основе. Рассмотрим некоторые отечественные методики:

В работе А. И. Жуковского и С. В. Васильева, для оценки эффективности программ предлагают учитывать ряд принципов А. И. Жуковский, С. В. Васильев, Д. С. Штрейс Разработка, реализация и оценка региональных целевых программ (на основе канадского опыта): Учебно-методическое пособие. М.: 2006.:

1) рассматривать программу, начиная с этапа планирования, и до момента ее завершения; 2) моделировать денежные потоки (все денежные поступления за рассматриваемый период); 3) сравнивать только сопоставимые величины; 4) анализировать программу с точки зрения принципа положительности и максимизации эффекта; 5) учитывать временные параметры такие, как, например, динамика показателей программы; 6) сравнивать не "до программы" и "после нее", а "с ней" и "без нее"; 7) принимать во внимание все важные последствия программы (экономические последствия, внешние эффекты и т. п.); 8) так же, как происходит реализация программа, так и ее оценка должна проводиться в несколько этапов; 9) не забывать об инфляции и ее учете; 10) учитывать возможные риски.

По мнению Е. Ю. Евстафьевой, основные задачи оценки состоят в следующем Е. Ю. Евстафьева Зарубежный опыт организации оценки государственных программ// Известия Иркутской государственной экономической академии. 2011. №1:

1. спрогнозировать возможные последствия реализации государственной программы (воздействие законопроекта - на этапе разработки программы); 2. обеспечить обратную связь экспертов по оценке с участниками программы; 3. оценить степень достижения намеченных целей; 4. оценить, как и в какой мере наблюдаемые изменения связаны с проведенными мероприятиями программы; 5. предоставить в распоряжение заказчика доказательную информацию для усиления "политической поддержки" данной программы.

Но существуют и проблемы оценки эффективности программ регионального развития. В статье Р. Н. Хасанова анализируются различные методики оценки эффективности программ и их недостатки. В частности, он приходит к таким выводам: Р. Н. Хасанов Проблемы оценки эффективности целевых программ на стадии их отбора и реализации // Проблемы современной экономики: материалы междунар. науч. конф. (г. Челябинск, декабрь 2011 г.). -- Челябинск: Два комсомольца, 2011. -- С. 45-48.

1. Содержание многих из действующих методик носит формальный характер. Часто предлагается лишь общее описание подхода без подробного объяснения, в связи с чем многие проблемные вопросы остаются открытыми. 2. Цели, указанные в программах социально-экономического развития страны и регионов, не дают четкого ответа на вопрос, какой результат получит общество в результате их достижения, не разработаны формализованные критерии оценок результатов и затрат, не обеспечена заинтересованность бюджетных учреждений в экономии и эффективности использования выделяемых бюджетных средств. Анализ сметы расходов на реализацию программ позволяет контролировать лишь целевое использование средств бюджета, что не может являться критерием эффективности. 3. Не все методики позволяют обосновать отбор проектов программ, что представляет собой одну из наиболее приоритетных целей оценки. Однако самым существенным недостатком большинства методик является направленность, скорее, на оценку качества проектировки, а не на оценку эффективности программы. Цели и ожидаемые результаты многих программ сформулированы без четких критериев и индикаторов оценки их достижения.

В диссертации на соискание ученой степени кандидата экономических наук Миронова В. С. "Совершенствование методики оценки социально-экономической эффективности региональных целевых программ", также, отмечается несколько недостатков. Следует отметить, что автор провел анализ 16 субъектов Федерации и пришел, в частности, к следующим выводам В. С. Миронов Совершенствование методики - оценки социально-экономической эффективности региональных целевых программ. Автореферат диссертации на соискание ученой степени кандидата экономических наук, 2012.:

- большинство методик носит формальный характер; - при практическом использовании методик акцент оценивания зачастую смещается от результатов программной деятельности к затратам на ее осуществление; - в методиках отсутствуют рекомендации по использованию тех или иных критериев и показателей в зависимости от характера и особенностей программы.

М. И. Яндиев в своей статье "Оценка эффективности реализации целевых программ субъектов Федерации" говорит о ряде существенных недостатков оценки эффективности М. И. Яндиев Оценка эффективности реализации целевых программ субъектов Федерации // Финансы. 2012. - № 2. С. 24-28:

1. Проблемы корректной формулировки целей оценки эффективности программы 2. Размытость и нечеткость целей самих программ. Это происходит в силу либо формального подхода к составлению методики оценки, либо сознательного нежелания нести в будущем какую-либо ответственность за исполнения программы. 3. Проблема выбора исполнителя: того, кто пишет саму программу, того, кто пишет методику оценки эффективности и того, кто будет осуществлять оценку эффективности. Чтобы результаты оценки не были предсказуемы, необходимо, чтобы все эти функции были распределены между разными людьми или организациями.

Рассмотрим достоинства, недостатки и роль общественного участия методик оценки эффективности программ (Табл. 8):

Таблица 8.

Методика оценки эффективности	Достоинства	Недостатки	Роль общественного участия
Мониторинг результативности Хатри Г. П. Мониторинг результативности в общественном секторе: Пер. с англ. -- М.: Фонд "Институт экономики города", 2005. с. 276	- Информация о результативности, которую предоставляет данная методика, при нехватке ресурсов, помогает понять, что может быть сделано лучше при имеющихся ресурсах Методика помогает: - выяснить, при каких условиях программа работает хорошо или плохо, стимулируя, таким образом, принятие мер по исправлению ситуации; - сформулировать ключевые вопросы, на основе которых может быть разработана и реализована на практике стратегия улучшения программы; - выявить проблемы и, в некоторых случаях, действия, позволяющие в будущем достигнуть лучших результатов; - оценить, насколько принятые меры привели к улучшению ситуации.	- Данные, полученные в ходе мониторинга, не объясняют, за счет чего достигнут тот или иной результат. Иначе говоря, нельзя судить о том, насколько измеряемые результаты связаны с эффектом от реализации программы - Некоторые результаты нельзя измерить напрямую - Информация, полученная в ходе мониторинга результативности, составляет только часть сведений, необходимых руководителям и выборным должностным лицам для принятия решений. - Для оценки результативности видов деятельности с длительным сроком получения результата -- несколько лет или даже десятилетий -- нельзя применять стандартные процедуры мониторинга результативности - Главная цель мониторинга результативности - обратить внимание на проблему. Сам по себе он не может дать ответ на вопрос, что же нужно сделать.	- Обеспечение обратной связи при оценке результатов и качества услуг. Важность опросов населения для получения данной информации на регулярной основе как составной части процесса мониторинга результативности. - Использование результатов мониторинга. Население должно иметь доступ к отчетам о достигнутом программой. - Стандартным каналом информирования граждан является пресса. Другими механизмами распространения материалов могут стать Интернет и программы государственного телевидения. Необходимо прилагать значительные усилия к тому, чтобы граждане знали, что такие отчеты имеются и как с ними можно ознакомиться. Доверие будут вызывать отчеты, которые содержат точное, полное и честное описание ситуации, показывая, как хорошие, так и плохие результаты.
Program rating assessment tool Gilmour J. B. Implementing OMB's Program Assessment Rating Tool (PART): Meeting the Challenges of Integrating Budget and Performance//Budgeting. 2007. №1. (PART) США	- С тех пор, как методикой начали пользоваться, повысилось внимание стейкхолдеров к результативности программ - PART сделала информацию об эффективности программ более прозрачной и доступной для общественности. Вся информация хранится в базе данных, с возможностью поиска по программе, агентству и рейтингу. Она включает в себя ежегодные и долгосрочные показатели деятельности, а также программы улучшения планов. - PART задает полезные вопросы. Эти вопросы помогают улучшить управление и выявить слабые стороны и использовать сильные стороны документа стратегического планирования	- Является универсальной методикой и должен подходить для всех типов документов планирования, но по факту, вопросы, задаваемые методикой, подходят не всем программам (например, не подходит под программы Министерства образования) - PART значительно увеличивает рабочую нагрузку на структуры, занимающиеся оценкой, даже если они хорошо знакомы с процессом. - Cтейкхолдеры не полностью доверяют PART, считая ее субъективной и противоречивой, так как обзоры проводятся разными структурами и могут представить противоречащие результаты.	Роль общественности в методике минимальная.
Best value Department of the Environment The Principles of Best Value London: DoE. 1997 (Best Value Regime) Великобритания	- при реализации привлекалась общественность на учебные семинары по оценкам эффективности программ, где были ясно изложены принципы программ и методик -проведенные опросы населения и экспертов, показали, что многие респонденты считают, что местные власти готовы к сотрудничеству по программам планирования	- некоторые аспекты методики были слишком узконаправленны - оценка занимала больше времени, чем ожидалось - в методике не уделяется должного внимания качеству, что делает повышение эффективности неравномерным	"Best value regime" подразумевает проведение опроса исполнителей и населения, оценки экспертов.
Система оценивания программ Azuma N. Problems and Prospects of Policy Evaluation System of Central Government in Japan. Government Auditing Review. 2002. [Электронный ресурс]: URL: http://www. jbaudit. go. jp/english/exchange/pdf/e09d05.pdf. Япония	- Методика включает в анализ эффективности не только прямые, но и непредвиденные затраты - методика дает ответ на вопрос: Что будет достигнуто с помощью программы и когда? Эта информация доступна для общественности - помогает в выборе программы планирования, так как может выявлять каким образом та или иная программа может решить проблемы общества - если общий уровень результативности конкретной цели не может быть установлен, она устанавливается для каждого измеримого показателя - могут быть использованы как количественные, так и качественные индикаторы, что делает оценку эффективности более объективной.	- Как и в других странах, оценки эффективности в Японии не легкая задача для государственных должностных лиц, и не только из-за технических трудностей, но и потому, что требует высокого нравственного сознания в использовании результатов оценки для улучшения организационной работы. - Методика увеличивает трансакционные издержки между оценщиком и оцениваемым, а также между министерством и центральным органом управления	Роль общественности в методике минимальная.

Похожие статьи