Сравнение финальной модели с предшествующими исследованиями - Уровень конкурентоспособности строительных компаний

Теперь, когда в рамках данного исследования была получена модель с наилучшими характеристиками для непубличных строительных компаний, полученные результаты можно сравнить с предшествующими исследованиями данной отрасли.

Для этого сначала по нашей тестовой выборке, которая насчитывает данные по 805 строительным компаниям за 2014 год (161-дефолт, 644 - не дефолт), определим также прогнозную силу коэффициента предотвращения банкротства строительных организаций, предложенного Шохнех А. В. (2012). Напомним, что данный показатель рассматривался в ходе исследования как объясняющая переменная, оказался статистически значимым и вошел в финальную модель. Коротко вспомним, что он рассчитывается по формуле КпбСО = ЗС/СС х ЗС/(ВА+ОА), где ЗС - заемные средства; СС - собственные средства; ВА - внеоборотные активы; ОА - оборотные активы.

Прогнозная сила данного подхода отражена в следующей таблице 27:

Таблица 27.

Классификационная таблица

На основе модели

Не дефолт

Дефолт

Реально

Не дефолт

37%

63%

Дефолт

15%

85%

Итак, для более наглядного сравнения прогнозных характеристик данного метода и полученной финальной модели будем использовать понятие чувствительности и специфичности модели. Определение данных понятий вытекает, в том числе, из уже рассмотренных ошибок первого и второго рода. Определим еще несколько необходимых понятий:

TN (True negative) - количество правильно предсказанных случаев не дефолтов строительных компаний;

FP (False positive) - количество неправильно предсказанных случаев дефолтов строительных компаний (ошибка 2 рода);

FN (False negative) - количество неправильно предсказанных случаев не дефолтов строительных компаний (ошибка 1 рода);

TP (True positive) - количество правильно предсказанных случаев дефолтов строительных компаний.

Таким образом, под чувствительностью подразумевается доля правильно предсказанных дефолтов в общем количестве дефолтов на основе тестовой выборки. А специфичность модели заключается в количестве верно определенных состоятельных компаний в общем количестве состоятельных компаний тестовой выборки (Паклин, 2008).

Так, используемые для определения предсказательной силы модели таблицы имеют следующее теоретическое обоснование (табл. 28):

Таблица 28.

Классификационная таблица

На основе модели

Не дефолт

Дефолт

Реально

Не дефолт

Специфичность

Ошибка 2 рода

Дефолт

Ошибка 1 рода

Чувствительность

Теперь, определив необходимые понятия, перейдем непосредственно к сравнению моделей. На основе таблицы 28 можно сделать вывод, что коэффициент предотвращения банкротства строительных компаний является весьма чувствительным тестом - 85% правильно идентифицированных случаев дефолта при достаточно большой ошибке второго рода - 63% строительных компаний ложно были отнесены к дефолтным организациям, серьезно расширив границы группы риска. То есть, данный подход заточен на максимальное предотвращение случаев пропуска дефолтов строительных компаний. Что касается чувствительности финальной модели, полученной в данном исследовании, то она находится на уровне 73% при выбранном пороге идентификации дефолта - 2,5% (табл. 24). При таком пороге модель выглядит достаточно сбалансированной с точки зрения размера группы риска - она позволяет верно определить значительное количество, как состоятельных компаний (77%), так и дефолтных компаний (73%). При этом пользователь модели в зависимости от своих предпочтений и целей может изменить порог отсечения и изменить предсказательные характеристики. Так, например, финальная модель исследования при изменении порога с 2,5% на 1,41% показывает чувствительность уже на уровне 90%, превышая данную характеристику коэффициента предотвращения банкротства строительных компаний.

Также стоит сравнить эти две модели с той точки зрения, что при одинаковом уровне чувствительности (например, 85%) модель данной работы имеет меньшую ошибку второго рода (49%), выявляя меньший размер группы риска (компаний, относительно которых есть подозрение о дефолте в течение следующего года). Для сравнения коэффициент, разработанный Шохнех А. В. (2012) при таком же уровне чувствительности имеет ошибку второго рода на уровне 63% и, соответственно, имеет меньшую долю верных прогнозов касательно состоятельных компаний - 37% против 51% у финальной модели вероятности дефолта строительных компаний. Данный результат был достигнут при установке порога определения события "дефолт" в построенной модели на уровне большем 1,75% (табл. 29).

Таблица 29.

Классификационная таблица

На основе модели

Не дефолт

Дефолт

Реально

Не дефолт

51%

49%

Дефолт

15%

85%

Отдельно необходимо остановиться на предшествующем исследовании Татьмяниной К. М. (2014), касающегося построения модели вероятности дефолта публичных строительных компаний, в отличие от данной работы, в которой исследование проводилось для непубличных строительных компаний. Автором была построена logit - модель с такими переменными, как доля запасов в оборотных активах и его квадрат, коэффициент автономии, рентабельность затрат и индекс цен потребителей. Построение производилось на основе метода статистического отбора переменных. В свою очередь в итоговую модель данного исследования вошли такие переменные, как рентабельность активов, натуральный логарифм чистых активов и его квадрат, оборачиваемость капитала, доля основных средств в активах, оборачиваемость внеоборотных активов и его квадрат, коэффициент предотвращения банкротства строительных компаний и влияние кризисного и пост кризисного периода. Как мы видим, для публичных и непубличных строительных компаний разный набор показателей имеет ключевое значение при определении вероятности их дефолта. Прогнозные характеристики модели Татьмяниной К. М. находятся на очень высоком уровне, о чем свидетельствует форма ROC-кривой. Так, показатель AUC (Area Under Curve) той модели равен 0,82, что немного больше, чем коэффициент AUC модели данного исследования равный 0,80. Это говорит о большей предсказательной силе модели дефолтов публичных строительных компаний, чем модели дефолтов непубличных компаний. В первую очередь, данное различие обусловлено как раз тем, что в предшествующей работе анализировались публичные компании, которые ежегодно проходят аудит финансовой отчетности, а значит, имеют большую степень ее правдоподобности и меньшие риски искажения, чем в непубличных компаниях. Тем не менее, еще раз стоит отметить, что полученная в ходе данного исследования модель также отличается отличным качеством по классификации показателя AUC (Помазанов и др., 2008). Таким образом, данная работа дополняет полученные ранее результаты анализа состоятельности строительных организаций.

Похожие статьи




Сравнение финальной модели с предшествующими исследованиями - Уровень конкурентоспособности строительных компаний

Предыдущая | Следующая