Предсказательная сила финальной модели - Уровень конкурентоспособности строительных компаний

Итак, будем тестировать модель с наилучшими характеристиками. Прогноз вне выборки проводился на основе тестовой выборки с 805 наблюдениями. В ней представлены данные 2014 года по 161 дефолтной строительной организации и 644 состоятельным организациям. Далее рассмотрим предсказательную силу финальной модели при нескольких порогах, которые являются барьером для состоятельных и несостоятельных компаний.

Если порог - дефолт, когда вероятность >= 2,5%, то в группе риска оказываются 268 компаний из 805. Данный порог позволяет правильно предсказать значительное количество дефолтов - 73% и состоятельных компаний - 77% (табл.23).

Таблица 23.

Классификационная таблица

На основе модели

Не дефолт

Дефолт

Реально

Не дефолт

77%

23%

Дефолт

27%

73%

Если порог - дефолт, когда вероятность >= 3%. В группе риска: 194 компании из 805. Данный порог позволяет правильно предсказать значительное количество дефолтов - 61% и состоятельных компаний - 85% (табл.24).

Таблица 24.

Классификационная таблица

На основе модели

Не дефолт

Дефолт

Реально

Не дефолт

85%

15%

Дефолт

39%

61%

Если порог - дефолт, когда вероятность >= 5%. В группе риска: 117 компаний из 805. Данный порог позволяет правильно предсказать 44% дефолтов и 93% состоятельных строительных организаций (табл. 25).

Таблица 25.

Классификационная таблица

На основе модели

Не дефолт

Дефолт

Реально

Не дефолт

93%

7%

Дефолт

56%

44%

Для наглядности сведем полученные результаты при рассмотренных порогах в единую таблицу 26.

Таблица 26.

Критерий причисления компании к группе риска: вероятность дефолта >= порога

Количество компаний, отнесенных к группе риска

Процент верно предсказанных дефолтов

Порог = 2,5%

268

73%

Порог = 3%

194

61%

Порог = 5%

117

44%

Исходя из полученных результатов, предполагается, что в данном исследовании оптимальным порогом можно считать, например, 2,5% вероятности дефолта. Он позволяет иметь сравнительно небольшие ошибки первого и второго рода, а также достаточно сбалансированные точные предсказания касательно состоятельных и дефолтных организаций. В целом, выбор порога является задачей пользователя модели и зависит от его предпочтений касательно ошибок первого и второго рода.

Также, после построения финальных моделей на данных обучающей выборки и получения прогнозных результатов на данных тестовой выборки проведем анализ ошибок первого и второго рода, чтобы сравнить прогнозную силу полученных моделей. Ошибкой первого рода принято считать случаи, когда модель предсказывала, что строительная компания является устойчивой, а на самом деле в следующем году она объявила дефолт. Ошибка второго рода, напротив, отражает случаи, когда прогнозируется, что строительная компания будет несостоятельной, а она избежала дефолта. Очевидно, что с точки зрения инвестора, надзорного органа или партнера при выборе контрагента лучше перестраховаться, поэтому для них ошибка второго рода, когда в группу риска дефолта относится больше компаний, чем есть на самом деле, не так страшна. Другое дело ошибка первого рода, когда могло оказаться доверие строительной компании на основе модели, а она утратила состоятельность. В этом случае потери инвестора или партнера будут очень серьезными. С этой точки зрения, в рамках данного исследования стоит минимизировать ошибку первого рода, чтобы избежать рисков неплатежеспособности контрагента. Для проведения анализа данных ошибок были построены графики вероятности каждой из ошибок при изменении порога дефолта. Напомним, что порогом является значение вероятности дефолта для принятия решения о будущей состоятельности строительной организации. Так, когда вероятность дефолта больше установленного порога, ожидается дефолт компании. Тем не менее, как уже отмечалось, выбор порога зависит от предпочтений пользователя модели (инвестора, надзорного органа, партнера) (Bovenzi et al., 1983). Таким образом, алгоритм построения графиков заключается в нахождении для каждого порога пары вероятности ошибки первого рода и вероятности ошибки второго рода. В данном исследовании вычисление вероятности каждой из ошибок на основе тестовой выборки производилось 1000 раз для каждой модели. Что касается оценки полученных графиков, то предсказательная сила лучше у той модели, чей график находится ниже (Peresetsky et al., 2004).

Графики ошибок первого и второго рода были построены для:

    - модель, построенная на основе статистического отбора переменных без перехода к нормированной шкале (красный цвет); - модель, построенная на основе статистического отбора переменных с переходом к нормированной шкале (черный цвет); - модель, построенная на основе поочередного включения переменных без перехода к нормированной шкале (синий цвет); - модель, построенная на основе поочередного включения переменных с переходом к нормированной шкале (зеленый цвет).

Сравнение графиков для модели, построенной первым методом (рис. 1), еще раз подтверждает правильность перехода к нормированной шкале.

сравнение первой модели (статистический отбор переменных), с нормализацией (черный) и без (красный)

Рисунок 1. Сравнение первой модели (статистический отбор переменных), с нормализацией (черный) и без (красный)

Так же как и сравнение графиков для модели, построенной вторым методом (рис. 2), где график модели после нормирования шкалы находится ниже, чем без нормирования.

сравнение второй модели (поочередное включение переменных), с нормализацией (зеленый) и без (синий)

Рисунок 2. Сравнение второй модели (поочередное включение переменных), с нормализацией (зеленый) и без (синий)

Что касается сравнения двух финальных моделей, полученных как раз после нормирования шкал, то рисунок 3 показывает, что большей предсказательной силой, несмотря на несколько пересечений графиков, обладает модель статистического отбора переменных, так как она при значительно большем количестве порогов находится ниже альтернативного графика. статистический дефолт конкурентоспособность строительный

сравнение 1ой (черный) и 2ой (зеленый) модели в нормализованных шкалах

Рисунок 3. Сравнение 1ой (черный) и 2ой (зеленый) модели в нормализованных шкалах

общий график ошибок 1 и 2 рода

Рисунок 4. Общий график ошибок 1 и 2 рода

На общем графике также видно, что присутствует довольно большая область, где ниже всех расположена модель, построенная на основе статистического отбора переменных с переходом к нормированной шкале (черный цвет). Эта же модель показала наилучшую форму ROC-кривой, где коэффициент AUC имеет значение 0,8029. Значит и данный подход указывает на ее достаточно сильную предсказательную способность.

Похожие статьи




Предсказательная сила финальной модели - Уровень конкурентоспособности строительных компаний

Предыдущая | Следующая