Построение дерева - Деревья решений

Пусть нам задано некоторое множество T, содержащее объекты, каждый из которых характеризуется m атрибутами, причем один из них указывает на принадлежность объекта к определенному классу.

Пусть через {C1, C2, ... CK} обозначены классы, тогда если множество T содержит примеры, относящиеся к разным классам, следует разбить множество T на некоторые подмножества. Для этого выбирается один из признаков, имеющий два и более отличных друг от друга значений O1, O2, ... ON. T разбивается на подмножества T1, T2, ... TN, где каждое подмножество TI содержит все примеры, имеющие значение OI для выбранного признака. Это процедура будет рекурсивно продолжаться до тех пор, пока конечное множество не будет состоять из примеров, относящихся к одному и тому же классу. Вышеописанная процедура лежит в основе многих современных алгоритмов построения деревьев решений.

Рассмотрим изложенное выше на примере.

Для этого попробуем решить идти гулять или нет. Входные данные будут представлены в виде таблицы.

Таблица 1. - Входные данные

Погода

Зонтик

Ветер

Гулять?

Солнечно

Есть

Есть

Нет

Дождь

Нет

Есть

Нет

Солнечно

Есть

Нет

Да

Дождь

Есть

Нет

Да

Дождь

Есть

Есть

Нет

Определим понятие энтропии Н множества А по отношению к свойству S:

,

Где А - множество из n элементов, mкоторых обладают свойством S.

Так же определим понятие прирост информации:

,

Где A - множество элементов, Q - атрибут, S - свойство, q - возможные значения Q, AI - множество элементов у которых Q равно i.

1. Рассчитаем исходную энтропию:

Судя по таблице 1 из 5 случаев в 2-х мы идем гулять, значит

    0,528+0,44=0,968 2. Далее на каждом шаге нам надо выбирать такой атрибут, что бы прирост информации был максимальным. Рассчитаем прирост для каждого атрибута и выберем подходящий в качестве корня. 3.

На основании этих значений можно сделать вывод, что корнем будет атрибут "Ветер", далее мы будем делить по атрибуту "Зонтик" и в конце разделим по "Погода". В итоге получится дерево изображенное ниже.

Дерево решение интеллектуальный анализ

Похожие статьи




Построение дерева - Деревья решений

Предыдущая | Следующая