Отдельная нейронная сеть для каждой переменной - Гибридная нейро-экспертная система для идентификации значимых событий на графиках временных рядов

По мере работ стало понятно, что нам не удавалось приблизиться к качеству, сравнимому с уровнем анализа эксперта, поскольку около 20% тестов классифицировались с ошибками.

Общение с экспертами привело к пониманию того, что они используют разные подходы анализа для разных переменных. Стало очевидной неспособность единственной нейронной сети адекватно анализировать все типы переменных, а значит, необходима отдельная сеть под каждую переменную. Такая группа сетей обучалась гораздо быстрее и давала общий процент ошибок на уровне 8%. Но даже оставшиеся ошибки могут быть компенсированы, поскольку представляется, что некоторые атрибуты нельзя исследовать отдельно, от поведения других.

Таблица 5 - Одна нейронная сеть против нескольких

Одна сеть для всех переменных

По одной сети на переменную

Калибровка по шести параметрам

80%

92%

Средн.-квадр. откл. (СКО)

0.00043

0.0003

Эпох обучения

2000

1500

Так, если "short term share" классифицируется как плоский, и "attitudinal share" тоже, однако последний движется едва заметно вверх и прочь от "short term share", то "attitudinal share" должен быть классифицирован как растущий.

Экспертная система. Экспертная система нами разрабатывалась по спиральной методологии, то есть от исходного прототипа через последовательные циклы накопления знаний, программирования и применения. Для накопления знаний использовался метод структурированных интервью, которые включают в себя двухнедельные встречи с экспертами. Архитектура разработанной системы показана на рисунке 3.

архитектура гибридной системы

Рисунок 3 - Архитектура гибридной системы

Процесс консультаций предполагает, что пользователь указывает какой продукт и выборку данных он хочет проверить, а также начало и конец интервала проверки. Гибридная система получает данные из базы и применяет их к требуемому скользящему среднему.

Данные затем разбиваются на четырехнедельные интервалы. Восемь атрибутов предоставляются каждой из своих нейронных сетей. Символьное представление от нейронной сети, а также все прочие необходимые экспертной системе факты, такие, как доля голосового значения и состояние рекламы на интервале, добавляются в базу фактов. Затем вызывается механизм логического вывода и результат достигается методом обратного логического вывода.

Эксперимент и результаты. Наша задача в том, чтобы найти весомые события в больном объеме данных. Поэтому мы использовали понятие отклика и точности, т. е. стандартные меры качества поиска информации, чтобы оценить производительность системы. Формулы отклика и точности даны в (2) и (3).

(2)

(3)

Обычно, есть компромисс между откликом и точностью. Тестирование системы показало нам наиболее важные проблемы. Во-первых, нам нужно было сравнивать производительность системы с результатами анализа экспертов на больших объемах данных. Ведь простая выборка отрезков из всего интервала могла привести к потере некоторых редких или значимых событий. Во-вторых, определение реального числа значимых событий было достаточно затратным по времени процессом для экспертов.

В качестве компромисного решения между размером базы данных и высокой стоимостью подготовки эксперимента, мы сконструировали выборку, эквивалентную шести месяцам путем сращивания значимых событий в цельные блоки. Выборка эквивалента 104 четырех-недельным сегментам. Результат показан в таблице 6. Система обнаружила 25 из 29 значимых событий.

Таблица 6 - Значения отклика и точности в результатах нейросети и системы с регрессией

Отклик

Точность

Гибридная система

25/29 (86%)

25/25 (100%)

Система с линейной регрессией

21/29 (72%)

20/21 (95%)

Мы сравнили производительность нашей системы с моделью, где вместо нейронной сети используется линейная регрессия.

Мы обнаружили, что крайне важно для нашей системы точно знать уровни переключения, отличающие одну ситуацию от другой.

Таблица 7 - Разработка регрессионной системы

FLAT

SRISE

BRISE

Порог переключения

0?m?10

10?m?20

20?m

65%

0?m?15

15?m?25

25?m

75%

0?m?17

17?m?27

27?m

81%

0?m?20

20?m?30

30?m

70%

0?m?25

25?m?45

45?m

60%

Для регрессионной системы, частично, обсуждаемое положение показано в таблице 7. Диапазоны получены путем интервью с экспертами. Наиболее эффективная позиция (третья) дает 81% результата, сопоставимый с системой с единственной нейросетью. Вторая строка таблицы 5 позволяет судить о значительном превосходстве гибридной системы над регрессионной.

Хотя мы и не можем утверждать о превосходстве гибридной системы над самой мощной регрессионной, мы должны отметить, что построение гибридной системы менее затратное по времени, так как не требует дополнительного накопления знаний экспертов об уровнях переключений, показанных в таблице 7.

Значения откликов показывают, что система в данный момент весьма строга в идентификации значимых событий. В таблице 8 приведено сравнение характеристик результирующих систем.

Таблица 8 - Сравнение характеристик результирующих систем

Нейро-экспертная система

Регрессионно-экспертная система

Сбор и классификация данных

Сбор и классификация данных

Обучение нейронной сетей

Определение регрессионной прямой прототипа

Поиск наилучших порогов переключения

Получение базы правил

Получение базы правил

Внедрение обученных нейронной сетей в поисковую машину

Введение порогов переключений в экспертную систему

Похожие статьи




Отдельная нейронная сеть для каждой переменной - Гибридная нейро-экспертная система для идентификации значимых событий на графиках временных рядов

Предыдущая | Следующая