Графическое отображение нелокального нейрона в системе "Эйдос", Графическое отображение нелокальной нейронной сети в системе "Эйдос" - Системная теория информации и семантическая информационная модель

Графическое отображение нелокальной нейронной сети в системе "Эйдос"

Математический метод СК-анализа в свете идей интервальной бутстрепной робастной статистики объектов нечисловой природы

Постановка проблемы

Современный этап развития информационных технологий характеризуется быстрым ростом производительности компьютеров облегчением доступа к ним. С этим связан возрастающий интерес к использованию компьютерных технологий для организации мониторинга различных объектов, анализа данных, прогнозирования и управления в различных предметных областях. И у исследователей, и у руководителей, имеются определенные ожидания и надежды на повышение эффективности применения компьютерных технологий.

Однако на пути реализации этих ожиданий имеются определенные сложности, связанные с относительным отставанием в развитии математических методов и реализующего их программного инструментария.

И анализ, и прогнозирование, и управление самым непосредственным образом основываются на математическом моделировании объектов. Математическое моделирование в свою очередь предполагают возможность выполнения всех арифметических операций (сложение, вычитание, умножение и деление) над отображениями объектов в моделях и над их элементами.

В практике интеллектуального анализа данных в экономике, социологии, психологии, педагогике и других предметных областях все чаще встречаются ситуации, когда необходимо в рамках единой математической модели Совместно обрабатывать числовые и нечисловые данные.

В свою очередь числовые данные могут быть различной природы и, соответственно, измеряться в самых различных единицах измерения. Ясно, что арифметические операции можно выполнять только над числовыми данными, измеряемыми в одних единицах измерения.

Данные нечисловой природы, т. е. различные факты и события, характеризуются тем, что с ними вообще нельзя выполнять арифметические операции.

Соответственно, Возникает потребность в математических методах и программном инструментарии, обеспечивающих совместную сопоставимую обработку разнородных числовых данных и данных нечисловой природы.

Традиционные пути решения проблемы

Традиционно при необходимости проведения подобных исследований реализуется один из двух вариантов, т. е. либо изучается подмножество однородных по своей природе данных, измеряемых в одних единицах измерения; либо перед исследованием данные приводятся к сопоставимому виду, например, широко используются процентные или другие относительные величины, реже - стандартизированные значения.

Ясно, что первый вариант является не решением проблемы, а лишь ее вынужденным обходом, обусловленным ограничениями реально имеющегося в распоряжении исследователей инструментария.

Второй вариант лишь частично решает проблему, т. к. хотя и снимает различие в единицах измерения, но не преодолевает принципиального различия между количественными и качественными (нечисловыми) величинами и не позволяет обрабатывать их совместно в рамках единой модели.

В последние годы развивается ряд новых методов статистики, полный обзор которых дан в работах А. И. Орлова [Http://antorlov. chat. ru]. Прежде всего, это интервальная статистика, статистика объектов нечисловой природы, робастные, бутстрепные и непараметрические методы.

В частности методы интервальной статистики, позволяют сводить числовые величины к фактам попадания их значений в определенные интервалы, т. е. к событиям.

При этом преодолевается проблема различия в размерности числовых величин. Это обеспечивает также обработку числовых величин, как событий Совместно с информацией о других событиях, связанных с объектами нечисловой природы. Таким образом, Интервальные методы сводят обработку числовых величин к методам обработки нечисловой информации и позволяет обрабатывать их Единообразно по одной методике. И это является очень важным достижением.

Идея решения проблемы

Это, в общем-то, вполне очевидный и естественный ход. Однако достигается этот результат Дорогой ценой, т. е. путем сведения числовых величин к нечисловым, т. е. путем сведения их к "низменному типу", что приводит к утрате ряда возможностей обработки. Это происходит потому, что для числовых величин существует гораздо больше методов и возможностей обработки, чем для нечисловых.

По нашему мнению более предпочтительным является противоположный подход, основанный на введении некоторой количественной меры, позволяющей единым и сопоставимым образом описывать как числовые данные различной природы, так и нечисловые величины с использованием всего арсенала возможностей, имеющегося при обработке числовых данных.

Аналогично, если у нас есть документы стандартов "Документ Word" и "Текст-DOS" и мы хотели бы обрабатывать их все в одном редакторе, то это можно сделать либо преобразовав все документы Word в "низменный стандарт" "Текст-DOS", либо наоборот, преобразовав "досовские" документы в формат Word.

В 1979 году автором разработана [80], а в 1981 году впервые применена [66] математическая модель, обеспечивающая реализацию этой идеи. В последующем этот математический аппарат был развит в ряде работ, основной из которых является [5], был разработана соответствующая ему методика численных расчетов, включающая структуры данных и алгоритмы базовых когнитивных операций, а также создана программная система "Эйдос", реализующая математическую модель и методику численных расчетов [141, 142, 144, 145, 146].

Предложенный метод получил название "Системно-когнитивный анализ" (СК-анализ) [64]. В СК-анализе нечисловым величинам тем же методом, что и числовым, приписываются сопоставимые в пространстве и времени, а также между собой, количественные значения, позволяющие обрабатывать их как числовые.

СК-анализ включает следующие этапы:

    1. Когнитивная структуризация, а затем и формализация предметной области. 2. Ввод данных мониторинга в базу прецедентов за период, в течение которого имеется необходимая информация в электронной форме. 3. Синтез семантической информационной модели (СИМ). 4. Оптимизация СИМ. 5. Проверка адекватности СИМ (измерение внутренней и внешней, дифференциальной и интегральной валидности). 6. Анализ СИМ. 7. Решение задач идентификации состояний объекта управления, прогнозирование и поддержка принятия управленческих решений по управлению с применением СИМ.

На первых двух этапах СК-анализа, детально рассмотренных в работе [64], числовые величины сводятся к интервальным оценкам, как и информация об объектах нечисловой природы (фактах, событиях). Этот этап реализуется и в методах интервальной статистики.

На третьем этапе СК-анализа всем этим величинам по единой методике, основанной на системном обобщении семантической теории информации А. Харкевича, сопоставляются количественные величины, с которыми в дальнейшем и производятся все операции моделирования.

Математическая модель СК-анализа

Системное обобщение формулы Хартли

В выражении (3) приведено системное обобщение формулы Хартли для равновероятных состояний объекта управления.

(1)

(4)

(2)

(5)

(3)

с очень малой и быстро уменьшающейся погрешностью

(6)

W - количество чистых (классических) состояний системы.

- коэффициент эмерджентности Хартли (уровень системной организации объекта, имеющего W чистых состояний).

Гипотеза о Законе возрастания эмерджентности

Исследование математических выражений системной теории информации (7 - 12) позволило сформулировать Гипотезу о существовании "Закона возрастания эмерджентности". Суть этой гипотезы в том, что в самих элементах системы содержится сравнительно небольшая доля всей содержащейся в ней информации, а основной ее объем составляет системная информация, содержащаяся в подсистемах различного уровня иерархии.

Различие между классическим и предложенным системным понятиями информации соответствует различию между понятиями МНОЖЕСТВА И СИСТЕМЫ, на основе которых они сформированы.

(7)

(8)

(9)

(10)

(11)

(12)

Математическая формулировка:

Интерпретация

Системное обобщение формулы Харкевича

Ниже приведен вывод системного обобщения формулы Харкевича, а именно:

    - классическая формула Харкевича через вероятности перехода системы в целевое состояние при условии сообщения ей определенной информации и самопроизвольно (13); - выражение классической формулы Харкевича через частоты (14, 15); - вывод коэффициента эмерджентности Харкевича на основе принципа соответствия с выражением Хартли в детерминистском случае (16 -19); - вывод системного обобщения формулы Харкевича; - окончательное выражение для системного обобщения формулы Харкевича (21).

Классическая формула Харкевича

PIj - вероятность перехода объекта управления в j-е состояние в условиях действия i-го фактора;

PJ - вероятность самопроизвольного перехода объекта управления в j-е состояние, т. е. в условиях отсутствия действия i-го фактора или всреднем.

Известно, что Корреляция не является мерой причинно-следственных связей. Если корреляция между действием некоторого фактора и переходом объекта управления в определенное состояние высока, то это еще не значит, что данный фактор является причиной этого перехода. Для того чтобы по корреляции можно было судить о наличии причинно-следственной связи необходимо сравнить исследуемую группу с Контрольной группой, т. е. с группой, в которой данный фактор не действовал.

Также и высокая вероятность перехода объекта управления в определенное состояние в условиях действия некоторого фактора сама по себе не говорит о наличии причинно-следственной связи между ними, т. е. о том, что данный фактор обусловил переход объекта в это состояние. Это связано с тем, что вероятность перехода объекта в это состояние может быть вообще очень высокой независимо от действия фактора. Поэтому в качестве меры силы причинной обусловленности определенного состояния объекта действием некоторого фактора Харкевич предложил логарифм Отношения вероятностей перехода в объекта в это состояние в условиях действия фактора и при его отсутствии или в среднем (13).

Таким образом семантическая мера информации Харкевича является мерой наличия причинно-следственных связей между факторами и состояниями объекта управления.

Выражение классической формулы Харкевича через частоты фактов

Вывод коэффициента эмерджентности Харкевича на основе принципа соответствия с выражением Хартли в детерминистском случае

Однако мера Харкевича (13) не удовлетворяет принципу соответствия мерой Хартли как мера Шеннона, т. е. не переходит в меру Хартли в детерминистском случае, т. е. когда каждому будущему состоянию объекта управления соответствует единственный уникальный фактор и между факторами и состояниями имеется взаимно однозначное соответствие (17).

(16)

(17)

Откуда:

(18)

(19)

Вывод системного обобщения формулы Харкевича

(20)

Окончательное выражение для системного обобщения формулы Харкевича

(21)

Связь системной теории информации (СТИ) с теорией Хартли-Найквиста-Больцмана и теорией Шеннона

Связь между выражениями для плотности информации в теориях Хартли, Шеннона и СТИ приведена на рисунке 41.

Связь между выражениями для плотности информации в теориях Хартли, Шеннона и СТИ

Интерпретация коэффициентов эмерджентности СТИ

Интерпретация коэффициентов эмерджентности, предложенных в рамках системной теории информации, приведена на рисунке 42.

Интерпретация коэффициентов эмерджентности СТИ

Коэффициент эмерджентности Хартли (4) представляет собой относительное превышение количества информации о системе при учете системных эффектов (смешанных состояний, иерархической структуры ее подсистем и т. п.) над количеством информации без учета системности, т. е. этот коэффициент является аналитическим выражением для Уровня системности объекта.

Коэффициент эмерджентности Харкевича , изменяется от 0 до 1 и определяет степень детерминированности системы.

Таким образом, в предложенном системном обобщении формулы Харкевича (21) впервые непосредственно в аналитическом выражении для самого понятия "Информация" отражены такие фундаментальные свойства систем, как "Уровень системности" и "Степень детерминированности" системы.

Матрица абсолютных частот

Основной формой первичного обобщения эмпирической информации в модели является матрица абсолютных частот (таблица 23). В этой матрице строки соответствуют факторам, столбцы - будущим целевым и нежелательным состояниям объекта управления, а на их пересечении приведено количество наблюдения фактов (по данным обучающей выборки), когда действовал некоторый i-й фактор и объект управления перешел в некоторое j-е состояние.

Таблица - МАТРИЦА АБСОЛЮТНЫХ ЧАСТОТ

Матрица информативностей

Непосредственно на основе матрицы абсолютных частот с использованием системного обобщения формулы Харкевича (21) рассчитывается матрица информативностей (таблица 24).

Таблица - МАТРИЦА ИНФОРМАТИВНОСТЕЙ

Матрица информативностей является универсальной формой представления Смысла эмпирических данных в единстве их дискретного и интегрального представления (причины - последствия, факторы - результирующие состояния, признаки - обобщенные образы классов, образное - логическое, дискретное - интегральное).

Весовые коэффициенты матрицы информативностей непосредственно определяют, какое количество информации Iij система управления получает о наступлении события: "объект управления перейдет в j-е состояние", из сообщения: "на объект управления действует i-й фактор".

Когда количество информации Iij>0 - i-й фактор способствует переходу объекта управления в j-е состояние, когда Iij<0 - препятствует этому переходу, когда же Iij=0 - никак не влияет на это.

Таким образом, предлагаемая семантическая информационная модель позволяет непосредственно на основе эмпирических данных и независимо от предметной области Рассчитать, какие количество информации содержится в любом событии о любом другом событии.

Этот вывод является ключевым для данной работы, т. к. конкретно показывает возможность числовой обработки в СК-анализе как числовой, так и нечисловой информации.

Матрица информативностей является также обобщенной (неклассической) таблицей решений, в которой входы (факторы) и выходы (будущие состояния объекта управления) связаны друг с другом не с помощью классических (Аристотелевских) импликаций, принимающих только значения: "Истина" и "Ложь", а Различными значениями истинности, выраженными в битах и принимающими значения от положительного теоретически-максимально-возможного, до теоретически неограниченного отрицательного. Некоторые неклассические высказывания, генерируемые на основе матрицы информативности, приведены на плакате.

Неметрический интегральный критерий сходства, основанный на лемме Неймана-Пирсона

В выражениях (22 - 24) приведен неметрический интегральный критерий сходства, основанный на фундаментальной лемме Неймана-Пирсона, обеспечивающий идентификацию и прогнозирование в предложенных Неортонормированных семантических пространствах с Финитной метрикой, В которых в качестве координат векторов будущих состояний объекта управления и факторов выступает количество информации, рассчитанное в соответствии с системной теорией информации (21), а не Булевы координаты или частоты, как обычно.

(22) (23)

Или в координатной форме:

(24) (25)

- вектор j-го состояния объекта управления;

- вектор состояния предметной области, включающий все виды факторов, характеризующих объект управления, возможные управляющие воздействия и окружающую среду (массив-локатор), т. е.:

(26)

- средняя информативность по вектору класса;

- среднее по вектору идентифицируемой ситуации (объекта).

- среднеквадратичное отклонение информативностей вектора класса;

- среднеквадратичное отклонение по вектору распознаваемого объекта.

Связь системной меры целесообразности информации с критерием 2

В (28 - 33) показана связь системной меры целесообразности информации с известным критерием 2, а также предложен новый критерий уровня системности предметной области, являющийся нормированным объемом семантического пространства (34, 35).

(28)

(29)
    - NIj - фактическое количество встреч i-го признака у объектов j-го класса; - t - ожидаемое количество встреч i-го признака у объектов j-го класса.

(30)

(31)

(32)

(33)

(34)

(35)

Предлагается более точный критерий уровня системности модели является объем неортонормированного семантического пространства, рассчитанный как объем многомерного параллелепипеда, ребрами которого являются оси семантического пространства. Однако для этой меры сложнее в общем виде записать аналитическое выражение и для ее вычисления могут быть использованы численные методы с использованием многомерного обобщения смешанного произведения векторов.

Абстрагирование (ортонормирование) существенно уменьшает размерность семантического пространства без существенного уменьшения его объема.

Оценка адекватности семантической информационной модели в СК-анализе и бутстрепные методы

Под адекватностью модели СК-анализа понимается ее внутренняя и внешняя дифференциальная и интегральная валидность. Понятие валидности является уточнением понятия адекватности, для которого определены процедуры количественного измерения, т. е. валидность - это количественная адекватность. Это понятие количественно отражает способность модели давать правильные результаты идентификации, прогнозирования и способность вырабатывать правильные рекомендации по управлению.

Под внутренней валидностью понимается валидность модели, измеренная после синтеза модели путем идентификации объектов обучающей выборки.

Под внешней валидностью понимается валидность модели, измеренная после синтеза модели путем идентификации объектов, не входящих в обучающую выборку.

Под дифференциальной валидностью модели понимается достоверность идентификации объектов в разрезе по классам.

Под интегральной валидностью средневзвешенная дифференциальная валидность. Возможны все сочетания: внутренняя дифференциальная валидность, внешняя интегральная валидность и т. д.

Основная идея бутстрепа по Б. Эфрону [110] состоит в том, что методом Монте-Карло (статистических испытаний) многократно извлекаются выборки из эмпирического распределения. Эти выборки, естественно, являются вариантами исходной, напоминают ее.

Эта идея позволяет сконструировать алгоритм измерения адекватности модели, состоящий из двух этапов:

    1. Синтез модели на одном случайном подмножестве обучающей выборки. 2. Измерение валидности модели на оставшемся подмножестве обучающей выборки, не использованном для синтеза модели.

Поскольку оба случайных подмножества имеют переменный состав по объектам обучающей выборки, то подобная процедура должна повторяться много раз, после чего могут быть рассчитаны статистические характеристики адекватности модели, например, такие как:

    - средняя внешняя валидность; - среднеквадратичное отклонение текущей внешней валидности от средней и другие.

Достоинство бутстрепного подхода к оценке адекватности модели состоит в том, что он позволяет измерить внешнюю валидность на уже имеющейся выборке и изучить статистические характеристики, характеризующие адекватность модели при изменении объема и состава выборки.

Непараметричность модели. Робастные процедуры и фильтры для исключения артефактов

Предложенная семантическая информационная модель является Непараметрической, т. к. базируется на системной теории информации [64], которая никоим образом не основана на предположениях о нормальности распределений исследуемой выборки.

Под робастными понимаются процедуры, обеспечивающие устойчивую работу модели на исходных данных, зашумленных артефактами, т. е. данными, выпадающими из общих статистических закономерностей, которым подчиняется исследуемая выборка.

Критерий выявления артефактов, реализованный в СК-анализе, основан на том, что при увеличении объема статистики частоты значимых атрибутов растут, как правило, пропорционально объему выборки, а частоты артефактов так и остаются чрезвычайно малыми, близкими к единице. Таким образом, выявление артефактов возможно только при достаточно большой статистике, т. к. в противном случае недостаточно информации о поведении частот атрибутов с увеличением объема выборки.

В модели реализована такая процедура удаления наиболее вероятных артефактов, и она, как показывает опыт, существенно повышает качество (адекватность) модели.

Методика численных расчетов СК-анализа

Детальный список БКОСА и их алгоритмов

В таблице 25 приведен детальный список базовых когнитивных операций системного анализа, которым соответствует 24 алгоритма, которые здесь привести нет возможности из-за их объемности. Но они все приведены в полном виде в работе [64].

Иерархическая структура данных семантической информационной модели СК-анализа

На рисунке 43 приведена в обобщенном виде иерархическая структура баз данных семантической информационной модели системно-когнитивного анализа. На этой схеме базы данных обозначены Прямоугольниками, а базовые когнитивные операции системного анализа, преобразующие одну базу в другую - Стрелками с надписями. Имеются также базовые когнитивные операции, формирующие выходные графические формы. Из этой схемы видно, что одни базовые когнитивные операции готовят данные для других операций, относящихся к более высоким уровням иерархии системы процессов познания. Этим определяется возможная последовательность выполнения базовых когнитивных операций.

Иерархическая структура баз данных семантической информационной модели системно-когнитивного анализа

Специальный программный инструментарий СК-анализа - система "Эйдос"

На таблице 26 показана обобщенная схема когнитивной аналитической системы "Эйдос", которая реализует математическую модель и численный метод системно-когнитивного анализа и, таким образом, является его инструментарием. В состав данной системы входит 7 подсистем.

Первые 3 подсистемы являются Инструментальными, т. е. позволяют осуществлять Синтез и адаптацию модели. Остальные 4 подсистемы обеспечивают идентификацию, прогнозирование и кластерно-конструктивный анализ модели, в т. ч. верификацию модели и выработку управляющих воздействий.

Система "Эйдос" является довольно большой системой: распечатка ее исходных текстов 6-м шрифтом составляет около 800 листов, она генерирует 54 графических формы (двумерные и трехмерные) и 50 текстовых форм. На данную систему и системы окружения получено 8 свидетельств РосПатента РФ.

Таблица - ОБОБЩЕННАЯ СТРУКТУРА УНИВЕРСАЛЬНОЙ КОГНИТИВНОЙ АНАЛИТИЧЕСКОЙ СИСТЕМЫ "ЭЙДОС"

Подсистема

Режим

Функция

Операция

1.

Словари

1. Классификационные шкалы и градации

2. Описательные шкалы (и градации)

3. Градации описательных шкал (признаки)

4. Иерархические уровни систем

1. Уровни классов

2. Уровни признаков

5. Программные интерфейсы для импорта данных

1. Импорт данных из TXT-фалов стандарта DOS-текст

2. Импорт данных из DBF-файлов стандарта проф. А. Н.Лебедева

3. Импорт из транспонированных DBF-файлов проф. А. Н.Лебедева

4. Генерация шкал и обучающей выборки RND-модели

5. Генерация шкал и обучающей выборки для исследования чисел

6. Транспонирование DBF-матриц исходных данных

6. Почтовая служба по НСИ

1. Обмен по классам

2. Обмен по обобщенным признакам

3. Обмен по первичным признакам

7. Печать анкеты

2.

Обучение

1. Ввод-корректировка обучающей выборки

2. Управление обучающей выборкой

1. Параметрическое задание объектов для обработки

2. Статистическая характеристика, ручной ремонт

3. Автоматический ремонт обучающей выборки

3. Пакетное обучение системы распознавания

1. Накопление абсолютных частот

2. Исключение артефактов (робастная процедура)

3. Расчет информативностей признаков

4. Расчет условных процентных распределений

5. Автоматическое выполнение режимов 1-2-3-4

6. Измерение сходимости и устойчивости модели

1. Сходимость и устойчивость СИМ

2. Зависимость валидности модели от объема обучающей выборки

4. Почтовая служба по обучающей информации

3.

Оптимизация

1. Формирование ортонормированного базиса классов

2. Исключение признаков с низкой селективной силой

3. Удаление классов и признаков, по которым недостаточно данных

4.

Распознавание

1. Ввод-корректировка распознаваемой выборки

2. Пакетное распознавание

3. Вывод результатов распознавания

1. Разрез: один объект - много классов

2. Разрез: один класс - много объектов

4. Почтовая служба по распознаваемой выборке

5.

Типология

1. Типологический анализ классов распознавания

1. Информационные (ранговые) портреты (классов)

2. Кластерный и конструктивный анализ классов

1 Расчет матрицы сходства образов классов

2. Генерация кластеров и конструктов классов

3. Просмотр и печать кластеров и конструктов

4. Автоматическое выполнение режимов: 1,2,3

5. Вывод 2d семантических сетей классов

3. Когнитивные диаграммы классов

2. Типологический анализ первичных признаков

1. Информационные (ранговые) портреты признаков

2. Кластерный и конструктивный анализ признаков

1. Расчет матрицы сходства образов признаков

2. Генерация кластеров и конструктов признаков

3. Просмотр и печать кластеров и конструктов

4. Автоматическое выполнение режимов: 1,2,3

5. Вывод 2d семантических сетей признаков

3. Когнитивные диаграммы признаков

6. Анализ

1. Оценка достоверности заполнения объектов

2. Измерение адекватности семантической информационной модели

3. Измерение независимости классов и признаков

4. Просмотр профилей классов и признаков

5. Графическое отображение нелокальных нейронов

6. Отображение Паретто-подмножеств нейронной сети

7. Классические и интегральные когнитивные карты

Подсистема

Режим

Функция

Операция

7.

Сервис

1. Генерация (сброс) БД

1. Все базы данных

2. НСИ

1. Всех баз данных

2. БД классов

3. БД первичных признаков

4. БД обобщенных признаков

3. Обучающая выборка

4. Распознаваемая выборка

5. Базы данных статистики

2. Переиндексация всех баз данных

3. Печать БД абсолютных частот

4. Печать БД условных процентных распределений

5. Печать БД информативностей

6. Интеллектуальная дескрипторная информационно-поисковая система

Похожие статьи




Графическое отображение нелокального нейрона в системе "Эйдос", Графическое отображение нелокальной нейронной сети в системе "Эйдос" - Системная теория информации и семантическая информационная модель

Предыдущая | Следующая