Кластерный анализ - Кластерный анализ
Кластерный анализ -- способ группировки многомерных объектов, основанных на представлении результатов отдельных наблюдений точками подходящего геометрического пространства с последующим выделением групп как "сгустков" этих точек. Безусловными достоинствами кластерного анализа являются относительная простота используемых алгоритмов, ясность прочтения визуализированного материала в виде дендрограммы или по упорядоченной матрице расстояний, возможность контролируемого вмешательства в работу алгоритма и изменение параметров задания.
Отличительная особенность кластерного анализа от других методов многомерного анализа -- жесткая зависимость результатов расчетов от предварительных установок исследователя на содержательном уровне. Кластерный анализ строится на статистической однородности групп наблюдений. Основная цель этого вида анализа -- выделение в исходных многомерных данных таких подмножеств, чтобы объекты внутри групп были в известном смысле похожи друг на друга, а объекты из разнородных отличались. группировка многомерный геометрический кластерный
Задача кластерного анализа -- выделить в пространстве и визуализировать эти естественные скопления. Если в пространстве группы значительно удалены друг от друга, то можно предположить, что в основе разделения лежит некоторый качественный, но скрытый признак, обусловливающий такое же четкое расслоение, как и наблюдаемая качественная переменная. Таким образом, Задачей становится поиск данной переменной и ее интерпретация (в этом случае кластерный анализ весьма приближается к факторному). Различают неэталонные (исходные принципы классификации не задаются) и эталонные процедуры. Во втором случае задаются исходные зоны, поля, с помощью которых начинает работу алгоритм. Эталоны могут быть следующего вида: подмножество исходного множества (первоначальное разбиение на классы); отдельные объекты; отдельные зоны (точки) метрического пространства (центр тяжести класса). Кроме того, существует множество процедур кластеризации, работающих по другому принципу: иерархические алгоритмы, процедуры диагонализа - ции, разрезание графов и т. д.
При выполнении кластерного анализа мы должны четко понимать возможности, т. е. выполняемую задачу этого метода -- разбиение совокупности на однородные подможества объектов. Дискриминантный анализ -- вариант многомерного статистического анализа, включающий статистические методы классификации многомерных наблюдений в ситуации, когда исследователь обладает так называемыми обучающими выборками ("классификация с учителем"), Дискриминантный анализ выполняет задачу и классификации. В определенном смысле дискриминантный анализ направлен на решение задач, обратных целям кластерного анализа, поскольку в данном случае критерии классификации объектов задаются изначально, а задача заключается в том, чтобы определить, насколько эти подобранные правила классификации являются удовлетворительными. Он направлен на решение задачи, когда известно о существовании определенного числа (больше или равно 2) непересекающихся групп, и требуется построить основанное на имеющихся выборках наилучшее (в определенном смысле) классифицирующее правило, позволяющее приписать некоторый новый элемент (многомерное наблюдение X) к своей подгруппе в ситуации, когда исследователю заранее неизвестно, к какой из совокупностей этот элемент принадлежит.
Обычно под классифицирующим правилом понимается последовательность действий: по вычислению некоторой функции от исследуемых показателей, по упорядоченности самих показателей, по вычислению соответствующих вероятностей ошибочной классификации. При этом допускается, что есть объекты, не относящиеся ни к одной из классифицируемых групп. Кроме того, в ходе анализа определяется "вес" каждой переменной, использованной для классификации объектов по группам. То есть с помощью дискриминантного анализа отбираются переменные, наилучшим образом подходящие для достоверного предсказания. Таким образом, дискриминантный анализ можно отнести к методам прогнозирования, основанным на принципе экстраполяции -- перенесении в будущее обнаруженных закономерностей.
Дискриминантный анализ решает две основные задачи. Во-первых, с его помощью можно понять, насколько точно можно различать классы исследуемых объектов. Во-вторых, можно подобрать признаки, с помощью которых можно выполнять это различение. Дискриминантный анализ позволяет строить функции измеряемых характеристик, значения которых и объясняют разбиение объектов на группы. Желательно, чтобы этих функций (дискриминирующих признаков) было немного. Наиболее простым в исполнении является линейный дискриминантный анализ, в котором классифицирующие признаки выбираются как линейные функции от первичных признаков. Многомерное шкалирование представляет сложные данные в визуальной форме, что облегчает их восприятие и интерпретацию по сравнению с табличной формой. Существуют три разновидности МШ: метрическое, неметрическое и индивидуальное. Метрическое и неметрическое МШ различаются по уровню измерения исходных данных. Метрическое шкалирование требует метрических данных (получаемых в результате использования абсолютных шкал), а следовательно, непригодно для большей части получаемых исследователем первичных эмпирических данных. Неметрическое шкалирование накладывает гораздо меньшие ограничения и позволяет использовать данные более низкого уровня измерения (порядковых шкал). Метрическое МШ при построении функции учитывает числовые отношения между объектами, а неметрическое -- их порядок. Модель индивидуальных различий применялась вначале для изучения степени отличия оценок стимулов у различных людей, отсюда и происходит название.
В качестве исходных данных для шкалирования могут быть взяты не сами оценки степени сходства объектов, а результаты их ранжирования. Эти методы анализа называют неметрическим шкалированием. МШ может быть применено при изучении политических деятелей, элиты. В этом случае исходными данными для анализа могут служить экспертные оценки сходства или различия взглядов полигиков по некоторым проблемам. В качестве исходных данных можно использовать голосование политиков по тем или иным вопросам. МШ в этом случае поможет ответить на вопрос о характеристиках, которые в действительности определяют характер голосования.
В МШ помимо корреляционной матрицы в качестве исходных данных можно использовать произвольный тип матрицы сходства объектов. При реализации алгоритма многомерного шкалирования получаются числовые значения координат, которые приписываются каждому объекту в некоторой новой системе координат (во "вспомогательных шкалах", связанных с латентными переменными), причем размерность нового пространства признаков существенно меньше размерности исходного (обычно двух - или трехмерная).
Исследователь просматривает различные варианты визуализации результатов многомерного шкалирования, выбирает наиболее удачные варианты, в которых явно выделяются конфигурации объектов, а затем пытается объяснить эти специфические конфигурации с помощью какой-либо концепции.
Похожие статьи
-
В данной работе были рассмотрены два теста, которые позволяют выявить гетероскедастичность. И тест Вайта, и тест Парка являются простыми тестами, которые...
-
В результате первой стадии статистического исследования (статистического наблюдения) получают статистическую информацию, представляющую собой большое...
-
В результате проведенного финансового анализа предприятия можно сделать вывод, что состояние его удовлетворительное, но имеется ряд недостатков: В...
-
Моделирование системы в условиях неопределенности - Основы теории систем и системного анализа
Как уже отмечалось в первой части нашего курса, в большинстве реальных больших систем не обойтись без учета "состояний природы" -- воздействий...
-
Принципы декомпозиционного анализа экономической системы
Принципы декомпозиции Декомпозиция исходной системы или глобальной задачи производится путем применения принципов декомпозиции и координации. Первые...
-
Вводная часть, Общие сведения о качественном и количественном анализе - Основы качественного анализа
Общие сведения о качественном и количественном анализе Качественный анализ отвечает на вопрос, какие объекты (элементы, вещества, фазы, функциональные...
-
Основные задачи анализа временных рядов - Динамические ряды
Принципиальные отличия временного ряда от последовательности наблюдений, образующих случайную выборку, заключаются в следующем: Во-первых, в отличие от...
-
Дисперсионный анализ - Выполнение регрессионного и дисперсионного анализа
Дисперсионный анализ - первый статистический метод отсеивания факторов в активном эксперименте. Он основан на представлении о том, что значимость фактора...
-
Корреляционный статистический регрессионный Исходные данные: N 1 2 3 4 5 6 7 8 9 10 XI 15 16 19 23 25 26 29 34 38 49 YI 4 15 10 13 18 20 19 17 26 33 На...
-
Основные задачи анализа временных рядов. Базисная цель статистического анализа временного ряда заключается в том, чтобы по имеющейся траектории этого...
-
Элементы матричного анализа - Методы решения системы линейных уравнений
Вектором, как на плоскости, так и в пространстве, называется направленный Отрезок , то есть такой Отрезок , один из концов которого выделен и называется...
-
СУЩНОСТЬ КЛАСТЕРНОГО АНАЛИЗА - Многомерный статистический анализ
С помощью кластерного анализа, как и рассмотренного нами факторного анализа, можно проверить весь набор взаимозависимых связей. В кластерном анализе не...
-
Регрессия -- зависимость среднего значения какой-либо величины от некоторой другой величины или от нескольких величин. Задача регрессионного анализа...
-
Предварительная обработка исходного числового ряда направлена на решение следующих задач (всех или части из них): снизить влияние случайной составляющей...
-
Для примера рассмотрим вытекающую из общей постановки (3),(4) двухкритериальную () многоэтапную динамическую задачу, с целевыми функциями дохода и потерь...
-
Выборочное наблюдение широко используется для : 1) статистического оценивания и проверки гипотез; 2) решения производственных и управленческих задач; 3)...
-
СПОСОБЫ ОПИСАНИЯ СТРУКТУР. МОРФОЛОГИЯ СОЦИАЛЬНО-ПОЛИТИЧЕСКОЙ И ЭКОНОМИЧЕСКОЙ СФЕР Структурное моделирование. Структурный анализ Основная цель...
-
Анализ неизвестной соли, Исходные условия - Основы качественного анализа
Исходные условия В данной работе мы изучаем качественный анализ по сильно упрощенной схеме - со следующими ограничениями: - предлагается одна простая...
-
Химические и физические методы анализа, Условность классификации - Основы качественного анализа
Условность классификации Природа не знает деления на физику и химию, поэтому классификация методов довольно условна. Обычно к химическим методам относят...
-
Сущность группировки, их виды и значение Группировка -- это распределение единиц по группам в соответствии со следующим принципом: различия между...
-
ОПРЕДЕЛЕНИЕ МЕТОДА ФАКТОРНОГО АНАЛИЗА И ЧИСЛА ФАКТОРОВ - Многомерный статистический анализ
Определение метода факторного анализа. Различные методы факторного анализа различаются в зависимости от подходов, которые используются для выделения...
-
ДОПУЩЕНИЯ МОДЕЛИ РЕГРЕССИОННОГО АНАЛИЗА, ФАКТОРНЫЙ АНАЛИЗ - Многомерный статистический анализ
Регрессионная модель при оценке параметров и проверке значимости исходит из ряда допущений: 1. Ошибочный член уравнения регрессии (остаточный компонент)...
-
КОВАРИАЦИОННЫЙ АНАЛИЗ, ПАРНАЯ КОРРЕЛЯЦИЯ - Многомерный статистический анализ
По сути дела эта дисперсионный анализ, который включает, по крайней мере, одну категориальную независимую переменную и одну интервальную или метрическую...
-
ОДНОФАКТОРНЫЙ ДИСПЕРСИОННЫЙ АНАЛИЗ - Многомерный статистический анализ
Довольно часто у маркетологов возникает необходимость установить различия в средних значениях зависимой переменной для нескольких категорий одной...
-
МЕТОДЫ СРАВНИТЕЛЬНОГО ШКАЛИРОВАНИЯ - Многомерный статистический анализ
Шкалирование методом попарного сравнения - Это метод сравнительного шкалирования, при котором респонденту дается два объекта для выбора по определенному...
-
ПРИНЦИПЫ ИЗМЕРЕНИЙ И ШКАЛИРОВАНИЯ - Многомерный статистический анализ
Измерение шкалирование кластерный регрессионный Измерение - это Присвоение чисел или других символов характеристикам объектов по заранее определенным...
-
Методы анализа взаимосвязи - Статистическое изучение взаимосвязи социально-экономических явлений
Первым и обязательным этапом изучения взаимосвязи социально-экономических явлений является качественный анализ природы явления методами экономической...
-
Теория Леманна - Анализ статистических свойств процедуры построения минимального остовного дерева
Один из методов множественной проверки гипотез был предложен и подробно описан Леманном в [10]. Рассмотрим данный метод на примере выбора акций в...
-
Введение - Анализ статистических свойств процедуры построения минимального остовного дерева
Проблема исследования фондовых рынков возникла еще в середине 20 века. Актуальность ее состоит в том, что фондовые рынки имеют решающее значение в...
-
Качественные методы анализа - Разработка технологической схемы получения анизола и крезола
Рециркуляционных реакционно-ректификационных процессов. При анализе сложных ХТС, характеризующихся большим числом параметров и переменных необходимо...
-
Анализ ликвидности баланса является одним из основных элементов углубленного анализа финансового состояния предприятия. Ликвидность баланса определяется...
-
Вариации коэффициентов целевой функции ЗЛП приводят к изменению направления вектора градиента. Так как при этом не затрагивается допустимое множество, то...
-
В предыдущем разделе обсуждается важность учета пространственных взаимодействий при изучении влияния факторов арендной ставки на рынке недвижимости, как...
-
Алгоритмы поиска квази-клики в графе. - Использование квази-клик для анализа графа рынка России
Как и для поиска клик существуют алгоритмы поиска квази-клик в графе. Далее мы рассмотрим некоторые из них. Как было сказано ранее, задача поиска...
-
Метод анализа многомерных иерархий
Метод анализа многомерных иерархий Современная бизнес-аналитика требует, во-первых, выявления предполагаемых взаимосвязей и взаимовлияющих факторов в...
-
Сущность и основные условия применения корреляционного анализа В соответствии с сущностью корреляционной связи ее изучение имеет две цели: 1) измерение...
-
Описание реальных отношений между экономическими объектами и производственными процессами наиболее рационально и в полной мере осуществляется с помощью...
-
Нysys Эта программа предназначена для технологических расчетов. С помощью программы Hysys можно разрабатывать адекватные стационарные и динамические...
-
Построение и анализ эконометрической модели - Построение экономических моделей
На основе данных таблицы 1 приложения А построим предварительную регрессионную модель: Модель 1: МНК, использованы наблюдения 2005:01-2007:12 (T = 36)...
-
Задачи, решаемые с помощью эконометрической модели можно классифицировать по трем признакам: 1) по конечным прикладным целям; 2) по уровню иерархии; 3)...
Кластерный анализ - Кластерный анализ