Метод наименьших квадратов - Основы научных исследований
Пусть проведен однофакторный эксперимент, в котором исследована зависимость У от Х. Установлено, что основные предпосылки регрессионного анализа выполняются. Требуется найти функцию регрессии.
Рассмотрим вначале простейший случай, когда эмпирическая зависимость может быть хорошо аппроксимирована линейной функцией
Задача линейного РА состоит в том, что, зная положение экспериментальных точек на плоскости ХОУ, так провести линию регрессии, чтобы ее отклонение от всех точек было минимальным, как это показано на рисунке 15.1.
Рисунок 15.1 Линейная регрессия
При выборе линии регрессии можно, казалось бы, добиваться выполнения условия
,
Т. е. чтобы сумма отклонений всех расчетных точек от экспериментальных была равна нулю. Но соблюдение этого условия не позволяет однозначно определить линию регрессии, т. к. все прямые, проходящие через точку с координатами, удовлетворяют этому условию.
Для однозначного выбора функции регрессии используется какая-нибудь естественная характеристика точности аппроксимации. Чаще всего используется дисперсия остатков
(15.1)
Следовательно, мерой отклонения расчетных точек от экспериментальных в этом случае является сумма квадратов отклонений. Очевидно, что прямая наилучшим образом будет аппроксимировать экспериментальные данные, если будет минимальной. Для этого нужно минимизировать функцию
(15.2)
Метод, основанный на минимизации суммы квадратов отклонений расчетных значений откликов от экспериментальных называется методом наименьших квадратов (МНК).
С его помощью отыскиваются такие значения А0 и АІ, которые сводят к минимуму. Для этого вычисляются частные производные от (15.1) и приравниваются к нулю
(15.3)
Отсюда
(15.4)
Воспользовавшись правилом Крамера, получим
(15.5)
Свободный член можно определить и проще, воспользовавшись уравнением прямой линии в следующем виде
Отсюда
Похожие статьи
-
Регрессия -- зависимость среднего значения какой-либо величины от некоторой другой величины или от нескольких величин. Задача регрессионного анализа...
-
Задача регрессии. Метод наименьших квадратов Ищу функцию регрессии в виде (1*). Оценки коэффициентов нахожу с помощью Метода Наименьших Квадратов (МКВ),...
-
Обобщенный метод наименьших квадратов - Моделирование в эконометрике
При наличии гетероскедастичности в остатках рекомендуется традиционный метод наименьших квадратов (МНК) заменять обобщенным методом наименьших квадратов...
-
Парная регрессия на основе метода наименьших квадратов и метода группировок - Основы эконометрики
Парная регрессия Характеризует связь между двумя признаками: результативным и факторным. Аналитически связь между ними описывается уравнениями: Прямой...
-
Интегральная и дифференциальная функции распределения - Основы научных исследований
Наиболее общей формой задания распределения случайных величин является Интегральная функция распределения . Она определяет вероятность того, что...
-
Нелинейный регрессионный анализ, Множественный регрессионный анализ - Основы научных исследований
Линейные по параметрам регрессионные модели можно использовать для аппроксимации нелинейных зависимостей путем их линеаризации с помощью базисных...
-
Постановка задачи регрессионного анализа - Основы научных исследований
Основное назначение Регрессионного анализа (РА) - получение по экспериментальным данным зависимостей, аппроксимирующих эти данные в виде алгебраических...
-
Корреляция и регрессия Вспомним, что зависимости называются вероятностными или стохастическими, если каждому набору факторов Х I соответствует множество...
-
Вычисляют выборочную дисперсию, характеризующую меру разброса опытных данных (x I ; Y I ) вокруг значений регрессии, то есть дисперсию остатков ....
-
Научный метод. Практические и теоретические аспекты - Основы естественно-научных знаний
Одним из основных методов естествознания является научный метод познания, включающий в себя определенный ряд этапов изучения объектов: наблюдение,...
-
Получим систему линейных уравнений: Уравнение гиперболической регрессии: Добавим на диаграмму рассеяния линию гиперболического тренда. Рисунок 9 Вычислим...
-
Очевиднен отрицательный тренд, близкий к линейному, однако реальная зависимость между признаками х и y может определяться другой функцией. Положительном...
-
Научная теория и ее структура - Основы научных исследований
Теория - система логически непротиворечивых верифицируемых высказываний, в идеале имеющая аксиоматическую структуру и полностью соответствующая всем...
-
Математическое моделирование - Основы научных исследований
Выше уже указывалось, что Математическое моделирование - это получение решений уравнений, составляющих математическую модель объекта, при изменении...
-
Дисперсия - Основы научных исследований
Степень рассеивания случайной величины относительно центра распределения характеризуется Дисперсией (от лат. dispersio - рассеивание). Дисперсия - это...
-
Нормальное распределение - Основы научных исследований
В классической математической статистике чаще всего используется т. н. нормальное распределение или распределение Гаусса-Лапласа. В естествознании и...
-
Математическое ожидание - Основы научных исследований
Интегральная и дифференциальная функции распределения являются исчерпывающими статистическими характеристиками любой случайной величины. Однако многие...
-
После проведения регрессионного анализа получается модель объекта исследований в виде некоторой функции. В простейшем случае линейной регрессии она имеет...
-
Введение, Что такое наука - Основы научных исследований
Что такое наука Развитие металлургии вообще и обработки металлов давлением в частности требует создания новых технологий и оборудования, которое...
-
1. Предпосылки метода наименьших квадратов. 2. Проблема мультиколлинеарности. 3. Гомоскедатичность и гетероскедатичность. Линейные регрессионные модели с...
-
Основные предпосылки регрессионного анализа - Основы научных исследований
Методика РА создана с использованием некоторых предпосылок. Если они не выполняются, то корректное выполнение всех процедур РА приведет к неверным...
-
Методы наименьших квадратов - Системы эконометрических уравнений, их применение в эконометрике
Как уже отмечалось, разработана масса методов эвристического анализа систем эконометрических уравнений. Они предназначены для решения тех или иных...
-
Построение теоретической функции методом наименьших квадратов Задание 1 Используя метод наименьших квадратов найти оценки коэффициентов регрессионной...
-
Требования к современному эксперименту - Основы научных исследований
В данном курсе под физическим экспериментом будем понимать любое взаимодействие с внешними объектами, направленное на получение новой информации. Поэтому...
-
Физическое моделирование - Основы научных исследований
Физическими моделированием называется изучение свойств явлений или процессов на физических моделях, заменяющих собою объект, который в таком случае...
-
Методы отбора выборок - Основы научных исследований
Известны три метода отборок выборок: случайный, систематический и комбинированный. В результате случайного отбора получается случайная выборка. Выборка...
-
Используется адаптивная нейро-нечеткая система вывода ANFIS, функционально эквивалентная системе нечеткого вывода Сугено. Вывод осуществляется за два...
-
МЕТОДЫ ИСКЛЮЧЕНИЯ АВТОКОРРЕЛЯЦИИ ИЗ РЯДОВ ДИНАМИКИ - Основы прогнозирования
Для исключения автокорреляции могут применяться следующие методы: 1. метод конечных разностей; 2. метод исключения тенденций с помощью уравнений...
-
Объект исследования и его модель - Основы научных исследований
Объект исследования - это первичное, не сводимое к более простым, понятие. Поэтому дать его общее определение невозможно. Однако можно указать примеры...
-
Эксперименты физические и математические - Основы научных исследований
Эксперимент (от лат. experimentum - проба, опыт) - метод познания, при помощи которого в контролируемых условиях изучаются явления имманентного мира. В...
-
Статистическая вероятность и распределения случайных величин - Основы научных исследований
В теории вероятностей под случайной величиной понимают отношения числа благоприятных исходов испытаний к общему числу испытаний. Например, если из 10...
-
Проверка нормальности распределения - Основы научных исследований
Асимметрия и эксцесс позволяют произвести приближенную проверку нормальности распределения. Очевидно, что симметричное и не имеющее эксцесса унимодальное...
-
Асимметрия и эксцесс - Основы научных исследований
Количественно степень несимметричности распределения оценивается при помощи одной из мер этого параметра - Асимметрией , Где М3 - центральный момент...
-
Параметры эмпирических распределений - Основы научных исследований
По опытным (эмпирическим) данным строятся распределения исследуемых случайных величин. Функции плотности Р(х) таких распределений могут иметь один...
-
Последовательность организации эксперимента - Основы научных исследований
Для всех видов физических экспериментов последовательность их организации стандартизована и состоит из следующих этапов: 1. Аналитический (литературный)...
-
Генеральная совокупность и выборка - Основы научных исследований
Распределение случайной величины содержит всю информацию о ее статистических свойствах. Много ли нужно знать значений случайной величины, чтобы построить...
-
Распределение (хи-квадрат) - Основы научных исследований
Это распределение, называемое также распределением Пирсона, используется при изучении вероятностных свойств выборочных дисперсий. Если S2(x) - дисперсия...
-
Выборочные распределения, Распределение Стьюдента - Основы научных исследований
Выборочное распределение - это распределение какой-либо статистики, полученное в результате отбора различных случайных выборок из одной и той же...
-
Метод максимального правдоподобия - Основы научных исследований
Разработан Р. Фишером. Пусть Х 1 ,х 2 ...х N - выборка из генеральной совокупности случайной величины Х с функцией плотности вероятности Р(х, и),...
-
Статистики, Свойства оценок - Основы научных исследований
Любая функция от элементов выборки называется Статистикой . Следовательно, точечная оценка также является статистикой. Однако не всякая статистика может...
Метод наименьших квадратов - Основы научных исследований