Оценивание параметров функции парной линейной регрессии - Математическое описание связи: регрессия, корреляция
В эконометрике приходится сталкиваться с двумя ситуациями. Уже имеющаяся математическая модель, построенная, исходя из тех или иных экономических предпосылок, проверяется эконометрическими методами на ее соответствие новым экономическим условиям. Иными словами, известная экономическая модель проверяется на "правильность". Еще одна ситуация, с которой приходится встречаться, заключается в том, что необходимо построить саму модель, то есть, подобрать функцию, которая аппроксимирует зависимость между теми или иными показателями. Такая попытка построения модели была предпринята нами в примере 1. Однако, даже после того, как сам вид модели задан, остается важная задача отыскания неизвестных параметров модели, или, выражаясь более корректно, оценивания параметров регрессионной модели. Существуют различные подходы и методы к решению задачи оценивания параметров. В этом параграфе рассмотрим метод поиска оценок неизвестных коэффициентов, называемый методом наименьших квадратов (МНК или OLS - ordinary least squares).
Разберем сначала идею самого метода. Изобразим на корреляционном поле фактические значения уI, гипотетическую линию регрессии, (которая исходя из нашего предположения является прямой линией и которая нам на самом деле неизвестна) и ошибки I. (Рис.2)
Рис.2. График функции линейной регрессии.
Неизвестные коэффициенты 0 и 1 будем подбирать так, чтобы сумма квадратов отклонений I (фактических значений уI от линии регрессии ) была наименьшей. Таким образом, неизвестные коэффициенты 0 и 1 будем искать исходя из условия минимума функции двух переменных
равной:
= .
Или
=.
Следовательно, МНК дает возможность отыскать неизвестные коэффициенты 0 и 1 Исходя из условия минимума суммы квадратов ошибок, обусловленных влиянием неучтенных в регрессионной модели факторов.
Перепишем выражение для минимизируемой функции, используя уравнение (2) в следующем виде:
= (1)
Запишем необходимое условие экстремума этой функции двух переменных:
,
.
Или:
,
.
Приравняв обе частные производные к нулю:
, (2)
, (3)
И, выполнив алгебраические преобразования, получим следующую систему:
Неизвестные коэффициенты не зависят от индекса суммирования, поэтому, вынося их за знак суммы, перепишем последнюю систему в окончательном виде:
(4)
Система (4) называется системой нормальных уравнений. Относительно неизвестных коэффициентов 0 и 1 система нормальных уравнений является системой линейных алгебраических уравнений. В случае совместности этой системы, решив ее, получим стационарную точку функции. Так как эта функция является выпуклой функцией, то стационарная точка будет искомой точкой минимума.
Обозначим через в0 и в1 Решение системы (4) и запишем выражение для найденной функции регрессии:
, (5)
Или
. (6)
Таким образом, функция (5) будет являться решением задачи оценивания неизвестной линейной функции регрессии, оптимальным в смысле минимума суммы квадратов ошибок.
Итак, какую функцию мы пытались найти? Наша задача состояла в нахождении функции. Нашли ли мы эту функцию? Нет, нам удалось, при помощи МНК, найти функцию, которая наиболее близка к искомой функции в смысле минимума функции (1).
Пример 2. Используя условия примера 3, найдем функцию регрессии, связывающую доходность акций компании Glenwood City Properties (GCP) и доходность рыночного индекса.
Решение. Нанесем исходные данные на корреляционное поле (Рис.3).
Рис.3. Изображение эмпирических данных на корреляционном поле.
Характер расположения точек на графике дает нам основание предположить, что искомая функция регрессии линейная: . Найдем оценки неизвестных коэффициентов, составив для этого систему нормальных уравнений:
Решая эту систему, получим: в0=1,917; в1=0,261. Еще раз отметим то, что решив систему нормальных уравнений мы не найдем сами неизвестные регрессионные коэффициенты, а лишь оценки этих коэффициентов. Искомое уравнение функции регрессии будет следующим:
. (7)
Модель, связывающая изменение доходности ценной бумаги с изменением рыночного индекса, называют рыночной моделью. Более подробно мы остановимся на этой модели позднее.
Проведем анализ полученного уравнения (7). Коэффициент в1=0,261 в данной рыночной модели называют коэффициентом наклона. Он характеризует чувствительность доходности акций компании GCP к изменению доходности рыночного индекса. Так как этот коэффициент положительный, то это говорит о том, что увеличение доходности рыночного индекса влечет за собой увеличение акции компании GCP (функция (7) является возрастающей). Вследствие того, что в1<1, можно сделать вывод, о том, что доходность акции компании GCP обладают меньшей изменчивостью, чем доходность рыночного индекса. В этом случае говорят, что они являются оборонительными акциями. Коэффициент в0=1,917 называют коэффициентом смещения ^.
Связь оценок параметров функции парной линейной регрессии с выборочными числовыми характеристиками
В предыдущем параграфе, используя МНК, мы получили систему нормальных уравнений, решив которую можно найти оценки неизвестных коэффициентов функции парной линейной регрессии. Однако находить эти оценки можно и по-другому, например, используя для этого выборочные числовые характеристики. Покажем это.
Вернемся к системе (5) и разделим каждое уравнение этой системы на n, получим:
(1)
С учетом введенных в первой главе обозначений первое уравнение системы (1) перепишем в виде:
Выразим отсюда 0:
(2)
И подставим выражение (2) во второе уравнение системы (1):
.
Или
.
Так как выражение в круглых скобках левой части равенства есть, а справа стоит выражение для, то последнее уравнение принимает вид:
=.
Или:
. (3)
В то же время, выражение (3), с учетом формулы (9), перепишем в виде:
. (4)
Как уже отмечалось, более корректной запись окончательного решения будет не для коэффициентов 0 И 1, а для их оценок в0 и в1, то есть:
, (5)
. (6)
Подставим найденные выражения для оценок (5) и (6) в уравнение (4):
.
Последнее уравнение можно переписать в одном из следующих видов:
Или
.
Пример 1. Вернемся к решению примера 2. и найдем оценки неизвестных параметров линейной регрессии по формулам (5), (6). Так как величины мы уже вычисляли в примере 1.1.3, то нам осталось вычислить. Для этого будем использовать формулы, связывающие смещенные и несмещенные оценки дисперсий:
.
Получаем.
Значит, , а следовательно, оценки коэффициентов будут равны:
.^
Похожие статьи
-
Коэффициент детерминации - Математическое описание связи: регрессия, корреляция
Предположим, что экономические предпосылки и анализ расположения точек на корреляционном поле позволил нам выдвинуть гипотезу о том, что зависимость...
-
Модель парной линейной регрессии - Математическое описание связи: регрессия, корреляция
Предположим, что у нас есть все основания считать, что два экономических показателя взаимосвязаны. Например, уровень инфляции и уровень безработицы в...
-
Множественная регрессия - уравнение связи с несколькими независимыми переменными: где - зависимая переменная (результативный признак); - независимые...
-
Множественная линейная регрессия
Задание Линейный регрессия переменная детерминация Составить уравнение линейной регрессии, используя МНК, и найти числовые характеристики переменных....
-
Применим аппарат. Результаты приведены ниже Таблица 6. индексный анализ Рисунок 4. График сглаженного признака Полиномиальная регрессия Приведем массив...
-
Литература - Математическое описание связи: регрессия, корреляция
1. Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Исследование зависимостей. - М.: Финансы и статистика, 1985. 2. Березинец И. В....
-
Парная линейная регрессия и корреляция
Парная линейная регрессия и корреляция Задание 1 По имеющимся данным (таблица 1) изучите зависимость прибыли от выработки продукции на одного человека,...
-
В состав системы эконометрических уравнений входят множество зависимых или эндогенных переменных и множество предопределенных переменных (лаговые и...
-
Использование в экономических исследованиях методов регрессии и корреляции - Эконометрика как наука
Начальным пунктом эконометрического анализа зависимостей обычно является оценка линейной зависимости переменных. Это объясняется простотой исследования...
-
Экономический корреляционный регрессионный Парная линейная регрессия Парная регрессия характеризует связь между двумя признаками: результативным и...
-
Возьмем данные об инвестициях в основной капитал (млрд. руб.) Год Квартал Номер квартала Значение 2003 I 1 330 II 2 470,4 III 3 608,8 IV 4 773,7 2004 I 5...
-
Построим показательный тренд ВВП. Используем данные таблицы (в млрд. руб) [14]. Таблица 1. Данные к работе Год Квартал Номер квартала ВВП 2001 I 1 1900,9...
-
Вариации коэффициентов целевой функции ЗЛП приводят к изменению направления вектора градиента. Так как при этом не затрагивается допустимое множество, то...
-
Уравнение динамики теплообменника: Передаточные функции объекта получим по его уравнению динамики. Для этого запишем уравнение по заданному каналу. Затем...
-
1. Определение параметров модели парной линейной регрессии методом наименьших квадратов 2. Оценка тесноты связи между переменными 3. Оценка качества...
-
Коэффициенты структурной модели могут быть оценены разными способами в зависимости от вида системы одновременных уравнений. Наибольшее распространение...
-
Задача регрессии. Метод наименьших квадратов Ищу функцию регрессии в виде (1*). Оценки коэффициентов нахожу с помощью Метода Наименьших Квадратов (МКВ),...
-
Нелинейные модели регрессии - Моделирование в эконометрике
Нелинейные модели регрессии и их линеаризация. 1. Типы нелинейных моделей: 2. Нелинейные модели линейные по объясняющим переменным и их линеаризация. 3....
-
ОБОСНОВАНИЕ ВИДА И РАСЧЕТ ПАРАМЕТРОВ АНАЛИТИЧЕСКОЙ ФУНКЦИИ - Основы прогнозирования
На практике при выборе аналитической функции рекомендуется подбирать функцию с таким расчетом, чтобы ее конструктивные элементы, коэффициенты и константы...
-
Построение линейного уравнения парной регрессии
Задача Таблица 1 Номер региона Среднедушевой прожиточный минимум в день одного трудоспособного, руб., Среднедневная заработная плата, руб., 1 78 133 2 82...
-
Парная регрессия на основе метода наименьших квадратов и метода группировок - Основы эконометрики
Парная регрессия Характеризует связь между двумя признаками: результативным и факторным. Аналитически связь между ними описывается уравнениями: Прямой...
-
Тадии парного регрессионного анализа можно представить на следующем рисунке ПОЛЕ КОРРЕЛЯЦИИ Это графическое изображение точек с координатами, которые...
-
Имеется выборка объема n экспериментальных значений. Предполагаем, что ошибки вычисления пренебрежимо малы, а случайные ошибки измерения температур...
-
По данным динамики валют (вариант 14) выявить трендовую, периодическую и случайную составляющие ряда (T, S,E), оценить качество модели, сделать прогноз...
-
Признаки Х и Y находятся в Корреляционной зависимости , если каждому значению одного признака X I соответствует определенная Условная средняя другого...
-
Простая линейная регрессия - Моделирование в эконометрике
Простой регрессией называется односторонняя стохастическая зависимость результативной переменной только от одной объясняющей переменной: Простая линейная...
-
Линейная модель парной регрессии - Моделирование в эконометрике
Введение в регрессионный анализ. Модель парной линейной регрессии. 1. Метод наименьших квадратов (МНК). 2. Свойства оценок МНК 3. Модель парной линейной...
-
Построим функцию роста валового регионального продукта: Таблица 11-Данные для функции роста ВРП Год (t) Y (миллион рублей) 1 372930 2 483951 3 648211 4...
-
Парная нелинейная регрессия - Статистическое изучение взаимосвязи социально-экономических явлений
Наиболее часто при описании взаимосвязи социально-экономических явлений, кроме линейной модели, используют следующие виды зависимостей: Гиперболическая ;...
-
Нахождение функций роста экономики региона Применив математическую модель на практике, можно узнать на сколько увеличится валовый региональный продукт,...
-
Описание модели Экономические агенты, участвующее в модели: 1) производство 2) население 3) центральный банк 4) администрация региона Создадим...
-
Для регрессии вида Найдем коэффициенты по формулам Вычислим Тогда Откуда Тогда линейная регрессия будет иметь вид Смысл коэффициента beta заключается в...
-
Фиктивные переменные во множественной регрессии - Моделирование в эконометрике
До сих пор в качестве факторов рассматривались экономические переменные, принимающие количественные значения в некотором интервале. Вместе с тем может...
-
Корреляция и регрессия Вспомним, что зависимости называются вероятностными или стохастическими, если каждому набору факторов Х I соответствует множество...
-
ПАРНАЯ РЕГРЕССИЯ - Многомерный статистический анализ
Это метод установления математической зависимости между одной метрической зависимой (критериальной) переменной и одной метрической независимой переменной...
-
Тест - Решение уравнений и построение графиков функций, содержащих выражения со знаком модуля
Модуль уравнение неравенство график В приведенном ниже тесте четыре задания на решение уравнений и неравенств, содержащих знак модуля. Используются...
-
МАТРИЦЫ И ОПЕРАЦИИ НАД НИМИ Матрицей A называется любая прямоугольная таблица, составленная из чисел, которые называют элементами матрицы и обозначается...
-
Аннотация - Точность математического прогнозирования как функция количества учитываемых факторов
В статье рассмотрена точность прогнозирования экономических показателей в зависимости от количества используемых параметров на основе математического...
-
Системы линейных уравнений - Методы решения системы линейных уравнений
Системой m линейных уравнений с n неизвестными называется система вида Где aIj и bI (i=1,...,m; b=1,...,n) - некоторые известные числа, а x1,...,xN -...
-
По теме "Вариант №2" Определить совместность системы линейных уравнений: Решение: А = RgA = 2. A* = RgA* = 3. Ответ. Система не совместима. 2. Вычислить...
Оценивание параметров функции парной линейной регрессии - Математическое описание связи: регрессия, корреляция