Оценивание параметров функции парной линейной регрессии - Математическое описание связи: регрессия, корреляция

В эконометрике приходится сталкиваться с двумя ситуациями. Уже имеющаяся математическая модель, построенная, исходя из тех или иных экономических предпосылок, проверяется эконометрическими методами на ее соответствие новым экономическим условиям. Иными словами, известная экономическая модель проверяется на "правильность". Еще одна ситуация, с которой приходится встречаться, заключается в том, что необходимо построить саму модель, то есть, подобрать функцию, которая аппроксимирует зависимость между теми или иными показателями. Такая попытка построения модели была предпринята нами в примере 1. Однако, даже после того, как сам вид модели задан, остается важная задача отыскания неизвестных параметров модели, или, выражаясь более корректно, оценивания параметров регрессионной модели. Существуют различные подходы и методы к решению задачи оценивания параметров. В этом параграфе рассмотрим метод поиска оценок неизвестных коэффициентов, называемый методом наименьших квадратов (МНК или OLS - ordinary least squares).

Разберем сначала идею самого метода. Изобразим на корреляционном поле фактические значения уI, гипотетическую линию регрессии, (которая исходя из нашего предположения является прямой линией и которая нам на самом деле неизвестна) и ошибки I. (Рис.2)

график функции линейной регрессии

Рис.2. График функции линейной регрессии.

Неизвестные коэффициенты 0 и 1 будем подбирать так, чтобы сумма квадратов отклонений I (фактических значений уI от линии регрессии ) была наименьшей. Таким образом, неизвестные коэффициенты 0 и 1 будем искать исходя из условия минимума функции двух переменных

равной:

= .

Или

=.

Следовательно, МНК дает возможность отыскать неизвестные коэффициенты 0 и 1 Исходя из условия минимума суммы квадратов ошибок, обусловленных влиянием неучтенных в регрессионной модели факторов.

Перепишем выражение для минимизируемой функции, используя уравнение (2) в следующем виде:

= (1)

Запишем необходимое условие экстремума этой функции двух переменных:

,

.

Или:

,

.

Приравняв обе частные производные к нулю:

, (2)

, (3)

И, выполнив алгебраические преобразования, получим следующую систему:

Неизвестные коэффициенты не зависят от индекса суммирования, поэтому, вынося их за знак суммы, перепишем последнюю систему в окончательном виде:

(4)

Система (4) называется системой нормальных уравнений. Относительно неизвестных коэффициентов 0 и 1 система нормальных уравнений является системой линейных алгебраических уравнений. В случае совместности этой системы, решив ее, получим стационарную точку функции. Так как эта функция является выпуклой функцией, то стационарная точка будет искомой точкой минимума.

Обозначим через в0 и в1 Решение системы (4) и запишем выражение для найденной функции регрессии:

, (5)

Или

. (6)

Таким образом, функция (5) будет являться решением задачи оценивания неизвестной линейной функции регрессии, оптимальным в смысле минимума суммы квадратов ошибок.

Итак, какую функцию мы пытались найти? Наша задача состояла в нахождении функции. Нашли ли мы эту функцию? Нет, нам удалось, при помощи МНК, найти функцию, которая наиболее близка к искомой функции в смысле минимума функции (1).

Пример 2. Используя условия примера 3, найдем функцию регрессии, связывающую доходность акций компании Glenwood City Properties (GCP) и доходность рыночного индекса.

Решение. Нанесем исходные данные на корреляционное поле (Рис.3).

изображение эмпирических данных на корреляционном поле

Рис.3. Изображение эмпирических данных на корреляционном поле.

Характер расположения точек на графике дает нам основание предположить, что искомая функция регрессии линейная: . Найдем оценки неизвестных коэффициентов, составив для этого систему нормальных уравнений:

Решая эту систему, получим: в0=1,917; в1=0,261. Еще раз отметим то, что решив систему нормальных уравнений мы не найдем сами неизвестные регрессионные коэффициенты, а лишь оценки этих коэффициентов. Искомое уравнение функции регрессии будет следующим:

. (7)

Модель, связывающая изменение доходности ценной бумаги с изменением рыночного индекса, называют рыночной моделью. Более подробно мы остановимся на этой модели позднее.

Проведем анализ полученного уравнения (7). Коэффициент в1=0,261 в данной рыночной модели называют коэффициентом наклона. Он характеризует чувствительность доходности акций компании GCP к изменению доходности рыночного индекса. Так как этот коэффициент положительный, то это говорит о том, что увеличение доходности рыночного индекса влечет за собой увеличение акции компании GCP (функция (7) является возрастающей). Вследствие того, что в1<1, можно сделать вывод, о том, что доходность акции компании GCP обладают меньшей изменчивостью, чем доходность рыночного индекса. В этом случае говорят, что они являются оборонительными акциями. Коэффициент в0=1,917 называют коэффициентом смещения ^.

Связь оценок параметров функции парной линейной регрессии с выборочными числовыми характеристиками

В предыдущем параграфе, используя МНК, мы получили систему нормальных уравнений, решив которую можно найти оценки неизвестных коэффициентов функции парной линейной регрессии. Однако находить эти оценки можно и по-другому, например, используя для этого выборочные числовые характеристики. Покажем это.

Вернемся к системе (5) и разделим каждое уравнение этой системы на n, получим:

(1)

С учетом введенных в первой главе обозначений первое уравнение системы (1) перепишем в виде:

Выразим отсюда 0:

(2)

И подставим выражение (2) во второе уравнение системы (1):

.

Или

.

Так как выражение в круглых скобках левой части равенства есть, а справа стоит выражение для, то последнее уравнение принимает вид:

=.

Или:

. (3)

В то же время, выражение (3), с учетом формулы (9), перепишем в виде:

. (4)

Как уже отмечалось, более корректной запись окончательного решения будет не для коэффициентов 0 И 1, а для их оценок в0 и в1, то есть:

, (5)

. (6)

Подставим найденные выражения для оценок (5) и (6) в уравнение (4):

.

Последнее уравнение можно переписать в одном из следующих видов:

Или

.

Пример 1. Вернемся к решению примера 2. и найдем оценки неизвестных параметров линейной регрессии по формулам (5), (6). Так как величины мы уже вычисляли в примере 1.1.3, то нам осталось вычислить. Для этого будем использовать формулы, связывающие смещенные и несмещенные оценки дисперсий:

.

Получаем.

Значит, , а следовательно, оценки коэффициентов будут равны:

.^

Похожие статьи




Оценивание параметров функции парной линейной регрессии - Математическое описание связи: регрессия, корреляция

Предыдущая | Следующая