uxauxa...xaxaay tit

n

0i

itntnt22t110t

(7.1)

Наилучшая линейная процедура получения оценок параметров уравнения (7.1) и условия, при которых эта процедура дает несмещенные и эффективные оценки, сформулирована в теореме Гаусса-Маркова

Карл Фридрих ГауссВремя жизни 30.04.1777 - 23.02.1855Научная сфера – математика, физика, астрономия

Андрей Андреевич МарковВремя жизни 14.06.1856 - 20.07.1922Научная сфера - математика

Постановка задачи:Имеем случайную выборку наблюдений за поведением экономического объекта объемом n

x...xxy...............x...xxyx...xxy

knn2n1n

2k22122

1k21111 Выборка наблюдений за переменными модели (7.1)Первый индекс – номер регрессораВторой индекс – номер наблюдения

uxa...xaxaay..................................................

uxa...xaxaayuxa...xaxaay

nknnn22n1101

22kn22212102

11kn21211101

(7.2) - Система уравнений наблюдений, связывающая наблюдения в выборке

(7.2)

Сформируем вектора и матрицу коэффициентов на основе системы (7.2)

u...uu

U

y...yy

Y

a...aa

A

n

2

1

n

2

1

k

1

0

x...xx............x...xxx...xx

1...11

knn2n1

2k2212

1k2111

X

Y – вектор выборочных значений эндогенной переменной

U – вектор выборочных значений случайного возмущения

A - вектор неизвестных параметров модели

х – вектор регрессоров

X – матрица коэффициентов при неизвестных параметрах

UxAY

По данным выборки найти: Ã, Cov(ÃÃ), σu, σ(ỹ(z))

Теорема (Гаусса – Маркова)

Если матрица Х неколлинеарна и вектор случайных возмущений удовлетворяет следующим требованиям:

0uM.1 i Математическое ожидание всех случайных возмущений равно нулю

2ui

2 u.2 Дисперсия случайных возмущений постоянна во всех наблюдениях (условие ГОМОСКЕДАСТИЧНОСТИ)

jiпри

0u,uCov.3 ji

0u,xCov.4 ii

Случайные возмущения в разных наблюдениях не зависимы

Случайные возмущения и регрессоры не зависимы

Тогда наилучшей линейной процедурой оценки параметров модели (7.1) является:

YXXXA~ T1T

(7.3)

которая удовлетворяет методу наименьших квадратов

При этом:

zXXzq

q1~)z(y~za~...za~a~zY

~

ukn

1y~y

kn

1~

XX~)A~

,A~

(Cov

1TT0

02u

2

kk110

2i

2

ii

2u

1T2u

Доказательство

Воспользуемся методом наименьших квадратов

minuuuS Tn

1i

2i

где

a~XYY~

Yu

(7.4)

(7.5)

Подставив (7.5) в (7.4) получим

a~XYa~XYuuST

T a~XYXa~Y TTT

a~XXa~YXa~2YYTTTTT

(7.6)

Для получения необходимого условия экстремума дифференцируем (7.6) по вектору параметров

0a~XX2YX2a~S TT

YXa~XX TT

Откуда система нормальных уравнений для определения искомых параметров получает вид

(7.7)

Решение системы (7.7) в матричном виде есть

YXXXA~ T1T

Выражение (7.3) доказано

Докажем несмещенность оценок (7.3)

YXXXMa~M T1T

uaXXXXM TT1

uaXXXXM T1T

a

Несмещенность оценки (7.3) доказана

Вычислим ковариационную матрицу оценок (7.3)

1T2u

T1TT1T XXYXXX,YXXXCova~,a~Cov

В результате получено выражение (7.4)

Пример 1. Пусть имеем выборку из n наблюдений за случайной величиной Y

Найти наилучшие оценки среднего значения и дисперсии этой переменной

В терминах теоремы Гаусса –Маркова задача формулируется так: необходимо построить модель типа Y = a0 +u, при этом имеем:

1...11...

1

...

1

1

2

1

X

y

yy

T

n

YX

Решение

n

1XXn

1...11

1...11XX1TT

1. Вычисляем (XTX)-1

y

y...yy

1...11YX i

n

2

1

T

2. Вычисляем (XTY)

3. Вычисляем оценку параметра а0

n

1ii

T1T0 y

n

1YXXXa~

4. Находим дисперсию среднего

1n

XXa~2u1T2

u02

Пример 2. Уравнение парной регрессии

Построить модель типа Y=a0+a1x +u, по данным вы-борки наблюдений за переменными Y и x объемом n

В схеме Гаусса-Маркова имеем:

u...

uU

aaA

y...yy

Yx...xx1...11

X

x1......x1x1

X

n

u2

1

1

0

n

2

1

n21

T

n

2

1

xx

xn

x1......x1x1

x...xx1...11

XX 2ii

i

n

2

1

n21

T

1. Вычисляем матрицы (XTX) и (XTX)-1

nxxx

xxxn

1XX

i

i2i

ii2i

1T

2. Вычисляем XTY

yx

y

y...yy

x...xx1...11

YXii

i

n

2

1

n21

T

3. Вычисляем оценку вектора параметров а

yxyxnyxxyx

xxxn

1aaa~

yx

ynx

xx

xxxn

1a~

iiii

iiii2i

ii2i1

0

ii

i

i

i2i

ii2i

Вычислим дисперсии (ковариационную матрицу) параметров модели

nxxx

xxxn

1XXA

~,A

~ Cov

i

i2i

ii2i

2u

1T2u

Следовательно:

xxxnx

a~,a~Cov

xxxn

na~

xxxnx

a~

ii2i

i2u10

ii2i

2u1

2

ii2i

2i2

u02

Расчет дисперсии прогнозирования

Прогноз осуществляется в точке Z={1,z}Т

2

i

22

u

2

ii

2

i

22

i

2

i2

2

i

ii

2

i

2

i

2

i

i

i

2

i

ii

2

i

i

i

2

i

ii

2

i

1TT

0

0

2

u

2

xxn

xz

n

11)z(Y

n

xz1

n

nz2

z1

nz

z

n

1

z1

nn

1z1

1)z(Y

xxx

xxn

x

xxxzxx

xxx

xxx

xxx

xxxZXXZq

q

Процедура «ЛИНЕЙН» в приложении EXCEL

Алгоритм использования процедуры:

1. Подготовка таблицы исходных данных

2. Вызов процедуры «ЛИНЕЙН»

3. Ввод исходных данных в процедуру

4. Анализ результата

Рассмотрим алгоритм на примере

Выводы:1. Теорема Гаусса-Маркова формулирует

наилучшую линейную процедуру расчета оценок параметров линейной модели множественной регрессии

2. Линейная процедура соответствует методу наименьших квадратов

3. Предпосылки теоремы обеспечивают получение оценок, обладающих свойствами несмещенности и эффективности

4. При выполнении предпосылок свойства эффективности и несмещенности достигаются при любом законе распределения случайного возмущения