Критерии оценок параметров регрессии. Предпосылки МНК.


При оценке параметров уравнения регрессии применяется метод наименьших квадратов (МНК). При этом делаются определенные предпосылки относительно случайной составляющей e. В модели Критерии оценок параметров регрессии. Предпосылки МНК. – случайная составляющая e представляет собой ненаблюдаемую величину. После того как произведена оценка параметров модели, рассчитывая разности фактических и теоретических значений результативного признака y , можно определить оценки случайной составляющей  Критерии оценок параметров регрессии. Предпосылки МНК.. Поскольку они не являются реальными случайными остатками, их можно считать некоторой выборочной реализацией неизвестного остатка заданного уравнения, т. е. ei.

При изменении спецификации модели, добавлении в нее новых наблюдений выборочные оценки остатков ei могут меняться. Поэтому в задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений ei, т. е. остаточных величин.

При использовании критериев Фишера и Стьюдента делаются предположения относительно поведения остатков ei – остатки представляют собой независимые случайные величины и их среднее значение равно 0; они имеют одинаковую (постоянную) дисперсию и подчиняются нормальному распределению.

Статистические проверки параметров регрессии, показателей корреляции основаны на непроверяемых предпосылках распределения случайной составляющей ei. Они носят лишь предварительный характер. После построения уравнения регрессии проводится проверка наличия у

оценок ei (случайных остатков) тех свойств, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критериям. Они должны быть несмещенными, состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важное практическое значение в использовании результатов регрессии и корреляции.

Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям.

Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.

Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительный интервал ожидаемого значения параметра регрессии bi имеет предел значений вероятности, равный единице. Иными словами, вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице.

Указанные критерии оценок (несмещенность, состоятельность и эффективность) обязательно учитываются при разных способах оценивания. Метод наименьших квадратов строит оценки регрессии на основе минимизации суммы квадратов остатков. Поэтому очень важно исследовать поведение остаточных величин регрессии ei. Условия, необходимые для получения несмещенных, состоятельных и эффективных оценок, представляют собой предпосылки МНК, соблюдение которых желательно для получения достоверных результатов регрессии.

Исследования остатков ei предполагают проверку наличия следующих пяти предпосылок МНК:

1. случайный характер остатков;

2. нулевая средняя величина остатков, не зависящая от xi;

3. гомоскедастичность – дисперсия каждого отклонения ei, одинакова для всех значений x ;

4. отсутствие автокорреляции остатков – значения остатков ei распределены независимо друг от друга;

5. остатки подчиняются нормальному распределению.

Если распределение случайных остатков ei  не соответствует некоторым предпосылкам МНК, то следует корректировать модель.

Прежде всего, проверяется случайный характер остатков ei  – первая предпосылка МНК. С этой целью стоится график зависимости остатков ei от теоретических значений результативного признака.

Критерии оценок параметров регрессии. Предпосылки МНК.

Если на графике получена горизонтальная полоса, то остатки ei представляют собой случайные величины и МНК оправдан, теоретические значения  Критерии оценок параметров регрессии. Предпосылки МНК. хорошо аппроксимируют фактические значения y.

Возможны следующие случаи, если  ei зависит от Критерии оценок параметров регрессии. Предпосылки МНК. то:

Критерии оценок параметров регрессии. Предпосылки МНК.1) остатки ei не случайны

 

 

 

 

Критерии оценок параметров регрессии. Предпосылки МНК.

2) остатки ei не имеют постоянной дисперсии

 

 

 

 

 

Критерии оценок параметров регрессии. Предпосылки МНК.

 

3) остатки ei носят систематический характер.

 

 

 

 

В этих случаях необходимо либо применять другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки ei не будут случайными величинами.

Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что Критерии оценок параметров регрессии. Предпосылки МНК.. Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных.

Вместе с тем несмещенность оценок коэффициентов регрессии, полученных МНК, зависит от независимости случайных остатков и величин x, что также исследуется в рамках соблюдения второй предпосылки МНК. С этой целью наряду с изложенным графиком зависимости остатков ei  от теоретических значений результативного признака Критерии оценок параметров регрессии. Предпосылки МНК.строится график зависимости случайных остатков ei от факторов, включенных в регрессию xj.

 

 

 

Критерии оценок параметров регрессии. Предпосылки МНК.

 

 

Если остатки на графике расположены в виде горизонтальной полосы, то они независимы от значений xj. Если же график показывает наличие зависимости ei и xj, то модель неадекватна. Причины неадекватности могут быть разные. Возможно, что нарушена третья предпосылка МНК и дисперсия остатков не постоянна для каждого значения фактора xj. Может быть неправильна спецификация модели и в нее необходимо ввести

дополнительные члены от xj, например Критерии оценок параметров регрессии. Предпосылки МНК.. Скопление точек в определенных участках значений фактора xj говорит о наличии систематической погрешности модели.

Предпосылка о нормальном распределении остатков позволяет проводить проверку параметров регрессии и корреляции с помощью F - и t -критериев. Вместе с тем оценки регрессии, найденные с применением МНК, обладают хорошими свойствами даже при отсутствии нормального распределения остатков, т.е. при нарушении пятой предпосылки МНК.

Совершенно необходимым для получения по МНК состоятельных оценок параметров регрессии является соблюдение третьей и четвертой предпосылок.

Критерии оценок параметров регрессии. Предпосылки МНК.В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора xj остатки ei имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность. Наличие гетероскедастичности можно наглядно видеть из поля корреляции:

1. Дисперсия остатков растет по мере увеличения x.

 

 

 

 

Критерии оценок параметров регрессии. Предпосылки МНК.

Тогда имеем следующий вид гетероскедастичности: большая дисперсия ei для больших значений  Критерии оценок параметров регрессии. Предпосылки МНК.

 

 

Критерии оценок параметров регрессии. Предпосылки МНК.

2. Дисперсия остатков достигает максимальной величины при средних значениях x, и уменьшается при минимальных и максимальных значениях.

 

 

 

Критерии оценок параметров регрессии. Предпосылки МНК.Тогда имеем следующий вид гетероскедастичности: большая дисперсия ei для средних значений  Критерии оценок параметров регрессии. Предпосылки МНК., и малая дисперсия ei для малых и больших значений  Критерии оценок параметров регрессии. Предпосылки МНК.

 

 

 

 

Критерии оценок параметров регрессии. Предпосылки МНК.3. Максимальная дисперсия остатков при малых значениях x и дисперсия остатков однородна по мере увеличения x.

 

 

 

 

Критерии оценок параметров регрессии. Предпосылки МНК.Тогда имеем следующий вид гетероскедастичности: большая дисперсия ei для малых значений  Критерии оценок параметров регрессии. Предпосылки МНК., уменьшение дисперсии остатков ei  по мере увеличения Критерии оценок параметров регрессии. Предпосылки МНК.

 

 

 

При построении регрессионных моделей чрезвычайно важно соблюдение четвертой предпосылки МНК – отсутствие автокорреляции остатков, т. е. значения остатков ei распределены независимо друг от друга.

Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Коэффициент корреляции между ei  и ej  , где ei  – остатки текущих наблюдений, ej – остатки предыдущих наблюдений (например, j=i-1), может быть определен как:

Критерии оценок параметров регрессии. Предпосылки МНК.

т. е. по обычной формуле линейного коэффициента корреляции. Если этот коэффициент окажется существенно отличным от нуля, то остатки автокоррелированы и функция плотности вероятности  F(e) зависит от j –й точки наблюдения и от распределения значений остатков в других точках наблюдения.

Отсутствие автокорреляции остаточных величин обеспечивает состоятельность и эффективность оценок коэффициентов регрессии. Особенно актуально соблюдение данной предпосылки МНК при построении регрессионных моделей по рядам динамики, где ввиду наличия тенденции последующие уровни динамического ряда, как правило, зависят от своих предыдущих уровней.

При несоблюдении основных предпосылок МНК приходится корректировать модель, изменяя ее спецификацию, добавлять (исключать) некоторые факторы, преобразовывать исходные данные для того, чтобы получить оценки коэффициентов регрессии, которые обладают свойством несмещенности, имеют меньшее значение дисперсии остатков и обеспечивают в связи с этим более эффективную статистическую проверку значимости параметров регрессии.


Предыдущие материалы: Следующие материалы: