Оценивание коэффициентов модели


После того как произведена идентификация (стационарной) модели ARMA, т.е. на основании имеющихся наблюдений принято решение о значениях параметров  p, q   модели  ARMA(p, q), порождающей данные, переходят к этапу оценивания коэффициентов модели.

               Оценивание модели AR(p)

Рассмотрим модель авторегрессии AR(p)

yt = a0 + a1 yt – 1 + a2 yt – 2 + … + ap ytp + εt

где  εt  – инновации, образующие процесс белого шума с D(εt) =2. Эту модель можно представить в виде линейной модели регрессии

yt = xtT θ + εt , ,

с  p+1 объясняющими переменными, где

xt = (1, yt – 1, yt – 2, … , ytp)T ,    θ = (a0 , a1 , a2 , … , ap)T ,

так что

           ,

предполагая, что имеется  T+p  наблюдений 

            ,, … , ,, … , .

В более компактной записи:

               .

  Ранее мы рассматривали ситуацию, когда матрица  была неслучайной (детерминированной) и имела полный столбцовый ранг. В такой ситуации, при выполнении стандартных предположений об ошибках,

,

оценка наименьших квадратов вектора коэффициентов является несмещенной оценкой и (в силу теоремы Гаусса-Маркова) наилучшей линейной несмещенной оценкой.

             Теперь же мы не можем трактовать  как детерминированные величины, поскольку они определяются с участием случайных составляющих . В таких ситуациях говорят о стохастических объясняющих переменных (стохастических регрессорах).

Элементы матрицы  являются случайными величинами, имеющими некоторое совместное распределение вероятностей. Тогда, в общем случае,  ,  так что

,

и   смещенная оценка для . Кроме того, эта оценка уже не имеет нормального распределения, даже если вектор    имеет нормальное распределение.

Если объясняющие переменные стохастические, то в некоторых случаях все же остается возможным использовать стандартную технику статистических выводов, предназначенную для классической нормальной линейной модели, по крайней мере в асимптотическом плане (при большом количестве наблюдений).

Рассмотрим несколько таких ситуаций. Наиболее благоприятной в  этом отношении является

Ситуация A

  • Случайная величина      не зависит  (статистически)  от      при всех    и  k ;  
  •  являются независимыми случайными величинами, имеющими одинаковое нормальное распределение с нулевым математическим ожиданием и конечной дисперсией . Как и ранее, мы кратко обозначаем это как i.i.d. .

При выполнении таких условий имеем

,

так что оценка наименьших квадратов для   является несмещенной. Распределение статистик критериев (“тестовых статистик”) можно найти с помощью двухшаговой процедуры. На первом шаге находим условное распределение при фиксированном значении  матрицы ; при этом значения объясняющих переменных рассматриваются как детерминированные (как в классической модели). На втором шаге мы получаем безусловное распределение соответствующей статистики, умножая условное распределение на плотность X  и интегрируя по всем возможным значениям  X .

Если применить такую процедуру для получения безусловного распределения оценки наименьших квадратов  , то на первом шаге находим:

 | X  ~  .

Интегрирование на втором этапе приводит к распределению, являющемуся смесью нормальных распределений   по . Это распределение, в отличие от классического случая, не является нормальным.

В то же время для оценки  j-го коэффициента имеем:

 | X  ~ ,

где      j-й диагональный элемент матрицы , так что

 X  ~ .

Условным распределением для  , где , RSS – остаточная сумма квадратов, является распределение  хи-квадрат с  степенями свободы,

   ~  .

Заметим теперь, что  t-статистика для проверки гипотезы  :  определяется соотношением

t =  .

Из предыдущего вытекает, что если гипотеза  верна, то условное распределение этой -статистики имеет  -распределение Стьюдента с  (np)  степенями свободы

 ~ (n – p).

Это условное распределение одно и то же для всех  X . Поэтому, вне зависимости от того, какое именно распределение имеет  X , безусловным распределением  t-статистики для :    при выполнении этой гипотезы будет все то же распределение  t(n – p) .

     Аналогичные рассуждения показывают возможность использования стандартных F-критериев для проверки линейных гипотез о значениях коэффициентов.

Те же самые выводы остаются в силе при замене предположений ситуации A следующим предположением.

Ситуация A΄  

  •  ~ , где   – единичная матрица (размера ) .

В обеих ситуациях оценки наименьших квадратов коэффициентов модели остаются несмещенными.

К сожалению, даже при гауссовости инноваций, мы не можем воспользоваться этими результатами для модели AR(p) по следующим причинам.

  • Хотя  εs  и  xt  статистически независимы при  s t , они оказываются зависимыми уже при  s = t – 1, поскольку  εt – 1  участвует в формировании случайной величины  yt – 1, входящей в состав  xt . Это нарушает условие, входящее в определение ситуации A.
  • В ситуации A΄ требуется, чтобы условное распределение вектора  ε  при фиксированной матрице  X  имело вид N(0, s 2IT ). Однако, если мы зафиксируем  xt + 1 = (1, yt , yt – 1, … , yt p + 1)T   и   xt , то  значение  εt  становится известным с полной определенностью.

Тем не менее, если AR(p) модель стационарна, то положение вполне благополучно:

Ситуация D

              Пусть

  • все корни полинома  a(z) = 0  лежат за пределами единичного круга;
  • e t ~ i.i.d., E(e t) = 0, D(e t) = σ2 > 0, E(e t4) = μ4 < ∞ .

При выполнении этих условий, для оценки наименьших квадратов   вектора коэффициентов  θ = (a0 a1, a2 , … , ap)T, полученной по T  наблюдениям,  выполняется соотношение

T1/2 ( θ) → N(0, σ2Q – 1 ) ,

где  Q – положительно определенная матрица, элементы которой выражаются в явной форме через математическое ожидание и автокорреляции процесса  yt . Ковариационная матрица  σ2 Q–1   асимптотического распределения может быть оценена состоятельно посредством   ST2(XTTXT T)–1 , и это означает, что асимптотически обоснованны   статистические    процедуры,    трактующие    распределение        как 

N(θ, ST2(XTTXT )– 1). (Здесь  XT   матрица значений объясняющих переменных в  наблюдениях.)

Иными словами, и в рассматриваемой ситуации можно пользоваться стандартными методами регрессионного анализа, имея в виду их асимптотическую обоснованность. Однако при небольших T  оценки наименьших квадратов для коэффициентов стационарной AR(p)  имеют смещение, тем большее, чем ближе модель к нестационарной: при этом и распределение  все более отличается от нормального.

  • На практике, при OLS-оценивании AR(p) модели по  T  наблюдениям теряются  первых наблюдений.

Оценив коэффициенты  a0 … , ap , можно, используя полученные оценки , получить оценку для в виде

Однако можно поступить и иначе, как это предусмотрено, например, в пакете EVIEWS. Именно, мы можем записать ту же модель в виде

yt = m (1 – a1 a2 ap) + a1 yt–1 + a2 yt–2 + … + ap yt–p + εt   

и одновременно оценивать и  a1, … , ap  и  m . Такая процедура теоретически более эффективна. Однако в такой форме модель оказывается нелинейной по параметрам, и это обстоятельство требует применения нелинейного метода наименьших квадратов (NLLS nonlinear least squares) и численных итерационных методов оптимизации, которые требуют задания некоторых “начальных” (“стартовых”) значений параметров, которые затем последовательно уточняются.

Для модели AR(p) такие начальные значения можно найти, используя уравнения Юла-Уокера. Коэффициенты  a1, …, ap   определяются из системы первых  p  уравнений Юла – Уокера

в которые вместо неизвестных значений  ρ(1),…, ρ(p)  автокорреляций подставляются вычисляемые по реализации ряда значения  r(1),…, r(p)  выборочных автокорреляций.

В качестве начальной оценки для  m  естественно взять .

Предыдущие материалы: Следующие материалы: