Метод наименьших квадратов (МНК) в скалярной форме


 

Используя уравнение регрессии  (3.1), запишем функцию цели Ф, характеризующую качество аппроксимации объясненной части Ye=Mx(Y) уравнением регрессии:

                                                               (3.2)

Это задача безусловной оптимизации, т.е требуется найти такие оптимальные значения вектора параметров уравнения регрессии, которые доставляют минимум функции цели Ф.

Замечание: Для простоты далее считаем, что в уравнении регрессии каждый входной фактор xj предоставлен одним членом суммы со своей базисной функцией fj(xj), т.е. aºj.

В теории регрессионного анализа показано, что функция Ф непрерывна и строго выпукла по аргументам bj. Тогда ее минимум обеспечивается условиям

 

                                                                                     (3.3)

 

Система (3.3) называется системой, нормальных уравнений. Если вектор  входит в модель линейно, то эта система представляет собой линейные алгебраические уравнения относительно искомых , j= .

Замечание: Под линейным вхождением {bj}, в модель понимается, что сами координаторные функции {fj(xj)} могут быть нелинейными, но они не должны содержать ни одного оцениваемого параметра bj.

Пример:

 

Здесь обе модели нелинейны по независимой переменной х. Однако вторая модель линейна по искомому параметру b0 , в тоже время как в первой модели параметр b1 входит в структуру модели нелинейно.

Если система нормальных уравнений, есть система линейных алгебраических уравнений, то для ее решения можно использовать аппарат линейной алгебры и, соответственно, матричную форму метода наименьших квадратов.

 

Предыдущие материалы: Следующие материалы: