Метод наименьших квадратов.


Построение линейной регрессии сводится к оценке ее параметров – Метод наименьших квадратов. и Метод наименьших квадратов.. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). Согласно методу наименьших квадратов неизвестные параметры выбираются таким образом, чтобы сумма квадратов отклонений выборочных значений Метод наименьших квадратов. от значений Метод наименьших квадратов., найденных по уравнению регрессии, была минимальной:

Метод наименьших квадратов.

где минимум ищется по неизвестным параметрам Метод наименьших квадратов., которые входят в зависимость Метод наименьших квадратов..

Найденные значения параметров, которые минимизируют указанную сумму квадратов разностей, называются оценками неизвестных параметров по методу наименьших квадратов. Полученные оценки подставляются в функцию Метод наименьших квадратов. вместо неизвестных коэффициентов. В результате после подстановки получается функциональная зависимость, в которой нет неизвестных параметров, построенную таким образом функцию будем обозначать Метод наименьших квадратов. Именно эту зависимость будем рассматривать как усредненную зависимость изучаемого показателя от объясняющего фактора, она и является выборочным (эмпирическим) уравнением регрессии.

После нахождения уравнения регрессии вычисляется остаточная сумма квадратов Метод наименьших квадратов. по величине которой можно судить о качестве соответствия эмпирической функции Метод наименьших квадратов. имеющимся в наличии статистическим наблюдениям. Перебирая разные функциональные зависимости и действуя подобным образом можно практически подобрать наиболее удачную функцию для описания имеющихся данных.

Т.е. из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной (рис. 1.2):

Метод наименьших квадратов.

Рис. 1.2. Линия регрессии с минимальной дисперсией остатков.

Как известно из курса математического анализа, чтобы найти минимум функции (1.2), надо вычислить частные производные по каждому из параметров Метод наименьших квадратов. и Метод наименьших квадратов. и приравнять их к нулю.

Метод наименьших квадратов.,        Метод наименьших квадратов.,                               (1.5)

где Метод наименьших квадратов. – ковариация признаков Метод наименьших квадратов. и Метод наименьших квадратов., Метод наименьших квадратов. – дисперсия признака Метод наименьших квадратов. и

Метод наименьших квадратов. Метод наименьших квадратов. 

Метод наименьших квадратов., Метод наименьших квадратов.

Метод наименьших квадратов. Метод наименьших квадратов.

Метод наименьших квадратов.

Ковариация – числовая характеристика совместного распределения двух случайных величин, равная математическому ожиданию произведения отклонений этих случайных величин от их математических ожиданий.

Дисперсия – характеристика случайной величины, определяемая как математическое ожидание квадрата отклонения случайной величины от ее математического ожидания.

Математическое ожидание – сумма произведений значений случайной величины на соответствующие вероятности.

 

Предыдущие материалы: Следующие материалы: