ms-dynamics.ru

Пример построения градуировочного графика методом наименьших квадратов

Запрос «МНК» перенаправляется сюда; см. также другие значения.

Метод наименьших пример построения градуировочного графика методом наименьших квадратов (МНК, англ. Ordinary Least Squares, OLS) — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных.

Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функции.

МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным.

История[править | править код]

До начала XIX в. учёные не имели определённых правил для решения системы уравнений, в которой число неизвестных меньше, чем число уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Гауссу (1795) принадлежит первое применение метода, а Лежандр (1805) независимо открыл и опубликовал его под современным названием (фр. Méthode des moindres quarrés)[1].

Лаплас связал пример построения градуировочного графика методом наименьших квадратов с теорией вероятностей, американский математик Эдрейн (1808) рассмотрел его теоретико-вероятностные приложения[2].

Метод распространён и усовершенствован дальнейшими изысканиями Энке, Бесселя, Ганзена и.

Работы А. А. Маркова в начале XX века позволили включить метод наименьших квадратов в теорию оценивания математической статистики, в которой он является важной и естественной частью. Усилиями Ю. Неймана, Ф.Дэвида, А. Эйткена, С. Рао было получено множество немаловажных результатов в этой области[3].

Сущность метода наименьших квадратов[править | править код]

Пусть  — набор неизвестных переменных (параметров), , ,  — совокупность функций от этого набора переменных.

Задача заключается в подборе таких значений , чтобы значения этих функций были максимально близки к некоторым значениям .

По существу речь идет о «решении» переопределенной системы уравнений , в указанном смысле максимальной близости левой и правой частей системы.

Сущность МНК заключается в выборе в качестве «меры близости» суммы квадратов отклонений левых и правых частей  .

Таким образом, сущность МНК может быть выражена пример построения градуировочного графика методом наименьших квадратов образом:

.

В случае, если система уравнений имеет решение, то наименьшее значение суммы квадратов будет равно нулю и могут быть найдены точные решения системы уравнений аналитически или, например, различными численными методами оптимизации.

Если система переопределена, то есть, говоря нестрого, количество независимых уравнений больше количества искомых переменных, то система не имеет точного решения и метод наименьших квадратов позволяет найти некоторый «оптимальный» вектор в смысле максимальной близости векторов и или максимальной близости вектора отклонений к нулю (близость понимается в смысле евклидова расстояния).

Пример — система линейных уравнений[править | править код]

В частности, метод наименьших квадратов может использоваться для «решения» системы линейных уравнений

,

где прямоугольная матрица размера (т.е.

число строк матрицы A больше количества искомых переменных).

Такая система уравнений в общем случае не имеет решения. Поэтому эту систему можно «решить» только в смысле выбора такого вектора , чтобы минимизировать «расстояние» между пример построения градуировочного графика методом наименьших квадратов и .

Для этого можно применить критерий минимизации суммы квадратов разностей левой и правой частей уравнений системы, то есть .

Нетрудно показать, что решение этой задачи минимизации приводит к решению следующей системы уравнений

.

Используя оператор псевдоинверсии, решение можно переписать так:

,

где  — псевдообратная матрица для .

Данную задачу также можно «решить» используя так называемый взвешенный МНК (см. ниже), когда разные уравнения системы получают разный вес из теоретических соображений.

Строгое обоснование и установление границ содержательной применимости метода даны А. А. Марковым и А. Н. Колмогоровым.

МНК в регрессионном анализе (аппроксимация данных)[править | править код]

Пусть имеется значений некоторой переменной (это могут быть результаты наблюдений, экспериментов и т. д.) и соответствующих переменных .

Задача заключается в том, чтобы взаимосвязь между и аппроксимировать некоторой функцией , известной с точностью до некоторых неизвестных параметров , то есть фактически найти наилучшие значения параметров , максимально приближающие значения к фактическим значениям .

Фактически это сводится к случаю «решения» переопределенной системы уравнений относительно :

.

В регрессионном анализе и в частности в эконометрике используются вероятностные модели зависимости между переменными

,

где  — так называемые случайные ошибки модели.

Соответственно, отклонения наблюдаемых значений от модельных предполагается уже в самой модели.

Пример построения градуировочного графика методом наименьших квадратов МНК (обычного, классического) заключается в том, чтобы найти такие параметры , при которых сумма квадратов отклонений (ошибок, для регрессионных моделей их часто называют остатками регрессии) будет минимальной:

,

где  — англ. Residual Sum of Squares[4] определяется как:

.

В общем случае решение этой задачи может осуществляться численными методами оптимизации (минимизации).

В этом случае говорят о нелинейном МНК (NLS или NLLS — англ. Non-Linear Least Squares). Пример построения градуировочного графика методом наименьших квадратов многих случаях можно получить аналитическое решение. Для решения задачи минимизации необходимо найти стационарные точки функции , продифференцировав её по неизвестным параметрам , приравняв производные к нулю и решив полученную систему уравнений:

.

МНК в случае линейной регрессии[править | править код]

Пусть регрессионная зависимость является линейной:

.

Пусть y — вектор-столбец наблюдений объясняемой переменной, а  — это -матрица наблюдений факторов (строки матрицы — векторы значений факторов в данном наблюдении, по столбцам — вектор значений данного фактора во всех наблюдениях).

Матричное представление линейной модели имеет вид:

.

Тогда вектор оценок объясняемой переменной и вектор остатков регрессии будут равны

.

соответственно сумма квадратов остатков регрессии будет равна

.

Дифференцируя эту функцию по вектору параметров и приравняв производные к нулю, получим систему уравнений (в матричной форме):

.

В расшифрованной матричной форме эта система уравнений выглядит следующим образом:

где все суммы берутся по всем допустимым значениям .

Если в модель пример построения градуировочного графика методом наименьших квадратов константа (как обычно), то пример построения градуировочного графика методом наименьших квадратов src="https://wikimedia.org/api/rest_v1/media/math/render/svg/e87020193b84e87c036b2efd690be82d2e4af15f"> при всех , поэтому в левом верхнем углу матрицы системы уравнений находится количество наблюдений , а в остальных элементах первой строки и первого столбца — просто суммы значений переменных: и первый элемент правой части системы — .

пример построения градуировочного графика методом наименьших квадратов

Решение этой системы уравнений и дает общую формулу МНК-оценок для линейной модели:

Пример кривой, проведённой через точки, имеющие нормально распределённое отклонение от истинного значения.
Источник: https://ru.wikipedia.org/wiki/Метод_наименьших_квадратов