Применение метода наименьших квадратов в Excel

Содержание

Метод наименьших квадратов

В основе метода наименьших квадратов (МНК) лежит поиск таких значений коэффициентов регрессии, при которых сумма квадратов отклонений теоретического распределения от эмпирического была бы наименьшей.

Иными словами, из всего множества линий, линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной:

следовательно

Целью процедур линейной регрессии является подгонка прямой линии по точкам.

А именно, построить линию регрессии так, чтобы минимизировать квадраты отклонений этой линии от наблюдаемых точек.

Поэтому на эту общую процедуру иногда ссылаются как на оценивание по методу наименьших квадратов. Прямая линия на плоскости (в пространстве двух измерений) задается уравнением Y=ax+b

Линейная функция

Зная зависимость между величинами, представленными в таблице и полученные опытным путем, необходимо составить математическую зависимость (функциональную зависимость). Воспользуемся методом наименьших квадратов. Пусть опытные данные, близкие к линейной функции, записаны в таблицу вида:

X	x1	x2	x3	…	xn
Y	y1	y2	y3	…	yn

Подбираем y=ax+b таким образом, чтобы сумма квадратов отклонений была наименьшей. Чтобы найти минимум функции надо вычислить частные производные по каждому из параметров а и b и приравнять их к нулю. Обозначим сумму квадратов отклонений (Σεi2) через S, тогда:

S зависит от a и b, т.е. функция двух переменных принимает наименьшее значение в стандартной точке, которая находится из условия:

Приравняем каждую частную производную к нулю:

Формула для расчета линейной функции y=ax+b

Опытные данные:

i	Yi	Xi	X2i	YiXi
1	-8	-2	4	16
2	7	-1	1	-7
3	7	0	0	0
4	5	2	4	10
5	5	3,5	12,25	17,5
6	3,5	4	16	14
7	3	5	25	15
8	2,5	6	36	15
9	2	7	49	14
10	1,5	7	49	10,5
Σ	28,5	31,5	196,25	105

Для решения системы линейных уравнений и определения параметров, воспользуемся методом Крамера.

Уравнение прямой принимает следующий вид: y=0.1569X+2.3557

Всего один выброс (экстремальная точка с координатами -2; -8 на диаграмме рассеяния) может полностью изменить наклон регрессионной линии и, следовательно, вид зависимости между переменными.

Такие выбросы могут исказить оценки модели, сдвигая линию регрессии в определенном направлении и, тем самым, вызывая смещение коэффициентов регрессии.

На случай появления выбросов, должны быть предусмотрены корректировки, основанные на использовании “принципов статистического контроля”, т. е.

значения, выходящие за определенный диапазон, который определяется в терминах, кратных сигма, т.е. стандартных отклонений, могут быть преобразованы или вовсе пропущены, и только после этого должны вычисляться окончательные оценки параметров модели (уравнения) регрессии.

Квадратичная функция (парабола второго порядка)

Рассмотрим модель регрессии, которая нелинейна относительно включённых в модель независимых переменных Xi, но линейна по оцениваемым параметрам a, b, c. К таким моделям относятся полиномы второго и выше порядков, а также гиперболическая функция.

Квадратичную функцию вида

подбираем таким образом, чтобы сумма квадратов отклонений была наименьшей. Чтобы найти минимум функции надо вычислить частные производные по каждому из параметров (а b c) и приравнять их к нулю.

Обозначим сумму квадратов отклонений (Σεi2) через S, тогда сумма наименьших квадратов отклонений примет следующее выражение:

Функция трех переменных (a b c) принимает наименьшее значение в стандартной точке, которая находится из условия:

Приравняем каждую частную производную к нулю:

Формула для расчета квадратичной функции y = ax2 + bx + c

Опытные данные:

i	Yi	Xi	Xi2	Xi3	Xi4	YiXi	YiXi2
1	4,3	-1	1	-1	1	-4,3	4,30
2	3	-0,8	0,64	-0,512	0,4096	-2,4	1,92
3	2	0	0	0	0	0	0
4	1,5	0,5	0,25	0,125	0,0625	0,75	0,375
5	1	1	1	1	1	1	1
6	0,8	1,8	3,24	5,832	10,4976	1,44	2,592
7	2,5	2	4	8	16	5	10
8	2,7	2,5	6,25	15,625	39,0625	6,75	16,875
9	3,5	2,6	6,76	17,576	45,6976	9,1	23,66
10	4,2	3,3	10,89	35,937	118,5921	13,86	45,738
∑	25,5	11,9	34,03	82,583	232,3219	31,2	106,46

Для решения системы линейных уравнений и определения параметров, воспользуемся методом Крамера.

Уравнение параболы 2-го порядка принимает следующий вид:

y=0.6531×2-1.3403x+1.9226

По предварительному анализу для данной модели (уравнения регрессии) выполняются первая и вторая предпосылки МНК: остатки распределены случайно, средняя величина случайного отклонения εi (остатков) для всех наблюдений равна нулю (-6,66134E-17 т.е. с точностью до 17 знака после запятой)

Решение системы линейных алгебраических уравнений (СЛАУ) и вычисление определителя матрицы в MS Excel решается с помощью матричных функций.

Смотри также:

Источник: //helpstat.ru/2012/01/metod-naimenshix-kvadratov/

Метод наименьших квадратов в Excel. Регрессионный анализ

Применение метода наименьших квадратов в Excel

Метод наименьших квадратов (МНК) относится к сфере регрессионного анализа. Он имеет множество применений, так как позволяет осуществлять приближенное представление заданной функции другими более простыми.

МНК может оказаться чрезвычайно полезным при обработке наблюдений, и его активно используют для оценки одних величин по результатам измерений других, содержащих случайные ошибки.

Из этой статьи вы узнаете, как реализовать вычисления по методу наименьших квадратов в Excel.

Постановка задачи на конкретном примере

Предположим, имеются два показателя X и Y. Причем Y зависит от X. Так как МНК интересует нас с точки зрения регрессионного анализа (в Excel его методы реализуются с помощью встроенных функций), то стоит сразу же перейти к рассмотрению конкретной задачи.

Итак, пусть X — торговая площадь продовольственного магазина, измеряемая в квадратных метрах, а Y — годовой товарооборот, определяемый в миллионах рублей.

Требуется сделать прогноз, какой товарооборот (Y) будет у магазина, если у него та или иная торговая площадь. Очевидно, что функция Y = f (X) возрастающая, так как гипермаркет продает больше товаров, чем ларек.

Несколько слов о корректности исходных данных, используемых для предсказания

Допустим, у нас есть таблица, построенная по данным для n магазинов.

Согласно математической статистике, результаты будут более-менее корректными, если исследуются данные по хотя бы 5-6 объектам. Кроме того, нельзя использовать «аномальные» результаты. В частности, элитный небольшой бутик может иметь товарооборот в разы больший, чем товарооборот больших торговых точек класса «масмаркет».

Суть метода

Данные таблицы можно изобразить на декартовой плоскости в виде точек M1 (x1, y1), … Mn (xn, yn). Теперь решение задачи сведется к подбору аппроксимирующей функции y = f (x), имеющей график, проходящий как можно ближе к точкам M1, M2, ..Mn.

Конечно, можно использовать многочлен высокой степени, но такой вариант не только труднореализуем, но и просто некорректен, так как не будет отражать основную тенденцию, которую и нужно обнаружить. Самым разумным решением является поиск прямой у = ax + b, которая лучше всего приближает экспериментальные данные, a точнее, коэффициентов – a и b.

Оценка точности

При любой аппроксимации особую важность приобретает оценка ее точности. Обозначим через ei разность (отклонение) между функциональными и экспериментальными значениями для точки xi, т. е. ei = yi – f (xi).

Очевидно, что для оценки точности аппроксимации можно использовать сумму отклонений, т. е. при выборе прямой для приближенного представления зависимости X от Y нужно отдавать предпочтение той, у которой наименьшее значение суммы ei во всех рассматриваемых точках. Однако, не все так просто, так как наряду с положительными отклонениями практически будут присутствовать и отрицательные.

Решить вопрос можно, используя модули отклонений или их квадраты. Последний метод получил наиболее широкое распространение. Он используется во многих областях, включая регрессионный анализ (в Excel его реализация осуществляется с помощью двух встроенных функций), и давно доказал свою эффективность.

Метод наименьших квадратов

В Excel, как известно, существует встроенная функция автосуммы, позволяющая вычислить значения всех значений, расположенных в выделенном диапазоне. Таким образом, ничто не помешает нам рассчитать значение выражения (e12 + e22 + e32+ … en2).

В математической записи это имеет вид:

Так как изначально было принято решение об аппроксимировании с помощью прямой, то имеем:

Таким образом, задача нахождения прямой, которая лучше всего описывает конкретную зависимость величин X и Y, сводится к вычислению минимума функции двух переменных:

Для этого требуется приравнять к нулю частные производные по новым переменным a и b, и решить примитивную систему, состоящую из двух уравнений с 2-мя неизвестными вида:

После нехитрых преобразований, включая деление на 2 и манипуляции с суммами, получим:

Решая ее, например, методом Крамера, получаем стационарную точку с некими коэффициентами a* и b*. Это и есть минимум, т. е.

для предсказания, какой товарооборот будет у магазина при определенной площади, подойдет прямая y = a*x + b*, представляющая собой регрессионную модель для примера, о котором идет речь.

Конечно, она не позволит найти точный результат, но поможет получить представление о том, окупится ли покупка в кредит магазина конкретной площади.

Как реализоавать метод наименьших квадратов в Excel

В “Эксель” имеется функция для расчета значения по МНК. Она имеет следующий вид: «ТЕНДЕНЦИЯ» (известн. значения Y; известн. значения X; новые значения X; конст.). Применим формулу расчета МНК в Excel к нашей таблице.

Для этого в ячейку, в которой должен быть отображен результат расчета по методу наименьших квадратов в Excel, введем знак «=» и выберем функцию «ТЕНДЕНЦИЯ». В раскрывшемся окне заполним соответствующие поля, выделяя:

диапазон известных значений для Y (в данном случае данные для товарооборота);
диапазон x1, …xn, т. е. величины торговых площадей;
и известные, и неизвестные значения x, для которого нужно выяснить размер товарооборота (информацию об их расположении на рабочем листе см. далее).

Кроме того, в формуле присутствует логическая переменная «Конст». Если ввести в соответствующее ей поле 1, то это будет означать, что следует осуществить вычисления, считая, что b = 0.

Если нужно узнать прогноз для более чем одного значения x, то после ввода формулы следует нажать не на «Ввод», а нужно набрать на клавиатуре комбинацию «Shift» + «Control»+ «Enter» («Ввод»).

Некоторые особенности

Регрессионный анализ может быть доступен даже чайникам. Формула Excel для предсказания значения массива неизвестных переменных — «ТЕНДЕНЦИЯ» — может использоваться даже теми, кто никогда не слышал о методе наименьших квадратов. Достаточно просто знать некоторые особенности ее работы. В частности:

Если расположить диапазон известных значений переменной y в одной строке или столбце, то каждая строка (столбец) с известными значениями x будет восприниматься программой в качестве отдельной переменной.
Если в окне «ТЕНДЕНЦИЯ» не указан диапазон с известными x, то в случае использования функции в Excel программа будет рассматривать его как массив, состоящий из целых чисел, количество которых соответствует диапазону с заданными значениями переменной y.
Чтобы получить на выходе массив «предсказанных» значений, выражение для вычисления тенденции нужно вводить как формулу массива.
Если не указаны новые значения x, то функция «ТЕНДЕНЦИЯ» считает их равным известным. Если и они не заданы, то в качестве аргумента берется массив 1; 2; 3; 4;…, который соразмерен диапазону с уже заданными параметрами y.
Диапазон, содержащий новые значения x должен состоять из такого же или большего количества строк или столбцов, как диапазон с заданными значениями y. Иными словами он должен быть соразмерным независимым переменным.
В массиве с известными значениями x может содержаться несколько переменных. Однако если речь идет лишь об одной, то требуется, чтобы диапазоны с заданными значениями x и y были соразмерны. В случае нескольких переменных нужно, чтобы диапазон с заданными значениями y вмещался в одном столбце или в одной строке.

Функция «ПРЕДСКАЗ»

Регрессионный анализ в Excel реализуется с помощью нескольких функций. Одна из них называется «ПРЕДСКАЗ». Она аналогична «ТЕНДЕНЦИИ», т. е. выдает результат вычислений по методу наименьших квадратов. Однако только для одного X, для которого неизвестно значение Y.

Теперь вы знаете формулы в Excel для чайников, позволяющие спрогнозировать величину будущего значения того или иного показателя согласно линейному тренду.

Источник: //autogear.ru/article/342/215/metod-naimenshih-kvadratov-v-excel-regressionnyiy-analiz/

Постановка проблемы на определенном образце

Предположим, есть 2 показателя X и Y. Вдобавок Y находится в зависимости от X. Ведь МНК интересует нас на взгляд регрессионного оценка (в Excel его методы реализуются за счет вмонтированных функций), тогда следует зараз ведь перейти к обсуждению именной проблемы.

Итак, пускай X — торговая зона продовольственного маркета, меримая в квадратных метрах, а вот Y — годовой товарооборот, ориентируемый в миллионах руб..

Требуется выполнить мониторинг, каковой товарооборот (Y) станет у маркета, в случае если у него какая-нибудь торговая зона. Бесспорно, что функция Y = f (X) возрастающая, ведь гипермаркет реализовывает чаще товаров, нежели ларек.

Несколько текстов о корректности начальных сведений, оборотных для исчезновения

Допустим, у нас имеется список, возведенная по достоверным сведениям для n маркетов.

…

Согласно математической статистике, итоги будут иметься более или менее корректными, в случае если изучаются сведения по впрочем б 5-6 объектам. А также, невозможно ввести «неестественные» итоги. Например, лучший маленький бутик имеет возможность обладать товарооборот в разы больший, нежели товарооборот наибольших торговых пикселей класса «масмаркет».

Метод кратчайших квадратов

В Excel, как нам известно, есть вмонтированная функция автосуммы, дающая возможность определить уровни всех без исключения уровней, находящихся в удаленном промежутке. Следовательно, ничто не навредит для нас рассчитать величина выражения (e12 + e22 + e32+ … en2).

В математической записи это обладает образец:

Ведь с самого начала было решено об аппроксимировании за счет буквальной, то насчитываем:

Следовательно, дилемма пребывания буквальной, какая наилучшим образом описывает определенную зависимость величин X и Y, сводится к исчислению минимального количества функции 2-х непостоянных:

Чтобы достичь желаемого результата надо приравнять к нулю приватные производные по новым непостоянным a и b, и решить примитивную конструкцию, состоящую из 2-х уравнений с двумя анонимными облика:

После нехитрых преобразований, в том числе деление на два и манипуляции с суммами, получим:

Решая ее, в частности, методом Крамера, покупаем стационарную точку с какими-то коэффициентами a* и b*. Именно это имеется минимальное количество, т. е.

для исчезновения, каковой товарооборот станет у маркета при конкретной площади, подойдет прямая y = a*x + b*, являющая собой регрессионную модель для образца, о каком проходит речь.

Еще бы, она не даст возможность обнаружить верный исход, однако может помочь заполучить спектакль про то, окупится ли покупка в долг маркета именной площади.

Как реализоавать способ кратчайших квадратов в Excel

В “Эксель” есть функция для вычисления уровни по МНК. Она обладает ближайший образец: «ТЕНДЕНЦИЯ» (известн. уровни Y; известн. уровни X; ранее не известные уровни X; конст.). Используем формулу вычисления МНК в Excel к нашей таблице.

Чтобы достичь желаемого результата в ячейку, в какой обязан быть отражен исход вычисления по методу кратчайших квадратов в Excel, используем символ «=» и выкарабкаем функцию «ТЕНДЕНЦИЯ». В открывшемся окошке наполним надлежащие поля, выделяя:

диапазон ведомых уровней для Y ( в этом примере сведения для товарооборота);
диапазон x1, …xn, т. е. величины торговых площадей;
и ведомые, и анонимные уровни x, для какого должно проверить величину товарооборота (сообщение про их месторасположении на действующем листе см. затем).

А также, в формуле имеется закономерная непостоянная «Конст». В случае если использовать в надлежащее для нее поле один, то это будет значить, что вытекает воплотить исчисления, думая, что b = 0.

Если должно выведать мониторинг для наиболее нежели 1-го уровни x, то опосля ввода формулы вытекает нажать не на «Ввод», а вот должно набрать на клавиатуре (клаве) комбинацию «Shift» + «Control»+ «Enter» («Ввод»).

Некоторые качества

Регрессионный анализ быть может общедоступен в том числе чайникам. Формула Excel для исчезновения уровни массива анонимных непостоянных — «ТЕНДЕНЦИЯ» — имеет возможность использоваться в том числе теми, кто вовек не слышал о методе кратчайших квадратов. Необходимо запросто быть в курсе какие-либо качества ее деятельности. Например:

Если предрасположить диапазон ведомых уровней непостоянной y в некой строчке или же столбце, то всякая строчка (столбец) с ведомыми значениями x станет приниматься программкой в виде единичной непостоянной.
Если в окошке «ТЕНДЕНЦИЯ» не указан диапазон с ведомыми x, то в любом случае применения функции в Excel программка станет оценивать его как массив, состоящий из круглых количеств, численность каких отвечает промежутку с указанными значениями непостоянной y.
Чтобы заполучить на выходе массив «предсказанных» уровней, выражение для исчисления направленности должно вводить как формулу массива.
Если не велены ранее не известные уровни x, то функция «ТЕНДЕНЦИЯ» полагает их равным ведомым. В случае если и они не миссы, то в виде аргумента приступает массив один; два; трем; четвертая;…, какой соразмерен промежутку с уже указанными параметрами y.
Диапазон, вмещающий ранее не известные уровни x вынужден состоять из настолько же или же большего числа строчек или же столбцов, как диапазон с указанными значениями y. Иначе говоря он обязан быть соразмерным автономным непостоянным.
В массиве с ведомыми значениями x имеет возможность находиться некоторого количества непостоянных. Ведь в случае если речь проходит лишь только об одной, то надо, дабы промежутки с указанными значениями x и y имелись соразмерны. В любом случае немногих непостоянных должно, дабы диапазон с указанными значениями y вмещался в некоем столбце или же в некой строчке.

Математика на пальцах: методы наименьших квадратов

Применение метода наименьших квадратов в Excel

Я математик-программист. Самый большой скачок в своей карьере я совершил, когда научился говорить:«Я ничего не понимаю!» Сейчас мне не стыдно сказать светилу науки, что мне читает лекцию, что я не понимаю, о чём оно, светило, мне говорит. И это очень сложно.

Да, признаться в своём неведении сложно и стыдно. Кому понравится признаваться в том, что он не знает азов чего-то-там.

В силу своей профессии я должен присутствовать на большом количестве презентаций и лекций, где, признаюсь, в подавляющем большинстве случаев мне хочется спать, потому что я ничего не понимаю. А не понимаю я потому, что огромная проблема текущей ситуации в науке кроется в математике.

Она предполагает, что все слушатели знакомы с абсолютно всеми областями математики (что абсурдно). Признаться в том, что вы не знаете, что такое производная (о том, что это — чуть позже) — стыдно.

Но я научился говорить, что я не знаю, что такое умножение. Да, я не знаю, что такое подалгебра над алгеброй Ли. Да, я не знаю, зачем нужны в жизни квадратные уравнения. К слову, если вы уверены, что вы знаете, то нам есть над чем поговорить! Математика — это серия фокусов. Математики стараются запутать и запугать публику; там, где нет замешательства, нет репутации, нет авторитета. Да, это престижно говорить как можно более абстрактным языком, что есть по себе полная чушь.
Знаете ли вы, что такое производная? Вероятнее всего вы мне скажете про предел разностного отношения. На первом курсе матмеха СПбГУ Виктор Петрович Хавин мне определил производную как коэффициент первого члена ряда Тейлора функции в точке (это была отдельная гимнастика, чтобы определить ряд Тейлора без производных). Я долго смеялся над таким определением, покуда в итоге не понял, о чём оно. Производная не что иное, как просто мера того, насколько функция, которую мы дифференцируем, похожа на функцию y=x, y=x2, y=x3.

Я сейчас имею честь читать лекции студентам, которые боятся математики. Если вы боитесь математики — нам с вами по пути. Как только вы пытаетесь прочитать какой-то текст, и вам кажется, что он чрезмерно сложен, то знайте, что он хреново написан. Я утверждаю, что нет ни одной области математики, о которой нельзя говорить «на пальцах», не теряя при этом точности.

Задача на ближайшее время: я поручил своим студентам понять, что такое линейно-квадратичный регулятор. Не постесняйтесь, потратьте три минуты своей жизни, сходите по ссылке.

Если вы ничего не поняли, то нам с вами по пути. Я (профессиональный математик-программист) тоже ничего не понял. И я уверяю, в этом можно разобраться «на пальцах».

На данный момент я не знаю, что это такое, но я уверяю, что мы сумеем разобраться.

Итак, первая лекция, которую я собираюсь прочитать своим студентам после того, как они в ужасе прибегут ко мне со словами, что линейно-квадратичный регулятор — это страшная бяка, которую никогда в жизни не осилить, это методы наименьших квадратов. Умеете ли вы решать линейные уравнения? Если вы читаете этот текст, то скорее всего нет.

Итак, даны две точки (x0, y0), (x1, y1), например, (1,1) и (3,2), задача найти уравнение прямой, проходящей через эти две точки: иллюстрация Эта прямая должна иметь уравнение типа следующего: Здесь альфа и бета нам неизвестны, но известны две точки этой прямой: Можно записать это уравнение в матричном виде:

Тут следует сделать лирическое отступление: что такое матрица? Матрица это не что иное, как двумерный массив. Это способ хранения данных, более никаких значений ему придавать не стоит.

Это зависит от нас, как именно интерпретировать некую матрицу. Периодически я буду её интерпретировать как линейное отображение, периодически как квадратичную форму, а ещё иногда просто как набор векторов.

Это всё будет уточнено в контексте.

Давайте заменим конкретные матрицы на их символьное представление: Тогда (alpha, beta) может быть легко найдено: Более конкретно для наших предыдущих данных: Что ведёт к следующему уравнению прямой, проходящей через точки (1,1) и (3,2):

Окей, тут всё понятно. А давайте найдём уравнение прямой, проходящей через три точки: (x0,y0), (x1,y1) и (x2,y2):

Ой-ой-ой, а ведь у нас три уравнения на две неизвестных! Стандартный математик скажет, что решения не существует. А что скажет программист? А он для начала перепишет предыдующую систему уравнений в следующем виде:

И дальше постарается найти решение, которое меньше всего отклонится от заданных равенств. Давайте назовём вектор (x0,x1,x2) вектором i, (1,1,1) вектором j, а (y0,y1,y2) вектором b:

В нашем случае векторы i,j,b трёхмерны, следовательно, (в общем случае) решения этой системы не существует. Любой вектор (alpha\*i + beta\*j) лежит в плоскости, натянутой на векторы (i, j).

Если b не принадлежит этой плоскости, то решения не существует (равенства в уравнении не достичь). Что делать? Давайте искать компромисс.

Давайте обозначим через e(alpha, beta) насколько именно мы не достигли равенства:

И будем стараться минимизировать эту ошибку: Почему квадрат?Мы ищем не просто минимум нормы, а минимум квадрата нормы. Почему? Сама точка минимума совпадает, а квадрат даёт гладкую функцию (квадратичную функцию от агрументов (alpha,beta)), в то время как просто длина даёт функцию в виде конуса, недифференцируемую в точке минимума. Брр. Квадрат удобнее.

Очевидно, что ошибка минимизируется, когда вектор e ортогонален плоскости, натянутой на векторы i и j.

Иллюстрация Иными словами: мы ищем такую прямую, что сумма квадратов длин расстояний от всех точек до этой прямой минимальна:

UPDATE: тут у меня косяк, расстояние до прямой должно измеряться по вертикали, а не ортогональной проекцией. Вот этот комментатор прав.

Иллюстрация Совсеми иными словами (осторожно, плохо формализовано, но на пальцах должно быть ясно): мы берём все возможные прямые между всеми парами точек и ищем среднюю прямую между всеми: Иллюстрация Иное объяснение на пальцах: мы прикрепляем пружинку между всеми точками данных (тут у нас три) и прямой, что мы ищем, и прямая равновесного состояния есть именно то, что мы ищем.

Минимум квадратичной формы

Итак, имея данный вектор b и плоскость, натянутую на столбцы-векторы матрицы A (в данном случае (x0,x1,x2) и (1,1,1)), мы ищем вектор e с минимум квадрата длины.

Очевидно, что минимум достижим только для вектора e, ортогонального плоскости, натянутой на столбцы-векторы матрицы A: Иначе говоря, мы ищем такой вектор x=(alpha, beta), что: Напоминаю, что этот вектор x=(alpha, beta) является минимумом квадратичной функции ||e(alpha, beta)||2: Тут нелишним будет вспомнить, что матрицу можно интерпретирвать в том числе как и квадратичную форму, например, единичная матрица ((1,0),(0,1)) может быть интерпретирована как функция x2 + y2: квадратичная форма

Вся эта гимнастика известна под именем линейной регрессии.

Уравнение Лапласа с граничным условием Дирихле

Теперь простейшая реальная задача: имеется некая триангулированная поверхность, необходимо её сгладить. Например, давайте загрузим модель моего лица:

Изначальный коммит доступен здесь.

Для минимизации внешних зависимостей я взял код своего софтверного рендерера, уже подробно описанного на хабре. Для решения линейной системы я пользуюсь OpenNL, это отличный солвер, который, правда, очень сложно установить: нужно скопировать два файла (.h+.

c) в папку с вашим проектом. Всё сглаживание делается следующим кодом:

for (int d=0; d

Источник: //habr.com/post/277275/

Метод наименьших квадратов и поиск решения в Excel

Применение метода наименьших квадратов в Excel

Ну вот, на работе перед инспекцией отчитались, статья дома для конференции написана — можно теперь и в блог писать.

Пока данные свои обрабатывал, понял, что не могу не написать про очень классную и нужную надстройку в Excel, которая называется «поиск решения».

Так что статья будет посвящена именно этой надстройке, и расскажу я о ней на примере использования метода наименьших квадратов (МНК) для поиска неизвестных коэффициентов уравнения при описании экспериментальных данных.