Mamy zbiór n punktów (x_i, y_i) dla których chcielibyśmy dopasować funkcję liniową y = ax + b.
Należy znaleźć takie dwie liczby rzeczywiste a oraz b aby jak najwięcej punktów leżało blisko tej prostej. Jako kryterium przyjmujemy minimalizację sumy kwadratów różnic między punktami y_i a wyliczonym y = ax_i + b.
Suma kwadratów różnic charakteryzuje się tym że:

• składniki sumy są nieujemne,
• funkcja jest różniczkowalna,
• jest prosta

Przykładowy wynik metody:



Mamy wyliczyć i zminimalizować: Suma kwadratów różnic zawsze będzie ≥ 0 a równa zero tylko w przypadku gdy wszystkie punkty leżą na prostej y = ax + b, Funkcja ma jedno ekstremum i jest to minimum.
Punkt minimum osiągany jest dla (a, b) takiego, że obie pochodne cząstkowe są zerowe.

f(a,b)=(y_{1}-ax_{1}-b)^{2}+(y_{2}-ax_{2}-b)^{2}+...+(y_{n}-ax_{n}-b)^{2}=\sum_{i=1}^{n}{(y_{i}-ax_{i}-b)^{2}}\\ \frac{\partial f(a,b)}{\partial a}=-2\sum_{i=1}^{n}{x_{i}(y_{i}-ax_{i}-b)}\\ \frac{\partial f(a,b)}{\partial b}=-2\sum_{i=1}^{n}{(y_{i}-ax_{i}-b)}

Dla większej czytelności wprowadzamy wartości stałe niezależne od a oraz b:

S_{x} = x_{1} + x_{2} + ... + x_{n} = \sum_{i=1}^{n}{x_{i}}\\ S_{y} = y_{1} + y_{2} + ... + y_{n} = \sum_{i=1}^{n}{y_{i}}\\ S_{xx} = x_{1}^{2} + x_{2}^{2} + ... + x_{n}^{2} = \sum_{i=1}^{n}{x_{i}^{2}}\\ S_{xy} = x_{1}y_{1} + x_{2}y_{2} + ... + x_{n}y_{y} = \sum_{i=1}^{n}{x_{i}y_{i}}

Pierwsze równanie ma postać:

\frac{\partial f(a,b)}{\partial a}=0\\ \sum_{i=1}^{n}{x_{i}(y_{i}-ax_{i}-b)=0}\\ \sum_{i=1}^{n}{x_{i}y_{i}-ax_{i}^{2}-bx_{i}=0}\\ \sum_{i=1}^{n}{x_{i}y_{i}}-a\sum_{i=1}^{n}{x_{i}^{2}}-b\sum_{i=1}^{n}{x_{i}}=0

Używając wprowadzonych stałych:

\mathbf{(1) S_{xy} - aS_{xx} - bS_x = 0}

Podobnie wyprowadzamy drugie równanie:

\frac{\partial f(a,b)}{\partial b}=0\\ \sum_{i=1}^{n}{y_{i}-ax_{i}-b=0}\\ \sum_{i=1}^{n}{y_{i}}-a\sum_{i=1}^{n}{x_{i}}-n*b=0

Używając wprowadzonych stałych: Równania (1) i (2) stanowią układ dwóch równań liniowych z dwiema niewiadomymi a i b Z (2) wyznaczamy b = (S_y - aS_x) / n i wstawiamy do (1).

S_{xy}-aS_{xx}-\frac{S_{y}-aS_{x}}{n}S_{x}=0\\\\ \frac{S_{xy}n-aS_{xx}n-S_{x}S_{y}+aS_{x}^{2}}{n}=0\\\\ S_{xy}n-aS_{xx}n-S_{x}S_{y}+aS_{x}^{2}=0\\\\ a(S_{x}^{2}-S_{xx}n)=S_{x}S_{y}-S_{xy}n\\\\ \mathbf{(3)a=\frac{S_{x}S_{y}-S_{xy}n}{S_{x}^{2}-S_{xx}n}}\\\\\\ b=\frac{S_{y}-aS_{x}}{n}=\\\\ \frac{S_{y}}{n}-\frac{S_{x}a}{n}=\\\\ \frac{S_{y}}{n}-\frac{S_{x}(S_{x}S_{y}-S_{xy}n)}{n(S_{x}^{2}-S_{xx}n)}=\\\\ \frac{S_{y}(S_{x}^{2}-S_{xx}n)-S_{x}(S_{x}S_{y}-S_{xy}n)}{n(S_{x}^{2}-S_{xx}n)}=\\\\ \frac{S_{x}^{2}S_{y}-S_{xx}S_{y}n-S_{x}^{2}S_{y}-S_{x}S_{xy}n}{n(S_{x}^{2}-S_{xx}n)}\\\\ \mathbf{(4)b=\frac{S_{x}S_{xy}-S_{xx}S_{y}}{S_{x}^{2}-S_{xx}n}}

Otrzymane a i b w mianowniku mają to samo wyrażenie, więc zastąpmy je przez: Ostatecznie: