Régression linéaire.

Bonjour,
Voila une question qui donne lieu à de nombreux exercices,
http://www.les-mathematiques.net/phorum/read.php?13,1933692
Et même le célèbre Gérard ne sait pas vraiment ce dont il s'agit.
D'abord, j'avoue que je ne sais pas la raison de cette appellation "régression".

Ensuite, il y a un point sur lequel il faut insister : cette opération est dite "linéaire" parce qu'elle se résout (ie. se calcule) pas l'écriture et la résolution d'un système linéaire. En d'autres termes, cela n'a rien à voir avec la représentation par une droite. Lequel système linéaire peut avoir plus de deux inconnues.

La méthode des moindres carrés. D'abord, son créateur n'était pas mécanicien, il était astronome, géomètre, et par conséquent mathématicien. Il s'appelait Gauss.
"La méthode des moindres carrés [...] part de l'hypothèse mathématique du minimum de l'erreur moyenne quadratique dees résultats [...]." (JJ levallois).
Essayons de détailler. On dispose d'un certain nombre de relations entre des éléments. Pour un nuage de points, ce seront les couples de coordonnées des points. On suppose (ou on espère) qu'il existe une fonction qui satisfait une relation unique entre tous ces éléments. L'avantage de trouver cette fonction est d'abord de s'assurer que tous ces éléments sont homogènes et ensuite de pouvoir appliquer cette fonction en faisant abstraction de tous les éléments qui ont permis de l'établir.

Dans les cas simples qui font l'objet d'exercices, il s'agit de points et on cherche à trouver une fonction, c'est à dire Y = f(X), et admettons que cette fonction comporte deux paramètres A et B.
La méthode des moindres carrés affirme que les paramètres A et B sont solution du système tel que
S = Somme[(yi - f(xi)²] soit minimum.
S sera minimum pour les valeurs qui annulent sa dérivée. Donc, il suffit d'écrire que les dérivées partielles sont nulles, on obtient ainsi un système qui comporte autant d'équations que d'inconnues.
A priori, on ne connait pas la forme de la fonction f. On peut en essayer plusieurs et adopter la meilleure. Il peut arriver que le système obtenu n'est pas linéaire, en ce cas il faudra avoir recours à des techniques plus élaborées. Jean Jacquelin a étudié un grand nombre de cas.

Quoi qu'il en soit, la méthode des moindres carrés est celle qui permet de trouver le résultat le plus probable. Par exemple, elle est utilisée en cartographie, en topométrie et d'une façon générale dans tous les cas où on dispose de valeurs en sur-nombre.