Régression linéaire 3D

Bonjour,
Réf. : http://www.les-mathematiques.net/phorum/read.php?12,2299200
C'est une question très intéressante.
C'est un problème que j'ai traité en détail, mais le forum concerné m'est interdit.

Apparemment le demandeur a soigneusement étudié le problème.
C'est très dommage qu'il n'ai pas de réponse.

Bonjour,
On parle beaucoup de probabilités, mais pas souvent des très nombreuses applications.
Les régressions et en particulier les régressions linéaires en sont une des applications très importantes.
La problématique est simple : on a un certain nombres d'observations d'un même phénomène et on cherche un modèle pour ce phénomène.
Considérons un exemple classique : le rapport entre le poids et la taille des chiens. On ne cherche pas le modèle "idéal" mais le modèle "moyen" (pour éviter tout dérapage). On a une régression linéaire dont le modèle s'écrit Poids = f(Taille) que j'écrirai y = f(x).

J'ai fait un papier concernant ce sujet : http://www.dlzlogic.com/aides/Regres_lineaire.pdf

On peut observer que la méconnaissance des notions élémentaires de probabilités, a pour conséquence l'absance de réponses intéressante à ce type de question. Le demandeur a bien étudié son problème et à mon avis, il mérite une réponse autre que celle de Gérard.

Bonjour Dlzlogic, ne t'en fais pas trop pour le demandeur, j'ai lu la réponse de Gerard0, elle est parfaitement adaptée, il connait visiblement la différence entre la régression linéaire simple et la régression linéaire multiple.

Les mathématiques.net ont une ligne éditoriale de réponse à des questions mathématiques. Ce forum a une ligne éditoriale très différente, il suffit de voir le temps qu'il a fallu pour que tu admettes ce que fait un générateur codé en C++. Ceci dit, ce forum a trouvé son public qui s'amuse, tout va bien dans le meilleur des mondes, chacun sa place.

Bonjour Vassillia,
Qu'entends-tu par "différence entre la régression linéaire simple et la régression linéaire multiple."
Moi, j'en suis resté à la distinction régression linéaire et régression non linéaire.
Les régression non linéaires ont été étudiées soigneusement par Jean Jacquelin.
Mais je sens que tu vas m'apprendre quelque-chose.

Non parceque je pense que tu n'es pas capable d'apprendre quoi que ce soit. Mais si tu veux essayer, tu peux lire la réponse de Gerard0 et si tu ne la comprends pas, poser des questions.

Gérard a écrit:Manifestement tu as utilisé des variables indépendantes. Dans ce cas, je te laisse prouver ce que tu as vu. Mais on fait rarement de la régression avec des variables statistiquement indépendantes.

Je suppose que Gérard considère les variables x1 et x2, ou considère-t-il que y est aussi une variable.
Les variables x1 et x2 sont certainement indépendantes. C'est vrai ou pas ?
Comment savoir si X1 et x2 sont indépendantes ou pas ?
Quel est l'influence de l'indépendance dans le calcul d'une régression ?

J'oubliais, tu ne m'as pas dit ce que tu entendais par différence entre régression linéaire simple et régression linéaire multiple.

Mouais bof, la perspective de batailler sur chaque mot ne m'amuse pas suffisamment pour que je te réponde. Trop de questions donc trop de lacunes et pas assez de bonne volonté, en tout cas c'est mon opinion, donc je passe mon tour.

Puisque tu ne connais pas les mots régression linéaire simple et régression linéaire multiple, tes idées sur ce sujet n'ont rien à apporter puisque la question du demandeur était justement je cite
"Je voudrais savoir s'il est possible à partir d'une régression linéaire simple sur chacune des variables individuellement, de construire la régression linéaire multiple"

Bonne journée Dlzlogic, j'ai démontré ce que je voulais, à savoir que ton fil n'était là que pour critiquer Gerard0 sur un sujet que tu ne connais pas.

Bon, alors moi je vais expliquer.
Une régression linéaire consiste à trouver une formule qui relie un certain nombre de groupes de valeurs observées.
Dans les cours, on se limité à 2 valeurs par groupe, c'est à dire que la fonction à trouver est de forme y=f(x).
Mais, dans de nombreux cas on a plusieurs variables x1, x2, ... xn. On a trouvé un qualificatif amusant : "régression linéaire multiple.". Le principe et la méthode de résolution sont strictement pareils.
Un mot sur le qualificatif "linéaire". Cela veut dire qu'entre les différentes valeurs il faut trouver une application linéaire. Rien à voir avec ce qu'on appelle "fonction affine" c'est à dire y = Ax+B, mais l'idée est là tout de même.
Lorsqu'il y a deux valeurs de x, il est intéressant de trouver des changements de variables pour obtenir un résultat plus fin.
A delà de 2 valeurs de x, cela devient un peu compliqué et un fonction du type y = K . x1^a . x2^b . ... xn^k me parait toute indiquée.
Naturellement, le calcul se fait avec la méthode des moindres carré, puisque c'est méthode qui donne le résultat les plus probable, conformément à la théorie des probabilités.

Cette méthode peut être utilisée avec profit pour numériser un abaque.
J'ai calculé des quantités de régressions linéaires, probablement beaucoup plus que tu n'en verras dans ta vie.
Gérard est totalement incompétent dans ce domaine. Je ne suis même pas sûr qu'il sache calculer une régression simple, sauf le faire faire par un logiciel.

Un mot sur le qualificatif "linéaire". Cela veut dire qu'entre les différentes valeurs il faut trouver une application linéaire. Rien à voir avec ce qu'on appelle "fonction affine" c'est à dire y = Ax+B, mais l'idée est là tout de même.

Et pourtant, très fortement à voir :

y = Ax est une fonction linéaire
y = Ax +b est une fonction affine. La seule différence est la constante.

En général on parle de regression linéaire même dans le cas affine tout simplement parce qu'au prix (faible) d'ajouter une dimension à chaque x avec une constante, on se ramène bien à une regression linéaire.
(Je peux expliquer, mais si je le fais tu diras que le post est "trop long").

Mais, dans de nombreux cas on a plusieurs variables x1, x2, ... xn. On a trouvé un qualificatif amusant : "régression linéaire multiple.". Le principe et la méthode de résolution sont strictement pareils.

C'est fou comme tu aimes dénigrer (qualificatif "amusant") les choses, les termes, que tu ne connais pas.

La différence entre régression simple et multiple est effctivement minime.

Dans tous les cas une regression linéaire cherche à trouver une forme linéaire reliant des images (les y_i) avec des données (les x_i).
La regression linéaire est simple si les x_i sont des nombres réels, elle est multiple si les x_i sont des vecteurs (donc ont plusieurs valeurs qui serviront à prédir y_i).

Naturellement, le calcul se fait avec la méthode des moindres carré, puisque c'est méthode qui donne le résultat les plus probable, conformément à la théorie des probabilités.

Cette phrase n'a toujours pas de sens.

Par contre ce qui est vrai c'est que, dans le cadre d'un modèle gaussien, l'estimateur des moindres carrés correspond à l'estimateur du maximum de vraisemblance.

Néanmoins il y a un grand nombre d'applications où, aujourd'hui, on n'utilise plus l'estimateur des moindres carrés dans les problèmes de regression linéaires pour diverses
raisons (voir par exemple le LASSO).

Gérard est totalement incompétent dans ce domaine. Je ne suis même pas sûr qu'il sache calculer une régression simple, sauf le faire faire par un logiciel.

Je peux garantir avec certitude que gerard est bien plus compétent en regression que toi.

Unknown a écrit:Néanmoins il y a un grand nombre d'applications où, aujourd'hui, on n'utilise plus l'estimateur des moindres carrés dans les problèmes de regression linéaires pour diverses
raisons (voir par exemple le LASSO).

Ca, ça m'intéresse.

"Naturellement, le calcul se fait avec la méthode des moindres carré, puisque c'est méthode qui donne le résultat les plus probable, conformément à la théorie des probabilités. " Cette phrase n'a peut-être pas de sens pour toi, mais pourtant, c'est tout à fait exact.
Si Gérard est si en régression linéaire, pourquoi n'a-t-il donné une explication utilisable ?

Unknown a écrit:En général on parle de regression linéaire même dans le cas affine tout simplement parce qu'au prix (faible) d'ajouter une dimension à chaque x avec une constante, on se ramène bien à une regression linéaire.

Par exemple, la régression qui admet pour formule y = A + B exp(Cx) est-elle linéaire ?

Bonsoir

Dlzlogic a écrit:le calcul se fait avec la méthode des moindres carré, puisque c'est méthode qui donne le résultat les plus probable, conformément à la théorie des probabilités.

Cette phrase est peut-être vraie dans certains contextes,
mais n'a pas de sens en général, car la méthode des moindres carrés peut-être utilisée dans des problèmes d'optimisation sans contexte de probabilité : "moindres carrés" sont souvent synonymes de "moindre distance euclidienne".

J'aime bien le "conformément à la théorie des probabilités" , pour tenter de justifier une affirmation dogmatique. On pourrait dire aussi "comme Gauss l'a prouvé", etc.

@ Fun,
Il me semble qu'on a déjà largement échangé sur le sujet.
Là Unknown a parlé de méthode LASSO, j'aimerais bien savoir de quoi il s'agit.
"Moindres carrés" n'a priori rien à voir avec les distances et si j'ai bonne mémoire, le document manuscrit de Gauss que tu as trouvé ne portait pas sur des distance, peut-être des angles, je ne sais plus.

Bonsoir,
Il faut reconnaitre que les membres théoriquement compétents de ce forum ont de réactions pour le moins bizarres.
L'une dit que la réponse reçue par le demandeur est bonne, un autre refuse la notion "valeur la plus probable" on sait bien que pour lui, "c'est comme on veut". Je pose des questions précises parce qu'on me dit que je n'y connais rien.
Bref, MM. les membres savants matheux, vous croyez qu'on peut vous prendre au sérieux. En fait, je crois que vous êtes vides comme des baudruches.

dlzlogic ne voit pas de lien entre les moindres carrés et la distance euclidienne minimale... Il manque sérieusement d'intuition et d"imagination (dixit Dattier, confirmé par Ltav ).
Et dire qu'il est ... géomètre ! mon dieu !!!

Dans un espace affine euclidien de dimension d, la distance entre deux points A et B est la racine carrée de ||A-B||² = (A1 - B1)^2 + ... + (Ad - Bd)^2 , une somme de carrés !!

allez, maintenant, lire la définition 1 de la page 1 de ce document ;
http://math.univ-lyon1.fr/~bernard/teach/numalg/algebre_notes_de_cours_4.pdf
Et voir le lien évident entre les moindres carrés et la distance euclidienne minimale !!
Et même projection orthogonale (théorème 4.1), etc

un document qui présente les moindres carrés, sans parler une seule fois de proba.

Et si on demande, pas de souci pour d'autres documents du même genre, avec d'autres auteurs !

Il faut reconnaître que les membres incompétents de ce forum ont de réactions pour le moins bizarres. C'est d'ailleurs à cela qu'on les reconnait et qu'ils nous font rire .  

Pour dlzlogic, la valeur la plus probable, c'est celle qu'il veut... sans même un contexte de proba. Trop fort.
Il se croit sérieux. En fait, il est bête à manger du foin.

funfumfunfun a écrit:
Pour dlzlogic, la valeur la plus probable, c'est celle qu'il veut... sans même un contexte de proba. Trop fort.

Ah oui, c'est assez bien résumé mais même quand il y a un contexte de proba, c'est pas mieux, il donne une reponse "loi normale" et ensuite il faut enlever ou rajouter des mots à la question pour que sa réponse correponde.

C'est même pas original comme humour, d'autres l'ont fait avant lui avec plus de talent et la réponse est 42 https://fr.m.wikipedia.org/wiki/La_grande_question_sur_la_vie,_l%27univers_et_le_reste

Bon, on va faire simple;
Vassilia et/ou Unknown et/ou Fun, proposez une régression à calculer.
Bien-sûr Gbzm peut participer. Un contre quatre, vous êtes conscient des risques que je prends ?
Chacun ou un seul ou aucun peut proposer une solution et on en parle.
Bien-sûr, je ne vous demande pas la solution, encore moins la justification, je sais que vous en êtes incapables, sauf peut-être Fun pour une régression simple à deux variables.

C'est tout de même bizarre, j'ai affiché très souvent, en fait, chaque fois que l'occasion se présentait, le résultat d'une régression. Ce qui sous-entend que vous ne regardez pas mes messages, mes résultats, mes méthodes, probablement parce que vous vous croyez tellement supérieurs, que rien d'autre ne vous intéresse.
Tout cela est très caractéristique.

C'est marrant, les super-compétents en probabilités sont incapables de donner un exemple d'application de cette théorie, sauf des titres sans intérêt, et quand je profite d'une question pour détailler la méthode, c'est une levée de boucliers. Très nettement, vous avez un problème.
Bon, pour faire simple, qui pourrait me détailler la méthode et la justification d'une régression simple. Commençons par là.
Je sais que Fun connait la méthode, mais il a du mal avec la justification.

Tu te trompes Dlzlogic, je sais que tu peux faire au minimum une régression linéaire simple. J'ai une mauvaise nouvelle pour toi, n'importe qui peut le faire avec la librairie GNU scientific donc ça ne prouve rien. Bon allez, je veux bien croire que tu as écrit toi même, tout ou partie de ton code, mais cela prouve juste que tu sais recopier des formules en C++, rien de plus.
***** Paragraphe incorrect et inutile *****

"Naturellement, le calcul se fait avec la méthode des moindres carré, puisque c'est méthode qui donne le résultat les plus probable, conformément à la théorie des probabilités. " Cette phrase n'a peut-être pas de sens pour toi, mais pourtant, c'est tout à fait exact.

Non cela n'a pas de sens.

Si tu veux essayer de donner du sens à tes propos je te donne quelques pistes de reflexion:
a) que veux dire "résultat" ici ?
b) qu'est-ce qui est aléatoire pour être "le plus probable" ?
c) que veut dire "probable" ?
pour réussir à aboutir à une formulation précise.

Sinon tu peux toujours donner un document, avec une référence précise, qui tienne ces propos.

[Au passage j'ai déjà donné un cadre dans lequel on peut donner faire une affirmation parfaitement rigoureuse dont une vulgarisation grossière
serait ta phrase. Et ce cadre mathématique s'applique bien aux problématiques de mesures qui te concerne.]

"Moindres carrés" n'a priori rien à voir avec les distances

T'en as pas marre d'écrire des conneries ? C'est tellement simple de démontrer le contraire.
Et tellement simple de vérifier si on ne connait pas : https://lmgtfy.app/?q=moindres+carr%C3%A9s+distance+euclidienne

Là Unknown a parlé de méthode LASSO, j'aimerais bien savoir de quoi il s'agit.

Je t'en ai déjà parlé. Je veux bien recommencer, mais vas-tu vraiment accepter de remettre en question tes croyances ?

Je cherche les coefficients w1, ... wn tel que \sum_i w_i x^n_i soit approximativement y^n_i. Ici i correspond à la i-ème coordonnée de l'individu n.
En forme vectorielle cela donne : w^T x^n \approx y^n

Chercher w par les moindres carrés c'est chercher w qui minimise \sum_n (w^T x^n - y^n)^2
qui s'écrit || Xw - y||^2_2, où X est une matrice avec N lignes (une par individu n) et I colonne (une par coordonnée, une par "feature" si on veut).

Le lasso consiste à minimiser  (par rapport à w), || Xw - y||^2_2 + \lambda  ||w||_1. Le nouveau terme est donc une constante fois
\sum_i |w|_i

Cette pénalisation des paramètres pousse la solution du problème à avoir un nombre de coefficient non nul limité (contraire aux MCO qui vont
génériquement donner un coeff non nul à toutes les coordonnées de w).

Avantages du Lasso :
- limite le sur-apprentissage
- permet une interprétabilité de la solution (puisqu'il sélectionne un petit nombre de features étant utile pour la regression)
- réduit la variance de l'estimation en grande dimension

Voici une présentation en français (la plupart sont en anglais) : https://eric.univ-lyon2.fr/~ricco/cours/slides/regularized_regression.pdf
Quelques citations :
slides 7 parlant des problèmes de la regression par moindre carré  :
"Ces problèmes entraîne une variance élevée de l’estimation c.-à-d. les
coefficients estimés sont très erratiques, exagérément dépendants de
l’échantillon d’apprentissage."

Comment corriger ? slide 11
"Objectif : éviter le surapprentissage c.-à-d. apprendre de l’échantillon de
données d’apprentissage, mais pas trop... (pas de sur dépendance)
Quelle principe ? Accepter une légère augmentation du biais pour
obtenir une réduction plus que proportionnelle de la variance"

Il parle ensuite de la regression Ridge, puis du Lasso
"Quel intérêt par rapport à Ridge ? LASSO peut faire office de dispositif de
sélection de variables en annulant certains coefficients βj : les variables associées
à (βj = 0) sont de facto exclues du modèle prédictif."
Et il termine par elastic-net

Tu vois, pour les problèmes de regression linéaire on dispose de plusieurs outils.
Et ce n'est pas parce que tu ne les connais pas qu'ils n'ont pas leur utilité.

La différence entre toi et nous c'est que, puisque tu "connais" un outil, tu penses qu'il s'applique dans tous les cas.
De notre côté on connait des outils ainsi que leurs limitations et on ne prétends donc pas qu'ils s'utilisent systématiquement,
en faisant de l'esbrouffe, de grandes phrases qu'on ne sait pas justifier.

Bonjour

Dlzlogic a écrit:Bon, pour faire simple, qui pourrait me détailler la méthode et la justification d'une régression simple.

Justement, j'ai déjà mention ce document :

allez, maintenant, lire la définition 1 de la page 1 de ce document ;
http://math.univ-lyon1.fr/~bernard/teach/numalg/algebre_notes_de_cours_4.pdf
Et voir le lien évident entre les moindres carrés et la distance euclidienne minimale !!
Et même projection orthogonale (théorème 4.1), etc

un document qui présente les moindres carrés, sans parler une seule fois de proba.

C'est tout de même bizarre. Cela montre que tu ne regardes pas nos messages et références,
parce que tu te crois tellement supérieur, que rien ne t'intéresse. C'est très caractéristique, depuis des années.

C'est marrant, les incompétents en probabilités sont incapables de comprendre la moindre explication. Très nettement, ils ont un problème, et pas seulement scientifique.

Vassilia et/ou Unknown et/ou Fun, proposez une régression à calculer.
Bien-sûr Gbzm peut participer. Un contre quatre, vous êtes conscient des risques que je prends ?

Par ailleurs ce que tu proposes c'est l'une des choses que l'on te reproche : faire des calculs sans trop savoir à quoi cela correspond.

C'est marrant, les super-compétents en probabilités sont incapables de donner un exemple d'application de cette théorie, sauf des titres sans intérêt,

C'est tellement charactéristique.

Bon, pour faire simple, qui pourrait me détailler la méthode et la justification d'une régression simple. Commençons par là.

Tu es vraiment un tu veux vraiment faire croire qu'on ne sait pas donner la méthode de la regression linéaire des moindres carrés ?

Quant à la justification (dans un certain contexte probabiliste) je l'ai donnée dans mon premier message. On peut donner d'autres justifications, plus géométrique
(que fun a fournit par exemple) mais pour ça il faudrait déjà que tu comprennes ce qu'est la distance Euclidienne.

Néanmoins comme nous on réponds aux questions (contrairement à toi) je te refait une explication rapide :
1) Résolution des MCO linéaires
Je considère des individus (individu = une entrée dans la base de donnée, par un être humain)
ayant chacun une caractéristique que je souhaiterais prédire, notée y (par exemple le salaire) et p features (exemple : age, sexe, niveau d'étude, lieu de résidence...)
Je dispose des données de n individus. Je cherche à prédire, pour un nouvel individu, la caractéristique en quesiton (le salaire) à partir de ses features.

Soit X la matrice à p colonnes et n lignes telle que chaque ligne représente un individu, et y le vecteur des valeurs à prédire (chaque ligne correspond à la caractéristique de l'individu en question)

Le problème des moindres carrés consiste à chercher w minimisant || Xw - y ||^2
La solution analytique s'obtient pas un calcul simple, c'est w = (X^TX)^-1 X^T y
(si X^TX est inversible, sinon il y a plusieurs solution et on utilise généralement celle de moindre norme).

2) Justification (probabiliste)

Soit X un vecteur aléatoires (les données). Soit Y une variable aléatoire réelle (celle à prédire).
On suppose que Y = w^T X + eps, où w est un vecteur déterministe inconnu.
eps est une variable aléatoire que l'on suppose Gaussienne.

Alors l'estimateur (au sens statistique) des moindres carrés ordinaire coïncide avec l'estimateur du maximum de vraisemblance.
Ce qui se traduit grossièrement par "le w estimé est celui qui maximise la probabilité d'obtenir les résultats dont on dispose"
donc, encore plus grossièrement, "w est la valeur la plus probable".