Résultat d'une régression.

Bonsoir,
Réf. : https://les-mathematiques.net/vanilla/index.php?p=/discussion/2331883/regression-lineaire
Le pseudo du demandeur me rappelle un membre très compétent et qui adorait les pseudo représentant des personnages féminins célèbre. Si c'est elle qui a posté cette question je la salue chaleureusement.
Bon, pour le sujet concerné, une régression linéaire est une régression pour laquelle la fonction résultat, dans l'intervalle concerné, peut se calculer avec un système d'équations linéaires. Pour exemple, si la fonction concernée est celle d'un cercle, ce n'est pas une régression linéaire. Pour plus de détails voir les papiers écrits par Jean Jacquelin.
Telle que la question est posée, la fonction possède deux paramètres, a et b. On peut arriver à cette situation par des changements de variable. Bien que cette régression soit linéaire, la formule obtenue pourra être du type exponentielle, logarithmique, puissance ou d'autre formes plus compliquée.

Je ne sait pas ce que représente cette formule, ni même ce que signifie cette phrase "Cet écart fournit entre autre une estimation de la variance de U=Y−aX−b non biaisée:" Concernant les régressions, on estime la qualité du résultat par la valeur du coefficient R². On peut vouloir estimer la variance de Y, mais dans quel but ?      

Petit avis personnel : on cherche, sans les trouver, des formules très compliquées pour les régressions, il me semble plus utile de savoir les calculer et surtout quel est leur justification.

Bonjour,
Il y a eu plusieurs interventions.
Dom a cité un cours de l'université de Bordeaux. Il y a des choses intéressantes, d'autres moins. Il faudrait passer du temps pour vérifier.
Mais quand on lit le cours on peut se demander si le plus important est de trouver la fonction ou de calculer la précision du résultat.
De toute façon, il y a une erreur de logique qui saute aux yeux : le nombre de chiffres significatifs.
D'ailleurs, dans le calcul de l'écart-type sur x et sur y, il y a une faute : il faut diviser par 23 et non par 24. Cette faute se justifie d'autant moins que c'est le but de ce paragraphe et en relation directe avec la question posée.
Il lieu de remarquer aussi que le calcul de l'écart-type sur X ne présente aucun intérêt, puisque c'est une donnée. La fonction est du type Y=f(X).
Je vais peut-être essayer de joindre l'auteur de ce cours.
@ Beagle Relativement à ta question sur le test de normalité dans le cas de calcul de régression, là cette référence à la loi normale est "idiot". Il n'y a aucune raison que la normalité soit respectée puisqu'il ne s'agit pas de mesure ou d'observation mais de résultat de calcul.,

Les résultats de l'exemple paragraphe 5 page 12 sont bons, il n'y a pas d'explication concernant les calculs. Pour quel motif on serait en droit de tenir compte de l'écart-type, surtout que dans l'exemple, le calcul est faux. C'est peut-être vrai (je n'ai pas vérifié) de cas de régression par une droite, mais c'est un cas particulier.
J'avoue que j'ai du mal à croire que le prix d'appartement dans le Vè et le VIè arrondissement de Paris soit à ce point proportionnel à la surface.

Dans l'introduction, on peut lire :

Cependant ce n’est pas toujours possible, ou aussi évident : le modèle Y = α + βX + γX2 est linéaire,
mais est à deux variables explicatives : si on pose Z = X2 on obtient Y = α + βX + γZ, c’est de la
régression multiple..

C'est un modèle de régression linéaire. Les inconnues sont a, b et c, ce qui se calcule très bien avec un système linéaire. Mais ce n'est certainement pas un système à deux variables explicatives, pas plus que de la régression multiple.

D'après le titre, il s'agit d'un cours de préparation à l'agrégation. Je défie quiconque de calculer une régression d'après les indications de ce cours.

La suite du cours est vraiment critiquable.
La relation avec la loi normale, la loi du khi², la loi de Student etc. N'est pas justifié.
L'écart en valeur absolue pour un prix de 80M. F. n'est pas comparable à l'écart pour un prix de 900M.F.
Surprenant.

Je vais essayer de donner une réponse.
D'abord, cette formule n'a pas d'intérêt ni même de sens. Je vais montrer sa signification mais pas le démontrer.
Prenons d'abord une liste de valeurs, telle que la moyenne ait une vraie signification.
On sait que le dénominateur dans la formule de calcul de l'écart type est N-1.
L'explication est celle-ci : si la liste de valeurs est le longueur 1, l'écart-type est inconnu, puisqu'on a comme résultat 0/0, qui est indéterminé.
Ce qui justifie le dénominateur = (N-1).
Dans le cas de régression suivant une droite, deux points (x,y) sont suffisants ET au moins 2 nécessaires.
Mais, je me répète, cela n'a pas de sens de calculer la variance d'une régression. Pour apprécier la qualité d'une formule de régression par rapport à un autre, on utilise généralement le coefficient de détermination R².

Bonjour,
Ces problèmes de régression sont l'un de mes sujets favoris.
Je viens de relire soigneusement les différentes interventions.
Le premier lien donné par Dom détaille les bases de l'estimation. La démonstration concernant ce "satané n-1" est faite. Tout ce document est basé sur le principe que toutes les observations ou mesures ont été réalisées dans le mêmes conditions, la théorie des probabilités s'applique et la moyenne est la valeur la plus probable, donc, celle qu'on admet comme estimation (ou estimateur). Je n'insisterai pas sur le qualificatif "non biaisé" puisque ce terme n'est clairement défini nulle part.
Mais, il ne faut pas oublier que la question porte sur les régressions. C'est à dire quelle est la fonction mathématique applicable pour tel phénomène.
La question se limité à une fonction monotone à une variable, c'est à dire à quelque chose de la forme Y = f(X) et sauf changement de variable la fonction peut s'écrire Y = A + BX.
Si il n'y a pas eu de changement de variable, bien que ça ne présente aucun intérêt, on peut calculer une moyenne pour Y. S'il y a eu un changement de variable, cela n'a aucun sens. Donc tout calcul qui utiliserait cette valeur n'a aucun sens et en particulier un calcul de variance.

Bonsoir,
Décidément, les régressions ont la cote ces temps-ci.
Réf. : https://www.maths-forum.com/superieur/regression-elliptique-t276107.html
C'est un problème connu.
Si je devais résoudre ce problème personnellement, je définirais une partition des points de façon que chaque partie représente une fonction monotone. Je pense qu'à l'aide d'un graphique et de petites astuces, si ce problème doit être répétitif, ça ne doit pas être trop difficile. Je trouverais les fonctions paraboliques qui sont une très bonne approximation des arcs d'ellipse, et je me débrouillerai avec, en fonction de mes besoins.
Par contre sur le plan théorique et mathématiquement, je ne connais qu'un mathématicien qui a résolu et publié les méthodes de ce type de problème, c'est jean Jacquelin. Malheureusement étant donné l'ambiance qui règne sur les forums, je crois que ses visites sont rares.
Je constate que les questions sur ce sujet sont de plus en plus fréquentes. Il est clair que les profs, normalement dépositaires de ces connaissances et chargés de leur diffusion sont vraiment très discrets et à l'occasion affirment des bêtises, probablement pour tromper l'ennemi, pardon l'utilisateur.
Sur le forum MF, il y a un membre, modérateur, qui se prétend spécialiste et qui manque apparemment à l'appel.
Pardon pour mes remarques qui dépassent un peu le cadre mathématique, mais je constate que dans certains domaines, celui-ci par exemple, la connaissance des "sachant" est vraiment trop limitée et comme ce sont généralement des profs il n'imaginent pas qu'ils puissent ignorer certaines notions.

J'ai l'impression que Malavita a essayé de démontrer son truc, mais comme on part d'hypothèses fausses, il me semble normal que ça ne marche pas (voir mes messages précédents).
Les régressions sont des méthodes de calcul pour obtenir quelque-chose de correct. Cette méthode est parfaitement justifiée, mais ce n'est pas un théorème avec tous ses lemmes et toutes les propriétés qui se déduisent des théorèmes.
Dans ce cas particulier, la loi normale est une loi du monde réel, mais si on bricole les calculs (ex. Y=A + BX avec X=exp(x)), aucune raison qu'on obtienne une répartition normale, donc un calcul de variance n'a aucun sens.

Bonjour,
Concernant la régression elliptique, Gbzm a décrit la théorie, mais dans la pratique c'est un peu plus compliqué. C'est la raison pour laquelle j'ai cité Jean Jacquelin. Il n'y a que dans ses articles que j'ai vu la solution. Je ne suis même pas sûr que je saurais la refaire de mémoire.
Dans le cas présent, je veux bien faire une série de points proches d'une ellipse et Gbzm pourra essayer de résoudre le problème.
Il serait intéressant de savoir dans quel but le demandeur cherche à faire cela : exercice, cas réel ?

Bonjour,

Malavina a écrit:L'idée est que l'on raisonne "sachant que X=x" car les valeurs de X sont en pratique toujours connues, vu qu'elles proviennent d'un échantillonnage.

Cette phrase est très importante. ( au passage, elle contredit l'affirmation de Gérard dont Beagle m'a parlé), puisque tout son questionnement pose comme base que le valeurs proviennent d'un échantillonnage.Cela peut être le cas, mais il n'y a aucune raison de le considérer comme un cas bénéral quand on étudie les régressions.
En d'autres termes, il n'y a aucune raison de parler de "variable aléatoire", "espérance", "variance", "centre de gravité" etc. dans l'étude générales des régressions. On peut en dire un mot au niveau lycée pour justifier certaines méthodes de calcul.

On peut lire dans des cours la notion d'hypothèse que l'on choisi. Là, cela me choque profondément, il n'y a pas d'hypothèse à faire, ce n'est pas au choix du calculateur. Le rôle du calculateur est, à partir d'une liste de données (couples, triplets etc.), de trouver une fonction qui convient et calculer la meilleure valeur pour les paramètres, c'est à dire le résultat le plus probable. Oui, il aura à faire des choix qu'il devra justifier, mais en aucun cas des hypothèses autres que les valeurs sont honnêtes et sans fautes.