A propos de régression.

Bonjour,
Réf. : https://www.maths-forum.com/superieur/ajustement-courbe-t275989.html
Ca, c'est l'un de mes sujets favoris.
La contrainte que "la dérivée seconde reste toujours positive" signifie, sauf erreur, que la courbe ne contienne pas de point d'inflexion, là où la dérivée seconde s'annule et change de signe.
Dans les régressions les plus courantes, on utilise des fonction monotones.
Donc, je me pose la question : pourquoi mettre cette contrainte ?

Lycéen a écrit:Généralement, quand on cherche une régression, on impose d'entrée un type de fonction (polynômes, logarithmes , etc). Si tu n'imposes aucune règle de ce type, il n'y a pas de technique simple.

Je n'aime pas cette affirmation.
Quand on cherche une régression, on a à sa disposition un catalogue de fonctions. On les essaye toutes, ou plutôt, on a appris à sa machine à les essayer toutes, et on adopte la meilleure.
C'est la méthode d'approche qui ne me semble pas bonne. On a une liste de définitions, (x1, yi, zi, ...), dans le cas présent (xi, yi) et on cherche une fonction qui convienne. Si on "impose d'entrée un type de fonction", on se trompe lourdement.

Sylviel a ajouté un message.
Apparemment, il n'a jamais calculé de régression.

Sylviel a écrit:Dans le cas non-paramétrique on représente typiquement la fonction a estimer par une somme de fonctions élémentaires (par exemple des gaussiennes).

J'aimerais bien avoir une explication de ce qu'est "une somme de fonctions" et aussi comprendre ce que vient faire les gaussiennes dans cette histoire.

Sylviel a écrit:Pour ton problème je te suggère d'utiliser des splines (des fonctions polynomiales par morceaux). En effet la contrainte de convexité (dérivée seconde positive) se traduit bien avec ce genre de fonctions.

"Je cherche une fonction f telle que f(xi) est le plus proche possible de yi (régression) mais la contrainte est que la dérivée seconde de f est toujours positive." Le problème est bien posé, le demandeur cherche une fonction monotone.
Imaginons que la courbe joignant les points est complètement quelconque, alors la meilleure technique est de lisser cette ligne polygonale par des arcs de parabole. Mais je pense que c'est complètement hors-sujet, puisque c'est un autre problème, il s'agit de lissage et non de régression.

Bonjour,
J'ai bien aimé le message de Sylviel en réponse à mon dernier message.
Cela me confirme qu'il n'a jamais calculé de régression.
Le support de cours qu'il présente est certainement très intéressant, mais cela ne répons pas à la question posée.
On pourrait imaginer qu'il suggère au demandeur de donner l'ensemble dont il parle, mais non, apparemment ça ne lui vient pas à l'esprit. Probablement il sait qu'il est incapable de calculer une régression.
Par contre, il discute sur la signification du signe de la dérivée seconde. La fonction y=x² a une dérivée seconde positive et même constante. y=-x² a une dérivée seconde négative, pourtant, je suis sûr que le demandeur n'exclue pas ce cas. Je reste persuadé qu'il voulait dire "ne change pas de signe".
Le sujet important proposé est "comment on calcule une régression ?". Et c'est là que je dis que Sylviel ne sait pas le faire. A lui de prouver le contraire. Je peux lui donner un ensemble de points (2D) ou il rédige un explication comme s'il écrivait un article, comme il préfère. Pas d'objection qu'il se fasse aider par Lycéen, mais pas de référence, je les connais. Et naturellement pas d'utilisation d'esclave informatique, sauf pour faire des calculs élémentaires.

J'ai oublié de parler de "somme de fonction". C'est marrant, le demandeur cherche une fonction, il n'a dit nulle part que ce doit être une fonction ne comportant qu'un seul terme. Par exemple la fonction y=a + bx^4 + cx^3 + dx² + ex peut être candidate, un matheux dira "Ah, c'est une somme de fonction !", ben oui, c'est une fonction, comme demandée. Par contre, si un matheux préfère étudier les 5 fonctions puis en faire la somme, j'y vois pas d'inconvénient mais je lui souhaite bien du plaisir. C'est ce type de détail qui me permet de dire que Sylviel n'a jamais calculé de régression.

En fait, si Sylviel était malin, il lui aurait suffi de donner une référence utilisable, telle que celle-ci : http://www.dlzlogic.com/aides/Regres_lineaire.pdf
Maintenant il ne lui reste plus qu'à donner un exemple et le résoudre.