Justification de la statistique, application aux sondages

Bonjour,
J'ai souvent posé cette question. Il m'a été précisé qu'elle constituait une diversion au sujet principal qui est le phénomène de rattrapage, directement lié à la loi des grands nombres.
En conséquence, j'ouvre ce fil, comme je l'ai précisé.

Oui. Et donc, il faut que je m'exprime ici ?
Tu as souvent posé une question, et il faut que je devine la question. Le jeu ne m'intéresse pas beaucoup. Pas du tout même.
Ceci est un parfait exemple de ton comportement. Je sais, je sais que je sais, je sais que vous ne savez pas, et je ne vous dirai pas ce que je sais. Mais je vous demande d'y répondre.

Je rappelle un truc que j'ai écrit à différentes reprises : il faut de la clarté.
Les réflexions ésotériques, les questions pseudo-philosophiques, ça ne m'intéresse pas.

Si tu veux savoir pourquoi on peut faire des sondages pour estimer un indicateur sur toute une population, tu peux lire n'importe quel tutoriel, il y en a certainement qui sont très bien fait. Et si il y a tel ou tel point que tu ne comprends pas, pose une question précise, et éventuellement, j'y répondrai.

N'imagine surtout pas que je vais écrire ici un exposé en plusieurs points, avec thèse, anti-thèse et synthèse sur l'intérêt ou le danger des sondages.

Ben, si tu sais pas, tu réponds pas, au lieu de faire une tartine.
Mais maintenant je sais que tu n'as aucune idée de ce que représente l'étude des probabilités.

C'est quoi ce monde où les plus incompétents parmi les incompétents décident qui est compétent ou qui ne l'est pas ?

Oh, ben tu sais, c'est pas dur de comprendre que tu n'as aucune idée de ce qui concerne les probabilités.
Tes seuls arguments sont basés sur une déformation de ce que je dis, et ta réponse aux deux exos est assez caractéristique.
En fait, je suis sûr que tu aimerais bien que je te donne la réponse. Ben non, je te ferai pas ce plaisir.
Un détail qui t'a échappé, le fil sur l'histoire de pile ou face est ouvert depuis longtemps. Sylviel a essayé d'intervenir, mais comme il confond "probabilité" et "proportion", ça pouvait pas aller bien loin. C'est toi qui l'a réactivé et très vire après, est arrivé GBZM.

Waaoouuuw, ça , c'est un détail qui apporte du poids.
Moi je sais qu'il y a 10 jours, tu croyais encore que quand on a tiré 10 fois P de suite, alors la probabilité de ressortir P une 11ème fois était minime, et la probabilité de sortir F était très proche de 1.
Et je sais aussi qu'aujourd'hui, tu as compris ton erreur.
Grâce à moi.

Alors certes, je ne prétends pas obtenir un prix Nobel grâce à cet énorme pas en avant. Mais par contre, ceci est la preuve que tu es extrêmement mal placé pour juger de mes compétences. Tous ceux qui sont susceptibles de faire des erreurs aussi grosses que ton erreur ont au moins l'intelligence de dire qu'ils ne comprennent rien aux maths.

Tu veux qu'on reparle aussi de l'exercice, où ton fameux calcul donnait comme résultat 'parmi tous ceux qui ont travaillé plus de 2 heures, le temps moyen de travail est de 1h58'

Dlzlogic a écrit:En fait, je suis sûr que tu aimerais bien que je te donne la réponse.

Oui, et tu étais sûr aussi que la proba bla bla était de 1-1/2^11, et tu es sûr que le joueur a intérêt de parier sur le retard.
Tes certitudes n'ont vraiment pas beaucoup de valeurs.

Oui, t'es vraiment un rigolo.
Continue à me divertir, c'est sympa.
Je me demandais qui tu étais, mais maintenant ça m'est égal, je sais que tu es un comique.


PS et j'ajouterai un comique qui n'a pas une grande culture cinématographique. Le film ayant pour titre "un ami qui vous veut du bien" raconte l'histoire d'un brave homme qui se fait avoir par "un ami qui lui veut du bien", celui-ci tue, les un après les autre, tous les membres de sa famille, ses deux filles, ses parents et peut-être sa femme, je ne me souviens plus. Bref, un vrai ami, comme toi.

Un très bon film. Et que j'ai revu en plus la semaine dernière.

Sous prétexte que je ne raconte pas un film dont tu donnes le titre, ça voudrait dire que je ne le connais pas ?
Sous prétexte que la loi des grands nombres donne un certain résultat, il ne faudrait plus appliquer la loi binomiale dans une série de tirages à Pile ou Face.
Et sous prétexte que Sylviel ne fait pas les mêmes erreurs que toi, il serait nul ?

Faut arrêter de tirer des conclusions complètement hasardeuses, et systématiquement fausses.

Il me semble que je t'ai donné une image précise de la relation entre la loi binomiale et la loi des grands nombres, je vais la redonner :
Tu lances une pièce en l'air suivant la loi binomiale, il y a un côté pile et un côté face. C'est toi qui a choisi la pièce, tu a pris soin de vérifier qu'elle était équilibrée, donc qu'elle pouvait convenir à l'expérience aléatoire. Puis elle retombe. Là cela ne dépend plus de toi, elle retombe conformément aux lois du monde réel. D'une part, elle retombe "vers le bas", ça c'est l'attraction universelle, d'autre part, il y a une face visible, que l'on peut comptabiliser si on recommence l'expérience, et là, ce sont les lois des probabilités, postulat de la moyenne, loi des grands nombres et loi normale.

Oh, j'ai essayé depuis des années d'expliquer des choses à Sylviel, sous prétexte qu'il est X et je crois qu'il a fait une thèse de 3è cycle, ce qu'il ne sait pas ne peut pas être vrai. Par ailleurs, il a le même défaut que toi, ne jamais répondre aux questions, mais par contre, contrairement à toi, je ne me souviens pas qu'il ait insulté quelqu'un.

Pour revenir au sujet du fil, si les notions de probabilités dont je parle n'étaient pas vraies ou seulement applicable "selon que", la statistique n'existerait pas. Je sais bien qu'on peut faire de la statistique en appliquant des méthodes et des formules mises au point par d'autres, mais à un certain niveau de compétences scientifiques, il me semble qu'on doit être capable de comprendre l'origine de toutes les notions utilisées.

Si l'activité d'un individu est l'enseignement, je reconnais qu'il est plus important qu'il soit pédagogue que hyper-compétent, par contre, indépendamment de l'enseignement, il me parait indispensable d'être compétent dans sa spécialité. Comme tu est ingénieur et pas vraiment pédagogue, si tu parles de probabilités et de statistique, la moindre des choses me semble être d'avoir une connaissance assez générale de ces notions et aussi de savoir écouter, capacité qui te manque totalement.

GBZM a écrit:Quelle est ta définition de l'indépendance ? Sois clair là-dessus.
L'indépendance ça veut dire :
pour tout k, quels que soient a_1,...,a_{k-1} dans {0,1}, la probabilité que T_k=1 sachant que T_i=a_i pour i=1,...,k-1 est égale à 1/2.. (*)
Non ?

J'ai souvent éprouvé le besoin de réagir sur ce point.
Soit 2 variables aléatoires A et B.
Si la variable B dépend des évènement aléatoires de la variable A, alors A et B ne sont pas indépendantes.
Il y a forcément une relation d'ordre B dépend de A, mais cela n'a pas de sens de dire que A dépend de B.
Par exemple dans l'expérience du tir sur cible si A est le nombre de verres de vin et B la note du tir, alors B dépend de A.
J'ai l'intuition que cette notion a été importée dans l'étude des probabilités pour étudier des relations du type union, intersection etc. Mais, elle me parait plus utile dans le cadre de la statistique, enfin, bref.

Il me semble que je t'ai donné une image précise de la relation entre la loi binomiale et la loi des grands nombres, je vais la redonner :
Tu lances une pièce en l'air suivant la loi binomiale, il y a un côté pile et un côté face. C'est toi qui a choisi la pièce, tu a pris soin de vérifier qu'elle était équilibrée, donc qu'elle pouvait convenir à l'expérience aléatoire. Puis elle retombe. Là cela ne dépend plus de toi, elle retombe conformément aux lois du monde réel. D'une part, elle retombe "vers le bas", ça c'est l'attraction universelle, d'autre part, il y a une face visible, que l'on peut comptabiliser si on recommence l'expérience, et là, ce sont les lois des probabilités, postulat de la moyenne, loi des grands nombres et loi normale.

Oh, j'ai essayé depuis des années d'expliquer des choses à Sylviel, sous prétexte qu'il est X et je crois qu'il a fait une thèse de 3è cycle, ce qu'il ne sait pas ne peut pas être vrai. Par ailleurs, il a le même défaut que toi, ne jamais répondre aux questions, mais par contre, contrairement à toi, je ne me souviens pas qu'il ait insulté quelqu'un.

Pour revenir au sujet du fil, si les notions de probabilités dont je parle n'étaient pas vraies ou seulement applicable "selon que", la statistique n'existerait pas. Je sais bien qu'on peut faire de la statistique en appliquant des méthodes et des formules mises au point par d'autres, mais à un certain niveau de compétences scientifiques, il me semble qu'on doit être capable de comprendre l'origine de toutes les notions utilisées.

Si l'activité d'un individu est l'enseignement, je reconnais qu'il est plus important qu'il soit pédagogue que hyper-compétent, par contre, indépendamment de l'enseignement, il me parait indispensable d'être compétent dans sa spécialité. Comme tu est ingénieur et pas vraiment pédagogue, si tu parles de probabilités et de statistique, la moindre des choses me semble être d'avoir une connaissance assez générale de ces notions et aussi de savoir écouter, capacité qui te manque totalement.


Pour éviter de pourrir le sujet du rattrapage, je réponds ici à ton allusion à mes échanges passés (7 oct 2019) avec Sylviel :

@ Sylviel,
Tu serais gentil de me donner un lien sur un document sérieux qui ne dise pas "une variable aléatoire est une fonction" mais qui dise  "une variable aléatoire correspond à une mesure ou observation", et par exemple si on lance 10 fois un dé, alors on obtient 10 variables aléatoires iid.        
La question dépasse largement le problème d'orthographe (singulier - pluriel) ou terminologie.

Je ne me souviens pas avoir eu de réponse.

Bonjour,
Voilà encore une question sur le sujet qui nous occupe actuellement :
http://www.les-mathematiques.net/phorum/read.php?12,2028588
Manifestement ces notions ne sont pas claires pour tout le monde.
D'abord on remarque la confusion entre "variable aléatoire" et "valeur renvoyée par la fonction aléatoire". Ne serait-ce ça, si on ne domine pas convenablement le problème, ce qui est le cas, par définition, pour les étudiants, il est impossible de comprendre quoi que ce soit.
J'ai surtout noté cette phrase :

La grande différence entre les probas et les stats c'est :
En proba tu connais la loi de X et tu cherches à prédire un phénomène
En stat tu observes un phénomène grâce aux valeurs de X1,...,Xn qui suivent la même loi (X) et tu cherches à estimer la loi de X (moyenne, variance, quantiles, distribution etc.)

Qui pour moi est un contre-sens majeur.
La théorie des probabilités sert de base à de nombreuses spécialités, je noterai la théorie des erreurs, la théorie des jeux et naturellement la statistique.
Autrement dit, si la théorie des probabilités n'existait pas, l'étude de la statistique n'existerait pas.
Par contre, rien n'interdirait d'établir une théorie des ensemble, d'en déduire des chapitres sur l'étude des proportions, avec différentes opération sur des portions d'ensembles.

Je passe sur le fait que 'je confond probabilité et proportion' alors que je n'ai jamais dis cela mais que c'est ce que tu as écrit dans ton torchon et que tu appelles la "définition officielle" d'une proba (rapport du nombre de cas favorable / nombre de cas possible).

Pour revenir au sondage il s'agit d'un exemple hyper basique du TCL enseigné dès le lycée.
Il y a une population d'individu qui ont chacun un avis A ou B sur une question. La proportion de gens qui pensent A est p (inconnue).
Je prends un individu au hasard et je lui demande si il pense A --> c'est une va X1 qui vaut 1 si A et 0 sinon, on a donc P(X1=1)=p et P(X1=0)=1-p
Je recommence (de manière indépendante) --> X2, puis X3 ...

Je considère la moyenne de ces variables aléatoires Mn = X1 + ... + XN / N.
Il s'agit d'une variable aléatoire car elle dépends des individus que j'ai interrogé, je peux très bien (pour p dans ]0,1[) avoir Mn = 1 ou Mn =0, même si c'est peu probable.
Mn peut aussi s'interpréter comme la proportion de gens qui répondent A sur l'échantillon.

La loi des grands nombre dis que, si n est grand, Mn tends vers E[X1] = p*1 + (1-p)*0 = p
Le TCL nous dis que, si n est grand, Mn ressemble à une Gaussienne de moyenne p et de variance p(1-p)/n <= 1/4n.
Application au sondage : si n est grand, on construit l'intervalle I = [Mn +/- 1/(2sqrt(n))].
Cet intervalle est aléatoire (il dépends du choix des n individus), mais je sais qu'il y a 95% de chance qu'il contienne la vraie valeur p.

Juste un petit mot.
J'ai bien aimé le terme "ressemble". En Math, je crois qu'on dit plutôt "tend vers".
"mais je sais qu'il y a 95% de chance qu'il contienne la vraie valeur p. " Mais, mon pauvre Sylviel, tu ne sais rien du tout, suivant un certain nombre d'éléments, c'est 50% ou 80% ou 99.999%. Par contre, quand on connait le TCL, on peut calculer cette valeur. A titre d'exemple, dans le contexte de mesure, on a l'habitude de rejeter les valeurs dépassant la limite de 4 écarts-probables, soit 3 écarts-type environ.  
Cet intervalle n'est certainement pas aléatoire. Le calcul des écarts ou incertitudes est très bien connu et très rigoureux. Il est tout sauf aléatoire.

Bref Dlz ne comprends rien, même au proba de niveu lycée.

J'ai bien aimé le terme "ressemble". En Math, je crois qu'on dit plutôt "tend vers".

Pour toi je simplifie et j'utilise le terme ressemble. Pour dire "tends vers" il faut faire une phrase plus complexe (mais ça va te défriser) :
\sqrt(n) (Mn - E(Xi))/ stdev(Xi) converge en loi vers une loi normale centrée réduite.

mais je sais qu'il y a 95% de chance qu'il contienne la vraie valeur p. " Mais, mon pauvre Sylviel, tu ne sais rien du tout, suivant un certain nombre d'éléments, c'est 50% ou 80% ou 99.999%.

Non non. Je sais appliquer les théorèmes, j'ai choisis de faire +/- 2 écart-type ce qui correspond à 95%.
Et toi tu dis de la merde.

Cet intervalle n'est certainement pas aléatoire.

C'est vrai que tu ne comprends vraiment rien. Faisons un exemple très simple :
j'interroge 3 individus sur A/ B. Je peux donc avoir comme réponse : 3 fois A, 2 fois A, 1 fois A, 0 fois A. Et tu me dis que pour chacune de ces possibilités je vais avoir le même intervalle ?
T'es vraiment neuneu...

Oui, à l'évidence, tu cois qui tes connaissances en analyse combinatoire et en théorie des erreurs te donnent le doit de dire que tu connais les probabilités, alors que tu ne parles que de proportions, niveau collège.
Je t'ai donné un lien sur un cours. Tu l'as peut-être parcouru, mais t'as certainement rien compris, vu tout de que tu racontes. Va plutôt faire ton rôle de modérateur sur M.F.

Je n'interviens que pour dire que j'ai mis au propre ce que l'on trouve dans tous les cours sur la justification basique des sondages à l'aide de la loi des grands nombre et du TCL rapidement brossée ci-dessus.

Je sais bien que ça ne t'aideras pas à comprendre quoi que ce soit, ou ne t'empêcheras pas de dire qu'on ne réponds pas à tes questions, qu'on esquive ou que sais-je... Mais bon, ça fera une preuve flagrante de plus de ta mauvaise foi.

Sylviel a écrit un long article sur M.F.
Je vais donner mon avis.

Sylviel a écrit:Considérons une population donc chaque individu a un avis "oui" ou "non" sur une question. On suppose que la proportion d'individu ayant l'avis "oui" est inconnu et qu'on souhaite l'estimer. On le noteras .

On considère l'expérience aléatoire suivante : choisir au hasard, uniformément sur la population, un individu et lui poser la question. On suppose qu'il réponds son vrai avis. On s'intéresse à la variable aléatoire qui vaut si l'individu pense "oui", et sinon.

Quelque remarques basique sur :
La loi de est une loi de Bernoulli de paramètre p, donnée par et .
Son espérance est E(X1) = ..... =p , ce qui est la paramètre à estimer.
Sa variance est . Var(X1) = p(1-p) <= 1/4

D'abord la variable aléatoire c'est X. S'il y avait plusieurs questions, il y aurait eu plusieurs variables aléatoires que l'on aurait nommées X1, X2, X3, pour chacune de ces variables on aurait eu une réponse par individu interrogé, notées en minuscule avec 2 indices. Ce qui fait qu'on préfère noter les variables par des lettres différentes plutôt que par une même lettre avec des indices.
La variable X prend les valeurs x1, x2, ... xn, si n individus sont interrogés.
D'après ce que dit Sylviel, on peut calculer l'espérance d'une valeur X1 en l'occurrence et sa variance.
Pour le premier individu interrogé, sa réponse est Oui ou Non soit 1 ou 0. On ne peut pas calculer une moyenne ou une variance sur une valeur unique.
A suivre.

Je ne devrais pas répondre. Mais, pour faire court : non, comme je l'explique aussi clairement que possible il y a une variable aléatoire par personne interrogée, elle prend la valeur 0 avec proba 1-p, et 1 avec proba p. J'applique donc la définition pour le calcul de l'espérance (E[X] = P(X=0)*0+P(X=1)*1 ) puis de la variance et je suis à la lettre l'énoncé de la loi des grands nombre puis du TCL. J'ai déjà donné plein de références qui confirment mes propos et personne n'a relevé de fautes jusqu'à présent (encore heureux, c'est des définitions archi basique - que visiblement tu ne maîtrise toujours pas).

Mais donnons quelques exemples de documents qui font pareil (en général avec un attendu de connaissance en proba supérieur à ce que j'ai fait) :
http://www.math.univ-toulouse.fr/~rau/retro%20stat%20inf/c3.pdf [3ème section, 2eme sous-section]
https://fr.coursera.org/lecture/probabilites-2/intervalles-de-confiance-d-un-sondage-3NqLI (cours de l'X, en vidéo) La modélisation initiale est à 1:40
https://perso.univ-rennes1.fr/helene.guerin/enseignement/capes/CAPES-IntervallesFluctuationsConfiance.pdf préparation CAPES, section 3 à partir de la page 6 (surtout 3.2, 3.3)
https://www.math.univ-toulouse.fr/~besse/Wikistat/pdf/st-l-inf-estim.pdf (l'intro pose bien les définitions, le 3.3 est le cas d'application du TCL que j'ai exposé)

Bref...

P.S: pour une fois tous les documents sérieux n'utilisent pas toujours le même chemin :
- certains considère directement le nombre d'individu qui répondent oui au sondage. Il s'agit d'une Binomiale (somme de Bernoulli indépendantes) et applique
le théorème de Moivre Laplace (cas particulier du TCL).
- d'autres utilise simplement l'inégalité de Tchebycheff pour avoir un intervalle non asymptotique (moins précis, mais nécessitant moins d'outil pour la démonstration)
Cela ne veut en aucun cas dire qu'en maths c'est "comme on veut". Dans le premier cas c'est la même démo avec un vocublaire légèrement différent (uniquement applicable à une Bernoulli). Dans le second cas il s'agit d'un autre résultat (non asymptotique, mais avec des bornes moins précises).

Je reviens une minute sur cette histoire de variable aléatoire.
Dlzlogic parle souvent de la loi des grands nombres, son truc qu'il aime bien. Quand il en parle, il parle de variable aléatoire (au singulier), et il oublie le mot indépendantes.
Qu'est ce qui est le plus grave, la faute d'orthographe, ou l'oubli du mot 'indépendantes'.
Là où je te rejoins, c'est que si on écrit variable aléatoire indépendante tout au singulier, ça ne veut pas dire grand chose.
Et si on dit variable aléatoire indépendantes (uniquement indépendantes au pluriel), ça fait une grosse faute d'orthographe.
Et donc, effectivement, il ne faut pas être laxiste, il faut vraiment écrire variables aléatoires indépendantes (tout au pluriel).

Si on accepte de parler de variable aléatoire (au singulier), c'est la porte ouverte. Et dans la foulée, on oublie le mot essentiel, le mot 'indépendantes'.

réponse de mmaarr censurée à ce message qui n'a donc pas d''objet à etre débattu.

Bonjour,
Je me permets de rappeler l'avis de Zeitnot :

Zeitnon a écrit:"La variable aléatoire de décision est .."
Ce qui est écrit n'est en rien une variable aléatoire. Confusion classique entre variable aléatoire et valeur prise par cette dernière sur un échantillon.
puis
Oui, mais une fois l'échantillon choisi, si on appelle "p" est la valeur prise. Il n'y plus rien d'aléatoire.
Non la variable aléatoire de décision ne dépend pas de l'échantillon. Par contre la valeur prise par la variable aléatoire dépend bien elle de l'échantillon. Comme la différence entre f et f(x). Utilisation d'une majuscule P pour la v.a (la fonction) qui à chaque échantillon associe p la proportion observée sur cet échantillon, permettrait de clarifier les choses.

Je vais continuer l'analyse du document de Sylviel.
J'ai supprimé les deux messages hors-sujet de mmaarr.

@Beagle.
J'ai répondu très précisément à ton point, mais Dlzlogic a censuré ma réponse.

***** partie supprimée ***** Justification de compétence INDISPENSABLE;

mmaarr a écrit:@Beagle.
J'ai répondu très précisément à ton point, mais Dlzlogic a censuré ma réponse.

C'est normal de parler de variables aléatoires (pluriel) : une variable aléatoire pour chacun des tirages. Avec à chaque fois un résultat 0 ou 1.
Ensuite, on peut synthétiser tout ça, en parlant d'une autre v.a. (au singulier) qui est le comptage de Pile. C'est une v.a. ; les valeurs prises ne sont pas entre 0 et 1, mais entre 0 et 10 si on a fait 10 tirages.

Et si on dit : faisons 100 fois cette expérience .. et l'expérience est de lancer 10 pièces et de compter le nombre de Piles ( entre 0 et 10), on aura 100 v.a. qui ont toutes des valeurs entre 0 et 10.

J'ai eu le temps de voir ta réponse.
Et bien Pierre va maintenant supprimer les messages qui le gènent.

j'enlève le mien aussi puisque mmaarr n'a pas eu le droit de répondre.

@ Beagle, non, je ne vais pas enlever les "messages qui me gênent", j'enlève juste les messages qui ne sont là que pour nuire.