p-hacking : choix de la méthode

Salut,

Je prends qui est censé être tiré aux hasards par une loi uniforme sur [1,200] {1,2,3,4,5,7,8,9,10,....,100}

Je teste l'hypothése H0 que cette liste soit effectivement tiré aux hasards à l'aide d'une loi uniforme sur [1,200] les entiers.

Je prends l'évements A={X<=100}, on sait que P(A)=p=0.5.

On évalue p avec notre tirage, alors on a p dans [0,0.2] dans 95% des cas, ce qui conduit à rejeter H_0.

Puis on prends l'évements B={X est paire}, on sait P(B)=q=0.5

On évalue q avec notre tirage, alors on a q dans [0.3,0.7] dans 95% des cas, on ne peut pas rejeter H_0.


Pourquoi choisir les nombres plus petit que 100, seraient plus naturel que de choisir les entiers pairs ?

Juste en laissant ce choix du test on peut orienter la réponse vers où l'on le souhaite : c'est ce que l'on appelle du p-hacking.


Ainsi, si pour prouver ses dires l'auteur de l'article va chercher des tests exotiques, vous pouvez être quasiment sûr que l'auteur à porter son choix sur ce test car il lui a donné satisfaction : c'est à dire il pratique le p hacking.


Cordialement.

Salut Dattier,
Problème intéressant. Je crois que je sais répondre.

deux petites choses

la premiere est si tu dis à l' avance ce que tu vas faire,
c'est moins problématique
quand possible
Tous les trucs dits a postériori sont douteux

Ensuite, il ya une certaine perversion de loi tout ou rien avec un p inf 0.05
Comme si tout était mort au-dessus
et tout était démontré si en dessous.
Non bien sur.

Si les stats servent à se donner plus de chances d'avoir raison, on reste dans des probabilités.
Et ces probabilités peuvent avoir peu de consistance  (mais pourquoi ne pas faire avec si  on rien d'autres sur le moment)
ou beaucoup de consistance.
Et pourquoi un p si élevé de 0.05
Ben parce que un seul p est là non pour conclure mais pour dire il se passe quelque chose là,
à d'autres de le reverifier.
Il est préférable que plusieurs équipes retrouvent un p inf 0.05 mais qui sont élévés
qu'une seule équipe retrouvant un p inf 0 .001

Salut,
Je vais reprendre ma comparaison des probabilité avec la gravité.
Je prends une boule de fer qu'on lançait pour avoir des notes de EPS eu bac. Pour un individu donné, la distance était quasiment toujours la même. Cette distance de dépendait en rien du hasard, simplement de la quantité de muscle dans le bras de l'élève.
Maintenant imaginons la même épreuve en lancé d'avion en papier. Là au contraire, je temps de vol, la position d'atterrissage dépendra presque exclusivement du hasard, la seule certitude c'est qu'il se posera.
Les probabilité, c'est un peu comme la gravité, dans certains cas, on est sûr du résultat, on pourra lancer un grand nombre de fois le poids, la performance sera quasiment la même pour un individu, pour le vol de l'avion ce sera l'inverse.

Lorsqu'on fait une expérience où le hasard intervient, il est important de savoir que la moyenne arithmétique des épreuves est la valeur la plus probable, quelle que soit la loi de probabilité mathématiquement utilisée, et il est important de savoir que la répartition des écarts par rapport à la moyenne est mathématiquement connue : la loi normale représentée par la courbe de Gauss.

Qui décide de ce fameux 5% ? réponse : c'est deux fois l'écart-type donc facile !
En fait si on veut vérifier réellement, il faut utiliser une méthode comme mes graphiques tant critiqués par S. ou une autre, mais il faut tenir compte de tous les résultats.

Juste en passant signaler que les études médicales sont faites avec un 0.05 bilatéral lors de tests qui devraient ètre unilatéraux (supériorité d'effet contre placebo par exemple).
Donc équivalent à utiliser un p de 0.025.
Donc c'est juste en passant.
Mais cela souligne bien que les tests statistiques pour créer du vrai-faux avec une loi tout ou rien, c'est assez crétin.
Les statistiques pour les données scientifiques sont des renseignements de probabilité faible , forte, quasi nulles, quasi certaines de penser a A plutot que B.
On laisse aux nouveaux statisticiens et leur toutous fact checkers le soin de dire LA GRANDE VERITE VRAIE, REPETEZ AVEC MOI , sinon excommunion .