Hasard ou pas sur un test de médicament.

Bonjour,
Réf. : https://les-mathematiques.net/vanilla/index.php?p=/discussion/2329656/un-hasard-regulier-par-hasard
'est une question très intéressante, elle est précise, le hasard, dans un forum concerné : les mathématiques.
Et, ce n'est pas vraiment inattendu, que des réponses floues, beaucoup de conditionnel, aucune valeur chiffrée, bref, rien de mathématique.
Au passage, j'ai bien aimé la réaction de Gérard : " Comme si les médecins savaient qui prend quoi et avaient réservé le placébo aux cas "légers"." Oh la jolie phrase pour semer le doute !
Je vais essayer de faire une réponse avec un peu de rigueur.

Pour mémoire, je recopie les données.

Code:

Voici les résultats obtenus issus de plusieurs études:
A =médicament A , P= placebo
A : k / n c'est k complications graves pour n patients
idem pour placebo on note cas complications graves pour nombre de patients placebo de l'étude.

étude 1
A  = 2 / 71
P  = 3 / 83

étude 2
A = 4 / 212
P = 8  / 211

étude 3
A = 4 / 111
P  =  0 / 37

étude 4
A = 43 /478
P = 55 / 471

étude 5
A = 8 / 214
P = 11 / 227

étude 6
A = 8 / 136
P = 11 /157

Ce n'est pas formellement précisé, mais on peut supposer que la maladie concernée peut avoir des évolutions graves, par contre, il n'est pas fait référence à une éventuelle amélioration de l'état du parient. Il en résulte que le test mathématique est du type binaire et on ne comptabilise que les complications graves (CG).
Il parait intéressant de calculer la proportion générale de CG.
CG=(3+8+0+55+11+11)/(152+227+471+37+211+83) = 0.076 dans le cas général, c'est à dire sans traitement.
CG=(2+4+4+43+8+/(71+212+111+478+214+136) = 0.056 avec traitement par le médicament étudié.

On peut calculer l'amélioration = (0.076 - 0.056) / 0.076 = 0.26 soit environ une fois sur quatre.

Essayons de répondre à la question concernant la part de hasard.
D'abord, il semble bien, étant donné l'homogénéité des études, que ce médicament a une certaine influence sur la diminution des complications graves.
Cependant, le bénéfice de 26% n'est pas jugé assez grand pour justifier l'intérêt de ce produit. Un bénéfice de 50% serait probablement une limité minimum acceptable.
Pour en revenir au hasard, sujet de la question, on vérifie effectivement que les 6 études donnent des résultats homogènes, on peut en déduire que celles-ci ont été menées de façon honnête, mais les résultats ne sont pas concluent.
Il ne faut pas oublier que le hasard ne se trompe pas. Ce qui me semble important dans cette question est l'amélioration de 26% jugée insuffisante, et non pas des considérations mathématiques.

bonsoir Pierre,
sur ce que j'ai compris les études scientfiques examinent l'hypothèse nullle = les résultats obtenus peuvent-ils etre semblables et tous les deux médiacaments et placebo issus d'un meme hasard
C'est à cela que les études répondent, les resultats obtenus peuvent etre acceptés comme venant du meme hasard
Il n' y a pas lieu d'envisager un effet médicament pour expliquer une anomalie de résultat entre les deux series

Donc toi si tu testes tu trouves une différence quand bien meme elle serait de seulement % ?

Salut Beagle,
Oui, je comprends ta réaction.
J'imagine que le demandeur s'étonne que la série de tests soit déclarée :

Les études sont statistiquement dites non significatives .
Individuellement, tout comme globalement.

alors que individuellement et globalement elles donnent une bénéfice de 26%.
Il n'y a qu'un seul hasard. En gros, les 6 études convergent, et le bénéfice est bien de 26%. Toute la question est de savoir à combien on fixe le H0. S'il est fixé à 20% d'amélioration, alors le test d'amélioration est positif, s'il est fixé plus haut, comme il semble d'être, alors il échoue.
En fait, à mon avis la question à propos du "hasard" est hors-sujet pour le problème concerné, puisqu'il s'agit d'accepter le médicament ou pas.
La conclusion, mon avis personnel, le médicament est bon, mais pas suffisamment. Le demandeur s'est focalisé sur le "hasard", alors que le problème n'est pas là.
C'est assurément un problème très intéressant. J'ai juste donné mon avis personnel.
Je pense que si ce test était complété par deux critères, amélioration de l'état général et effets secondaires éventuels, on aurait beaucoup plus d'information.
Pour mémoire, les tests concernant le vaccin Covid étaient autour de 90%.
Si on veut voir le problème à l'envers, dans 74% des cas, ce médicament est inutile.
Tu parles d'anomalie de résultat entre 2 séries. Où les as-tu vues ?

Bien, très nettement le sujet porte sur la notion de hasard.
Le nombre d'expériences est assez faible, six, le nombre d'épreuves est très variable, mais on peut vérifier que ces six expériences sont homogènes.
Le calcul est un peu fastidieux, mais c'est faisable.
Le principe est le suivant : chaque étude est indépendante des autres. Chaque étude donne un résultat. Comme le nombre de patients est différent suivant les études, il faut pondérer les résultats. On obtient ainsi une nouvelle liste de résultats d'étude, strictement comparable. Enfin, il faut vérifier que la répartition des écarts de chaque liste par rapport à la moyenne est conforme à la répartition normale.
Si tu veux, je ferai ce calcul demain.
D'abord il faut se mettre d'accord sur la variable étudiée. Je propose le pourcentage de diminution de complications graves.

PS. Je viens de lire la suite du fil d'origine et manifestement je suis d'accord avec de demandeur : il n'a eu aucune réponse à sa question.
Bon, demain, je fais les calculs et on vérifiera si la répartition des écarts est normale. C'est la seule réponse valable. Mais malheureusement, l'expérience m'a montré que la normalité des écarts n'avait pas de sens pour de nombreux matheux, particulièrement certains qui hantent les forum de maths. .

Bonjour,

Ce qui fait penser @Beagle c'est que Hein n'introduit pas tout dans son premier post, il le fait tout au long de plusieurs postes comme Beagle.

Ceci étant dit je vais faire des simulations, pour vérifier l'hypothèse de Hein : fluctuation ou non.

Je reviens vers vous quand je fini.

Ps : on dirait que Hein a trouvé un médicament contre l'effet nocebo...  

Bonne journée.

Bonjour,
Comme prévu, j'ai fait différents calculs et je n'ai pas vu d'anomalie dans les résultats. En d'autre termes, le hasard a bien fait son boulot de façon équitable.

Salut Dattier,
que signifie: "on dirait que Hein a trouvé un médicament contre l'effet nocebo."
tu peux détailler ?

Pierre idem, tu veux dire quoi exactement?

Il m'a semblé que la question d'origine concernait la notion de hasard. J'ai répondu sur ce point.
- Y a-t-il plusieurs hasards ? la réponse est NON.
- Plusieurs études indépendantes semblent donner des résultats homogènes, pourquoi est-ce jugé "non concluent" ? Là, ça dépasse un peu le côté mathématique et mes compétences. Je suppose que pour qu'un médicament soit jugé "efficace" il faut un certain taux de sécurité. 50% me parait raisonnable, mais ce n'est que mon avis personnel. Dans le cas présent on obtient 26%, c'est pas beaucoup.
- Je suis persuadé que le taux d'efficacité n'est pas le seul critère d'acceptation. Par exemple, si la maladie concernée est rare, le taux de guérison doit être proche de 100%, à l'inverse, pour une maladie bénigne mais courante, un faible taux d'efficacité peut être accepté.

Comme calcul, j'ai comparé les rapports d'amélioration. J'ai essayé de pondérer les valeurs comme je l'avais prévu, mais les écarts entre nombre de patients étant grands et les conséquences graves étant faibles, cela n'avait pas beaucoup de sens.
La conclusion toute personnelle est que ces 6 études sont homogènes, donc elle ont été faites honnêtement. Le taux d'amélioration, 26%, peut être admis comme valable, mais il semble qu'il n'est pas jugé suffisant.

Cela me rappelle une histoire.
Un patient est atteint d'une maladie grave. Il sait que les guérisons sont très rares et que l'issue est fatale.
Il voit son médecin qui prévoit une opération. Celui-ci lui dit qu'il est sûr de la guérison. Devant l'étonnement de son patient, il lui explique : "le taux de guérison est estimé à 1%, et, vous êtes le centième !".

Bonsoir Pierre, retourne en arrière en 2020, le coronavirus  de départ , pas le omicron.
La somme des décès affichés chaque jour en bas de l'écran,
un médoc en ville te donne 26% de diminution des hospitalisations,
à l'époque, je signe et je l'avale.
Donc 26% n'est pas le problème.

Ce que disent les études scientifiques de comparaison à l'hypothèse nulle est ceci:
les diminutions que vous constatez, sont celles que l'on pourrait constater si le médicament ne faisait rien=
placebo et médicaments c'est le meme hasard, la meme pièce lancée qui te donne la malchance d'arriver à l'hopital.

Toi ce que tu constates c'est que c'est le meme décalage entre traitement et placebo tout au long des différentes études.


Ce n'est donc pas pareil.

@Beagle : Le médicament A donne moins de cas grave que pour le placebo.

Ps : cela ne prouve qu'une chose que Hein n'a pas choisi ces études au hasard.

Je n'ai pas compris ton dernier message. Donc je me répète.
Les 6 études montrent que ce médicament est efficace au taux de 26%. Cela signifie que 26% des complications graves peuvent être évitées avec ce médicament. Ca c'est mathématique. C'est à dire que un parient sur quatre n'aurait pas de complication grave avec ce traitement.
Ce 1/4 est sûr et certain.
Par contre, étant donné un certain nombre de choses que j'ignore, son utilisation n'a pas été approuvée.
Je peux te répondre sur le plan mathématique mais pas sur le plan décisionnel du corps médical.
Ceci dit, il est possible que cette notion de hasard soit ignorée de certains décideurs. J'en suis même certain, et c'est la raison pour laquelle je maintiens mes explications concernant ces notions.
Cette histoire de H0 ne m'a jamais plu. Je m'en suis souvent expliqué. Je sais bien que ces tests sont réalisés suivant un protocole précis et la conclusion suit un schéma prédéterminé et que je ne connais pas. Je te rappelle que je n'ai jamais réussi à obtenir des renseignements précis.

Je ne suis pas d'accord avec Dattier. Je suis sûr que ces 6 études ont été menées indépendamment et qu'il n'y en a pas eu d'autre.
Mais là un aborde on problème difficile.
J'aimerais bien avoir le détail des calculs faits par les tests.

Hypothèse nulle: on regarde les données comme si la meme pièce était lancée pour médicament et placebo.
Bien sur médicament fait diminuer les hospitalisations,
mais on calcule que par exemple, avec la meme pièce que placebo, les resultats de médicaments avaient 16 % de survenir.
16% d'obtenir ces différences puisque différence il ya,
on dit ben 16 % c'était tout a fait possible, ce n'est pas tres exceptionnel.
Donc on accepte de dire c'était la meme pièce, ou on rejette l'idée de dire c'est une autre pièce que celle utilisée pour placebo qui décide elle, les hospitalisations.

Si on avait trouvé qu'avec la pièce placebo, le médicament avec la meme pièce n'aurait donné ce résulttat que dans 4% des cas,
alors on dit, hum 4% pas beaucoup de chances que cela vienne de là, on rejette l'hypothèse nulle de meme pièce,
et on médicament lance une pièce différente pour envoyer les gens à l'hopital.

C'est moi qui ait mal compris, je pensais que les cas grave était dû aux médicaments, alors qu'il est plus probable de l'attribuer à la maladie (encore faut-il savoir de quel maladie il s'agit).

Mais dans ce cas je confirme, ce n'est pas significatif.

@Beagle tu peux faire toi même le calcul : https://fr.wikipedia.org/wiki/Intervalle_de_confiance

Tu verras que les 2 intervalles de confiances (avec et sans médicament) ont une intersection non vide.

L'effectif n'est pas assez important, pour pouvoir mesurer une différence significative.

Dattier,
sur ce que je comprends Heinki a vu de nombreuses études observationnelles qui montraient l'efficacité de médicament A,
études rejetées par la grande science du grand randomisé,
et il a mis en ligne les seules études randomisées.
S'il avait d'autres études randomisées il ne pourrait pas dire les études randomisées sont bénéfiques dans 5 cas sur 6.

Bon, ça fait 15 ans que je répète la même chose, Mathieu Rouault aussi, et je crois qu'il n'a pas plus de succès que moi.

Cas grave du médicament A : 69/1222=0.0565

Cas grave du Placebo : 88/1186=0.0742

Intervalle de confiance médicament : [0.0279; 0.0851]=C

Intervalle de confiance placebo : [0.0452;0.1032]=D

@Beagle : après si tu veux absolument avoir une différence, tu pourras sûrement, trouver un test qui va te donner satisfaction. Mais on appelle cela du p-hacking.

@ Dattier,
Tu parles de l'intervalle de confiance. A part les cours et différents documents, comment tu le définis ?
http://www.dlzlogic.com/aides/Test_qualite.pdf

C'est l'intervalle dans lequel se trouve p avec 95% de chance.

@ Dattier,
Oui, je connais très bien la définition, et tout ce qu'on veut.
Ce que je demande c'est la justification.
Et cette justification ne tient pas sans la théorie des probabilités, celle de Bernoulli, Gauss et leurs copains. Donc il faut commencer par là.
Cette histoire d'intervalle de confiance n'est qu'un petit moyen enseigné aux lycéens et que les matheux se transmettent de génération en génération.
En fait, cet intervalle de confiance est un peu valable pour une expérience unique et à condition d'avoir vérifié la normalité des résultats, ce qui est très rarement le cas et de toute façon, c'est tout de même très simplifié.
Mais c'est pas grave.
Par contre, ce qui m'inquiète, c'est que Beagle qui est honnête et qui pose souvent les bonnes questions trouve que cette décision n'est pas justifiée. Si effectivement les tests concernant les médicaments sont basés sur cet intervalle de confiance à 95%, alors c'est très ennuyeux.
Avec les exos, on s'amusait un peu, mais quand il s'agit de santé, là, c'est beaucoup plus grave. En effet, les approximations existent dans les deux sens.

Dlzlogic a écrit:Tu parles de l'intervalle de confiance. A part les cours et différents documents, comment tu le définis ?

Excuses moi d'avoir compris par cette question que tu demandais une définition et non une justification.

Et ceci s'explique parfaitement avec une loi binomiale.

https://fr.wikipedia.org/wiki/Loi_binomiale

Tu as un tirage de X de loi B(n,p)

Ce que tu cherches c'est e tel que : P(|X-E(X)|<e)=0.95, c'est ainsi que tu obtiens e.

C'est 2 sigma donc P(|X-E(X)|<2*sqrt(p(1-p)n)=0.95

donc |X-np|<2*sqrt(p(1-p)*n) avec une proba de 95%

c'est à dire |X/n-p|<2*sqrt(p(1-p)*n)/n<1/sqrt(n)

As tu compris maintenant, où veux tu plus d'explication ?

Oh, tu sais, c'est pas la peine de me faire un cours, je connais tout-ça très bien.
Petites questions : pourquoi 2 sigma ? (en fait 1.96) ?
D'où vient la formule sqrt(p(1-p)) ?
Pourquoi n'évoques-tu pas le TCL ?

Le 2 sigma vient du TCL, l'approximation de B(n, p) par une loi normale.

Sqrt(p*(1-p)*n) est l'écart type (sigma)