Les pièges de l’intuition

1. Les pièges de l’intuition Cours ‘Interprétation de la preuve’ (8)

2. Littérature • D. Kahneman, P. Slovic, A. Tversky, Judgment under uncertainty : heuristics and biases. Cambridge University Press, Cambridge (1982) • M. Piattelli-Palmarini, Inevitable illusions. John Wiley and Sons, New York (1994). • W.C. Thompson, Are juries competent to evaluate statistical evidence? Law and Contemporary Problems 52 (1989) 9-41. • D.H. Kaye, J.J. Koehler, Can jurors understand probabilistic evidence ? Journal of the Royal Statistical Association 154 (1991) 75-81. • D.H. Kaye, DNA evidence: probability, population genetics and the courts. Harvard Journal of Law and Technology 7 (1993) 101-172. • F. Taroni, J. Lambert, L. Fereday, D. Werrett, The evaluation and the presentation of forensic DNA evidence in European laboratories. Technical Report ENFSI - DNA Working Group (1999). • F. Taroni, C.G.G. Aitken, The likelihood ratio approach to compare populations : a study on DNA evidence and pitfalls of intuition. Science & Justice 39 (1999) 213-222.

3. Littérature • W.C. Thompson, E.L. Schumann, Interpretation of statistical evidence in criminal trials. The prosecutor’s fallacy and the defence attorney’s fallacy. Law and Human Behaviour 11 (1987) 167-187. • J.J. Koehler, Error and exaggeration in the presentation of DNA evidence at trial. Jurimetrics Journal 34 (1993) 21-39. • D.J. Balding, P. Donnelly, The Prosecutor’s fallacy and DNA evidence. Criminal Law Review (1994) 711-721. • M. Redmayne, Doubts and burdens: DNA evidence, probability and the courts. Criminal Law Review 6 (1995) 464-482. • I.W. Evett, Avoiding the transposed conditional. Science and Justice 35 (1995) 127-131. • F. Taroni, C. Aitken, Probabilistic reasoning in the law, part I: assessment of probabilities and explanation of the statistical DNA evidence. Science and Justice 38 (1998) 165-177.

4. Exemple • L’entreprise pour laquelle travaille Mr Jones organise un dîner pour ceux de ses employés ayant au moins un fils. • Chacun de ces employés est invité à se présenter avec son aîné. • On sait que Mr Jones a deux enfants et il est invité au dîner. • Quelle est alors la probabilité que ses enfants soient tous deux des garçons ?

5. Solution On suppose que l’ensemble fondamental est : S = {(g,g),(g,f),(f,g),(f,f)} et que tous ces événements sont équiprobables. Le fait de savoir que Mr Jones a été invité au dîner est équivalent à savoir qu ’il a au moins un fils. Ainsi, en désignant par E l’événement ‘les deux enfants sont des garçons’ et par F l’événement ‘au moins l’un des deux enfants est un garçon’, la probabilité P(E|F) cherchée est : L’enfant le plus âgé est un garçon et que l’autre est une fille

6. Solution : P(E|F) La probabilité recherchée est :

7. Solution : P(E|F) = 1/3 Bien de gens se trompent en évaluant cette probabilité à 1/2. Ils admettent dans leur raisonnement que l’enfant non présent au dîner a autant de chance d’être un garçon qu’une fille. L’hypothèse que ces deux probabilités soient identiques est fausse : initialement en effet, il y avait 4 événements d’égale probabilité. Dès l’information ‘au moins l’un des enfants est un garçon’ connue, on sait que l’événement final n’est pas (f,f). Il nous reste ainsi trois événements équiprobables : (g,g), (g,f), (f,g). Ceci montre que l’événement est deux fois plus probable que son contraire.

8. How many girls • Une famille a deux enfants. • Vous savez qu’au moins un des deux enfants est une fille (appelons cet événement F) . • Quelle est la probabilité que l’autre enfant soit une fille (appelons E l’événement ‘les deux enfants sont des filles’) ?

9. How many girls ? Ier enfant IIème enfant no filles Probabilité 1/2 G2 2 1/4 G1 1/2 B2 1 1/4 1/2 G2 1 1/4 B1 1/2 B2 0 1/4

10. Solution • Pour trouver la probabilité de F, il faudra additionner les probabilités des trous cheminements donnant F : • Nous sommes intéressés à la probabilité conditionnelle P(E|F), qui - par définition - est :

11. Problème • Il est facile de se tromper ! La confusion arrive car on confond l’événement F (‘au moins une fille’) avec ‘un enfant donné est une fille. • Par exemple, en conditionnant sur G1 au lieu que sur F on aura : • Dire ‘au moins une fille’ est facilement compris comme ‘le premier enfant est une fille’.

12. Deux indices : ‘ conjunction ’ • Imaginons deux indices E1 et E2 : de façon indépendante ils permettent d’établir la culpabilité du suspect. • Si on multiplie leur valeurs respective - en posant l’hypothèse de l’indépendance - alors on obtiendra : • (0.7)2 = 0.49 < 0.5 • Deux indices qui séparément permettent de condamner un suspect, si elles sont exploitées ensemble ne le permettent pas ! Comment est-il possible ?

13. Deux indices : ‘ conjunction ’ • Qu’est-ce que signifie ‘ indépendance ’ entre deux indices, E1et E2 ? • Les probabilités conjointes de deux indices - sachant H1et H2 - sont égales au produit des probabilités individuelles :

14. Deux indices : ‘ conjunction ’ • Ceci ne signifie pas - par exemple - que • alors,

15. Deux indices : ‘ conjunction ’ • Donc : • J.E. Cohen, The probable and the provable. Clarendon Press, Oxford (1977) • J.E. Cohen, The difficulty about conjunction in forensic proof. The Statistician 37 (1988) 415-416 • A.P. Dawid, The difficulty about conjunction. The Statistician 36 (1987) 91-97

16. Interprétation des chiffres : un exemple concret • Imaginons la présence de concordances entre les profils génétiques de la trace de sang et de Monsieur X. • Même en obtenant des chiffres qui nous permettent de rendre compte de la rareté des caractéristiques concordantes dans la population générale (et ainsi estimer le rapport de vraisemblance), il faut être très attentif à la signification et aux limites de ces chiffres.

17. Interprétation de l’argument probabiliste • Nous admettons que cette statistique (objective ou subjective, souvent appelée ‘random match probability’ RMP) utilisée par l’expert est fiable. • Elle représente : RPM = P(E|H2) • Nous allons nous intéresser au bien-fondé des interprétation de cette statistique.

18. Constat • « It is also the responsability of the court to try to prevent juror confusion caused by lawyers and experts who sometimes seems unable to explain scientific evidence in language the jury understands. » • « [avoid] the battle of experts [...] especially in the confusing area of the statistical meaning of a match. » • R.S. Reinstein, Commentary, In E. Connors/T. Lundregan/N. Miller/T. McEwen, Convicted by juries, exonerated by science: case studies in the use of DNA evidence to establish innocence after trial, U.S. Department of Justice - National Institute of Justice, Washington, 1996.

19. Les probabilités conditionnelles • Un viol a été commis dans une ville. • Il y a 10’000 hommes qui peuvent avoir commis le crime dont 200 travaillent dans une mine. • Un indice a été retrouvé sur la scène du crime. A partir de cet indice il est possible d’en déduire que le criminel est un homme parmi les 200 mineurs (par ex. des traces de minéraux). • Un suspect est arrêté et des traces de minéraux - compatibles avec ceux retrouvés sur les lieux - se trouvent sur ses habits. • Comment peut-on exploiter cet indice ? • Comment doit-on l’évaluer ?

20. Les probabilités conditionnelles • Définitions : • E, l’indice qui lie le suspect au lieu du crime ; • H1, l’hypothèse que le suspect est coupable ; • H2, l’hypothèse que le suspect n’est pas coupable. • Prémisse : • Toutes les personnes travaillant dans la mine présentent des traces de minéraux sur les habits.

21. Les probabilités conditionnelles • Evaluation • La probabilité de retrouver des traces de minéraux sur les habits d’une personne innocente peut être déterminé de la façon suivante : • Il y a 9’999 hommes innocents en ville parmi lesquels 199 travaillent dans la mine. • Ces 199 ont - suite au travail - des traces de minéraux sur les habits (même s’ils sont innocents). • Par conséquent, P(E|H2) = 199/9’999=0.02 • Cette probabilité si faible signifie-t-elle qu’un homme qui serait retrouvé avec des traces de minéraux sur les habits aurait une probabilité de 0.02 d’être innocent ?

22. Les probabilités conditionnelles • Il y a 200 hommes en ville avec l’indice sur les habits (E). • Parmi eux il y en a 199 qui sont innocents (H2). • Par conséquent, P(H2|E) = 199/200=0.995 • L’équation P(E|H2) = P(H2|E) est connue sous l’appellation de prosecutor’s fallacy (‘piège du procureur’).

23. Les pièges de l’intuition dans la pratique • « Il n’y a pas de différence entre les caractéristiques génétiques observées sur la trace [...] et celles observées sur Monsieur X. » • « Une telle constellation de caractéristiques se trouve chez environ 0.0001% de la population. »

24. Interprétation des chiffres :l’argument de l’Accusation La fréquence d’apparition de cette trace de sang, concordante avec le profil du suspect est de 1 sur 1 million. Donc, la probabilité de trouver cette trace là si quelqu’un d’autre que le suspect l’a laissée est de 1 sur 1 million. Donc, la probabilité que quelqu’un d’autre laisse cette trace est de 1 sur 1 million. Par conséquent, on peut être sûr à 99.9999% que le suspect ait laissé cette trace !

25. Interprétation des chiffres :l’argument de la Défense La fréquence d’apparition de cette trace de sang, concordante avec le profil du suspect est de 1 sur 1 million. Un tel profil génétique se trouve chez environ 1 individu sur 1 million de la population. En considérant une population d’intérêt de 2’000’000 personnes en Suisse qui peuvent avoir laissé la trace, il y a un deuxième individu présentant ce même profil génétique. Dès lors, la probabilité que la trace ait été laissée par le suspect est de 1 sur 2. Nous avons donc 50% de chance de nous tromper !

26. Accusation et Défense La probabilité que la trace ait été laissée par Monsieur X est de 1 sur 2. La probabilité que la trace provienne de Monsieur X est supérieure à 99.99%.

27. Le juge ou le membre du jury

28. Prosecutor’s fallacy • « There is 10% chance that the defendant would have the crime blood type if he were innocent. Thus, there is a 90% chance that he is guilty. » • « The blood test is highly relevant. The suspect has the same blood type as the attacker. This blood type is found in only 1% of the population so there is only a 1% chance that the blood found at the scene of crime came from someone other than the suspect. Since there is a 1% chance that someone else committed the crime there is a 99% chance that the suspect is guilty. »

29. Prosecutor’s fallacy Concordance reportée Source de la trace RMP P(E|H2) P(H1|E) = 1

30. E. Ross vs. State of Indiana(Indiana Court of Appeal, May 13, 1996) • La fréquence des caractéristiques génétiques concordances • RPM = 1/80’000 • « After conducting DNA testing on the vaginal swab samples taken from the victim and Ross’ [the suspect] blood samples, the DNA expert stated that Ross was the source of the seminal fluid. »

31. People of the State of California vs. Orenthal James Simpson, aka O.J. Simpson, Case N. BA 097211 (1995) • « It is 270 million times more likely that we would see the evidence if Mr Simpson were the source of the blood stain than if Mr Simpson were not the source » P(E|H2) Expert • « Given the evidence, it is 270 million times more likely that Mr Simpson is the source of the blood stain than that Mr Simpson is not the source » P(H1|E) Juge

32. The transposed conditional • Il y a deux cas particulier du ‘piège du procureur’ où P(E|H2) est confondu avec : • la probabilité que le suspect ne soit pas la source de la trace (source probability error) • la probabilité que le suspect ne soit pas coupable (ultimate issue error).

33. Les fausses équations • La fréquence d’apparition des caractéristiques génétiques concordances entre le suspect et la trace est RPM = 1/1’000’000 • Donc, la probabilité d’innocence du suspect est de 1/1’000’000. • Le piège consiste à confondre P(H2|E) avec P(E|H2). • En réalité, P(H1|E) = 1-P(H2|E) et non 1-P(E|H2).

34. Le schéma d’inférence Concordance reportée RMP Innocence P(E|H2) P(H2|E) = P(E|H2)

35. Ce piège de l’intuition Je suis un éléphant donc je suis un animal à quatre pattes

36. Ce piège de l’intuition Je suis un animal à quatre pattes donc je suis un éléphant

37. Ce piège de l’intuition La probabilité d’être un éléphant sachant que je suis un animal à quatre pattes La probabilité d’être un animal à quatre pattes sachant que je suis un éléphant

38. Ce piège de l’intuition La probabilité d’avoir laissé la trace sachant que mon profil génétique concorde avec celui de la trace La probabilité que mon profil génétique concorde avec celui de la trace sachant que j’ai laissé la trace ... mais les données sur la raretée des caractéristiques nous permettent d’estimer le complément de cette probabilité Nous sommes interéssés à cette probabilité ....

39. La transition Comment peut-on passer du rapport de vraisemblance à ?

40. La théorie de Bayes

41. Exemple du test de dépistage HIV • Considérons un taux de faux positif et de faux négatif de 1%, respectivement. • Un homme est choisi au hasard et testé. • Il est HIV positif. • Quelle est la probabilité que le test soit positif sachant que l’homme n’est en réalité pas infecté ? • Quelle est la probabilité que l’homme ne soit pas infecté sachant que le test est positif ? Quelle est la question la plus pertinente ?

42. Exemple du test de dépistage HIV • Quelle est la probabilité que le test soit positif sachant que l’homme n’est en réalité pas infecté ? • La réponse à cette question est 1%. • Quelle est la probabilité que l’homme ne soit pas infecté sachant que le test est positif ? • La réponse à cette question nécessite d’informations supplémentaires, notamment : • la probabilité que l’homme soit infecté avant que le test soit effectué (type de comportement, type de population) • sans informations spécifiques, nous pouvons admettre que la fréquence des hommes contaminés dans la population est de 1 sur 1’000.

43. Le développement mathématique

44. L’argument du défenseur • « The evidence for blood types has very little relevance for this case. Only 1% of the population has the rare blood type found at the scene of crime and in the suspect. • However, in a city, like this one in which the crime occurred, with a population of 200’000 people who may have committed the crime this blood type would be found in approximately 2’000 people. The evidence merely shows that the suspect is one of 2’000 people in the city who might have committed the crime. • The blood test evidence has provided a probability of guilt of 1 in 2’000. Such a small probability has little relevance for proving the suspect is guilty. »

45. L’argument du défenseur • Le calcul probabiliste du défenseur est correct. • Avant le test génétique, le suspect avait un probabilité de 1 sur 200’000 d’être coupable. • L’effet de la preuve génétique a été d’augmenter cette probabilité d’un facteur 100. • Par conséquent, la preuve était pertinente dans cette affaire. • Face à une telle argumentation de la defénse, on parle de ‘defence attorney’s fallacy’

46. En conclusion • La probabilité RMP n’est pas : • la probabilité que le suspect - ayant la caractéristique concordante - ait commis le crime. • la probabilité que quelqu’un d’autre que le suspect ait commis le crime. • la probabilité que le suspect soit - ou ne soit pas - la source de la trace. • la probabilité que quelqu’un d’autre que le suspect soit à l’origine de la trace.

47. People v. Collins, 68 Cal. 2d 319, 438 P. 2d 33, 66 Cal. Rptr. 497 (1968) • A Los Angeles, une femme âgée, victime d’une agression, décrivit son agresseur comme une jeune femme blonde. Un deuxième témoin oculaire rapporta qu’il avait vu la femme, de race blanche, les cheveux blonds attachés en queue de cheval, s’enfuir dans une voiture jaune conduite par un homme de race noire, portant barbe et moustaches. A l’aide de ces témoignages les enquêteurs arrêtèrent, quelques jours plus tard, un couple correspondant aux descriptions des témoins. Le couple fut accusé du crime.

48. People v. Collins : l’argument probabiliste Lors du premier procès en 1964, le procureur présenta les probabilités d’apparition suivantes pour chacun des éléments de la description concordante au couple suspect: Caractéristiques Probabilité une voiture jaune 1/10 un homme portant des moustaches 1/4 un homme de race noire avec une barbe 1/10 une femme aux cheveux blonds 1/3 une femme coiffée en queue de cheval 1/10 un couple interacial 1/1000

49. People v. Collins : conclusion Le Procureur confia la tâche de combiner ces éléments à un professeur de mathématiques. L’expert, en appliquant la règle de la multiplication des probabilités indépendantes, parvint à une probabilité de 1 chance sur 12 millions pour l’occurrence conjointe des caractéristiques différentes. Sur ce témoignage, le Procureur conclut : • qu’il y avait une probabilité de 1 sur 12 millions de retrouver par hasard dans la population un couple correspondant à cette description. • il demanda au Jury d’en déduire qu’il y avait logiquement une chance sur 12 millions pour que les deux accusés soient innocents. Le couple fut condamné sur cet argument.

50. People v. Collins : la révision En 1968, la Cour Suprême de l’État de Californie révisa les arguments mathématiques employés dans l’affaire People v. Collins en soulignant que : • les probabilités initiales avaient été suggérées par le Procureur sans référence aucune à une quelconque étude de population pouvant justifier les chiffres avancées. Si l’on désire déterminer ces probabilités initiales, la question fondamentale est la détermination de la population pour le comptage de ces caractères. S’agit-il de la population du quartier où le crime a été commis, celle de la ville, de l’État ou même de la nation? • Même dans l’hypothèse où les probabilités de base seraient correctement déterminées, il est erroné de procéder à la multiplication des probabilités pour obtenir leurs chances d’occurrence simultanée. La multiplication est admise uniquement s’il est établi que les caractères différents sont indépendants.