Afprøv forudsigelser med sandsynligheder og Brier-score
Notér en påstand, der kan undersøges, inden fristen. Bevar det uafklarede og sammenhold sandsynligheden med det observerede udfald.
Beskriv en begivenhed, der kan kontrolleres
»Snart sker der noget vigtigt« er svært at modbevise. Et nyttigt notat beskriver en iagttagelig begivenhed, en frist og en regel for at afgøre, om den er sket. Skriv det på forhånd. Ændres definitionen efter udfaldet, er det en anden påstand, du prøver. Registrér tvivl uden automatisk at tælle den som en træffer.
Grundhyppigheden betyder noget. En høj sandsynlighed for en almindelig begivenhed kan få en bedre score end et imponerende varsel om noget sjældent. Journalen gemmer kun dine poster. Der er ingen fælles rangliste eller vurdering af andre besøgendes præcision.
Bedøm den oprindelige sandsynlighed
For en afgjort begivenhed med to udfald er Brier-scoren (p − o)². p er sandsynligheden mellem 0 og 1. o er 1, hvis begivenheden indtraf, ellers 0. En prognose på 50 % giver 0,25 uanset udfald. En sikker korrekt prognose får 0, en sikker forkert 1. Et lavere gennemsnit er bedre.
Uafklarede hændelser indgår ikke i gennemsnittet eller kalibreringstabellen. Manglende belæg er ikke bevis på fiasko. Tabellen deler sandsynlighederne i fem intervaller og placerer 100 % i det sidste. Den advarer ved færre end fem afgjorte tilfælde i et interval. Udvalget af gemte påstande kan skævvride selv store prøver.
Overvej, hvordan belægget blev valgt
Bekræftelsesbias fører til, at vi leder efter overensstemmelser og overser fejl. Hvis vi kun gemmer opsigtsvækkende forudsigelser, kan udvalget blive skævt. En selvopfyldende profeti ændrer adfærd og fremmer dermed sit eget udfald. Det viser ikke overnaturlig indsigt i fremtiden. Der skal mere end en personlig score til at skelne forklaringerne.
Fastlæg formuleringen på forhånd, behold alle udfald, sammenlign med et enkelt udgangspunkt, og vær rede til at skifte mening. Øvelsen er nyttig for både spådomsinteresserede og skeptikere. Den gør slutningen efterprøvelig uden at stemple nogen som godtroende.
Sådan virker det
Kilder
- Brier (1950): kontrol af prognoser udtrykt som sandsynligheder
- American Psychological Associations ordbog: bekræftelsesbias
Til underholdning og refleksion; ikke videnskabelig forudsigelse eller professionel rådgivning.