Arvioi ennusteita todennäköisyydellä ja Brierin pisteellä
Kirjaa todennettava väite ennen määräaikaa. Jätä epäselvät tapaukset avoimiksi ja vertaa todennäköisyyttä havaittuun tulokseen.
Määritä tapahtuma, jonka toteutumisen voit tarkistaa
Väitettä ”pian tapahtuu jotain tärkeää” on vaikea kumota. Käyttökelpoinen merkintä sisältää havaittavan tapahtuman, määräajan ja toteutumiskriteerin. Kirjaa ne etukäteen. Jos vaihdat määritelmää tuloksen nähtyäsi, testaat toista väitettä. Kirjaa epäselvyys laskematta sitä automaattisesti onnistumiseksi.
Tavallisella esiintyvyydellä on merkitystä. Yleisen tapahtuman korkea todennäköisyys voi saada paremman pisteen kuin harvinainen näyttävä ennuste. Työkalu säilyttää vain omat merkintäsi. Yhteistä sijoituslistaa tai tietoa muiden tarkkuudesta ei ole.
Pisteytä etukäteen annettu todennäköisyys
Kun kaksitulosisen tapahtuman tulos tiedetään, Brierin piste on (p − o)². p on todennäköisyys nollasta yhteen. o on 1, jos tapahtuma toteutui, muuten 0. Arvio 50 % tuottaa 0,25 kummassakin tapauksessa. Varma oikea ennuste saa 0 ja varma väärä 1. Pienempi keskiarvo on parempi.
Avoimia tapauksia ei lasketa keskiarvoon tai kalibrointitaulukkoon. Näytön puute ei osoita epäonnistumista. Taulukossa on viisi todennäköisyysväliä, joista viimeinen sisältää arvon 100 %. Jos välillä on alle viisi tiedossa olevaa tulosta, näkyy varoitus. Valikoiva kirjaaminen voi vinouttaa suurenkin otoksen.
Tarkastele näytön valintaa
Vahvistusharha ohjaa etsimään osumia ja sivuuttamaan erehdykset. Pelkkien näyttävien ennusteiden kirjaamisesta voi aiheutua valikoitumisharhaa. Itseään toteuttava ennuste muuttaa käyttäytymistä ja tekee tuloksestaan todennäköisemmän. Se ei osoita yliluonnollista tietoa tulevasta. Selitysten erottamiseen ei riitä henkilökohtainen pistemäärä.
Aseta sanamuoto etukäteen, säilytä kaikki tulokset, vertaa yksinkertaiseen perustasoon ja ole valmis muuttamaan mieltäsi. Ennustamisesta kiinnostuneet ja epäilijät voivat käyttää harjoitusta. Se tekee päättelystä arvioitavaa leimaamatta ketään herkkäuskoiseksi.
Näin se toimii
Lähteet
- Brier (1950): todennäköisyysennusteiden todentaminen
- Yhdysvaltain psykologiyhdistyksen sanakirja: vahvistusharha
Viihdettä ja pohdintaa varten; ei tieteellinen ennuste tai ammattilaisen neuvo.