Kirjavinkki: Superennustajat

Jatketaan nyt tätä kesäisen verkkaista bloginkirjoitustahtia tällaisella sopivasti blogin aihepiiriin liittyvällä kirjavinkillä.

Nimittäin jo jonkin aikaa minua on houkuttanut kirja nimeltä ”Superennustajat, Ennustamisen taito ja tiede”, ja kesäloman alussa se tuli lopulta luettua. Kirjan ovat kirjoittaneet Philip E. Tetlock ja Dan Gardner englanniksi vuonna 2015. Kirjan on suomentanut tutusti Kimmo Pietiläinen, ja pienen kustantamon haasteet näkyvät samalla tavoin kuin aikaisemminkin. Kieli on ihan OK. Kirjaa ei ole silti luetutettu kellään niin tarkasti, että teksti olisi puhdistettu esimerkiksi lipsahduksista tyyliin koskiko se Skotlannin kansanäänestys vuonna 2014 eroamista Yhdistyneestä kuningaskunnasta vai kansakunnasta. Pienistä ei kuulu nipottaa, mutta se

Tämän kerran kirja: Superennustajat

mikä on sallittua ilmaisessa blogissa, ei ole sitä välttämättä painetussa tietokirjassa.

Tetlock on tutkinut ansiokkaasti asiantuntijoiden ja muidenkin kykyä ennakoida tulevaisuuden tapahtumia, ja ensimmäinen tutustumiseni Tetlockin työhön tapahtui lukiessani Nate Silverin mainiota teosta ”Signaali ja kohina”, jossa myös käsiteltiin tulevan ennustamista.

Tetlockin ennustamistutkimusten historia alkaa pitkästä tutkimuksesta, jonka lopputuloksena oli se, että kun asiantuntijoita kerättiin esittämään ennustuksia pyydetyistä aiheista, kuten pörssistä, vaaleista, sodista, ja niin edelleen, niin keskimääräisen asiantuntijan ennuste oli yhtä hyvä kuin satunnainen arvaus. Ja satunnaiseen arvaukseen pystyy asiantuntijan ohella nyt vaikkapa, kuten kirjassakin mainitaan, tikka heittävä apina.

Tämä tikkaa heittävä apina-vertaus oli se kärki, Tetlockin ennustetutkimuksen tulosten helpoimmin medialevityksen otsikoksi ja yleisön mieleen jäävä osa. Vaikka se arvatenkin ratkaisevalla tavalla sinkautti tämän tutkimuksen yleiseen tietoisuuteen, se kuitenkin oli pitemmän päälle harmittavalla tavalla ylikarkea yleistys tutkimuksen annista, ja varsinkin kärkevästi muotoiltuna vei huomion aivan väärään asiaan.

Tietyillä aloilla ja riittävän lyhyellä aikavälillä asiantuntijoilla on tutkimuksen mukaan selvää etua tavalliseen taaviin tai satunnaiseen arvaukseen verrattuna. Lisäksi tutkimuksen käyttökelpoisin tulos lienee ollut se, että tietty ryhmä asiantuntijoista suoriutuu ennustamisesta merkittävästi paremmin kuin keskimääräinen asiantuntijoiden joukko.

Tämä paremmin ennustamiseen kykenevä joukko oli Tetlockin erottelun mukaan löydettävissä jakamalla asiantuntijat ”kettuihin” ja ”siileihin”. Jaottelu tulee vanhasta, ilmeisesti muinaisen kreikkalaisen Arkhilokhoksen kirjoittamasta katkelmasta ”kettu tietää monia pieniä asioita, mutta siili tietää yhden suuren asian”. Ei siis mitään tekemistä oikeiden kettujen ja siilien kanssa. Ennustamisessa kettumaisesti ajattelevat käyttävät joustavasti eri alojen ajatuksia riippumatta niiden lähteestä poliittisella kartalla, ovat valmiimpia itsekritiikkiin ennustustensa suhteen ja vaihtamaan lähestymistapaa joustavammin. Siilit ovat erikoistuneet usein yhteen tai kahteen ongelmaan, ovat järkkymättä oman maailmankäsityksensä kannalla (esim. vasemmistolainen/oikeistolainen ideologia) ja uskovat maailman noudattavan varsin yksinkertaista logiikkaa.

Ilman spoilerivaroitustakin uskallan kertoa, että ennustamisessa ketut suoriutuvat selvästi paremmin, kuin siilit. Toisaalta media ei suosi sekavia ja varovaisia kettuja. Siilit, huonosta ennustuskyvystään huolimatta pystyvät suuren ajatuksensa innoittamina helpommin esittämään yksikertaisen selityksen, selkeän tarinan. Korrelaatio menee niin päin, että mitä kuuluisampi asiantuntija on, sitä epätäsmäävämpi on hänen ennustuksensa. Ei tietenkään siksi, että media etsisi huonompia ennustuksia, mutta siilimäisten asiantuntijoiden itsevarmat ja yksinkertaiset kannat on helpompi ymmärtää, ja ne rauhoittavat tehokkaammin median kuluttajien hermoja, kuin kettujen ”toisaalta - toisaalta” pyörittelyt.

Toimittajien ja suuren yleisön on myös vaikea ymmärtää, että jos asiantuntija arvioi, että gallup-tulosten perusteella on 70 % todennäköisyys sille, että A voittaa vaalit, se tarkoittaa sitä, että hänen mukaansa päinvastainen tulos on täysin mahdollinen. Ei pitäisi olla epäselvää, että ennuste ei ole ollut väärä vain sillä perusteella, että A häviää, vaan päinvastoin noin yksissä vaaleissa kolmesta pitäisi tulla se epätodennäköisempi vaihtoehto, aina kun todennäköisyydet on viritetty tällä tavalla. On kuitenkin paljon helpompaa tsekata, kumpaa ehdokasta kukin veikkasi, ja haastavampaa arvioida sitä, ovatko tietyn henkilön prosentuaaliset ennusteet oikeansuuntaisia, eli osuvatko vaalit noin 70 kertaa sadasta sille ehdokkaalle, jolla on ennusteen mukaan 70 % todennäköisyys voittaa, vai olisiko parempi todennäköisyys ollut 50/50 tai 90/10.

Ja harvoin julkisuudessa tehdään selviä ennusteita. Sanotaan pikemminkin, että tietty hallitus aiheuttaa melko varmasti taloudellisen kukoistuksen (tai sitten sanotaan että se aiheuttaa katastrofin), mutta jälkikäteen on mahdoton pitävästi osoittaa, mitä tarkkaan ottaen olisi vaadittu ja mihin verrattuna, että ennuste katsottaisiin toteutuneeksi. Tai mitä ”melko varmasti” tarkoittaa.

Eli olisi tarpeen määrätä asiantuntijat kertomaan tarkemmin, mitä he ennustavat tapahtuvan, ja millä todennäköisyydellä.

No, tämä oli vain lähtökohta. Tetlock on 2010-luvulla pyörittänyt tutkimusprojektia, jossa vapaaehtoiset ovat vuosikaudet saaneet arvioida erilaisten tarkkaan määriteltyjen tapahtumien todennäköisyyksiä, ja näiden ennusteiden tulosten pohjalta on seulottu muita paremmin menestyneistä ns. superennustajia, ja osasta heistä myös joukkueita. Ja tästä kirja kertoo.

Heille esitetyt kysymykset ovat tyyliä ”Liittääkö Venäjä virallisesti itseensä lisää Ukrainan alueita seuraavan kolmen kuukauden kuluessa?” tai ”Eroaako joku maa euroalueesta seuraavan vuoden aikana?” Kysymykset ovat tärkeitä ja vaikeita siihen nähden, että niihin vastataan harrastuspohjalta. Joihinkin vastaamiseksi pitää kenen tahansa etsiä lisätietoja, varsinkin jos kysymys koskee jotain melko vierasta valtiota, vaikkapa sen vaalitulosta tai tulevia poliittisia ratkaisuja. Vastaukset annetaan todennäköisyysprosenttina, ja ne analysoidaan sillä periaatteella, että hyvä ennustaja ei arvioi liian itsevarmasti eikä liian varovaisesti todelliseen tarkkuuteensa nähden.

Tuloksena on, että yhtenä vuonna superennustajaksi päätyneet eivät ole saavuttaneet tulostaan pelkällä tuurilla, vaan varsin merkittävä osa tuloksesta on jotain sellaista, mikä toistuu vuotena kuin vuotena sattuman häiritsemättä.

Kirja kertoo joka tapauksessa siitä, mikä tekee parhaiten onnistuvat ennustajat niin hyviksi. Siilimäisiä ominaisuuksia ei listalta löydy. Huippuälykkyyttä ei tarvita, mutta kohtalaista älyä ja numerotaitoa tarvitaan. Tiedonjano ja uutisten seuraaminen on superennustajan tärkeä ominaisuus, joten pelkkä luonnonlahjakkuus ilman työtä on valitettavasti pelkkää yliluonnollista toiveunta. Itsekrittiikki ja muutoksille alttius on tarpeen.  Ja niin edelleen, näitä todellakin on vielä lisää kirjassa.

Entä miten paljon parempia nämä harrastelevat superennustajat ovat tavallisiin huippuasiantuntijoihin verrattuna? Ja mitä on tuloksena heidän yhdistetyistä keskiarvoennusteistaan? Se jääköön teidän luettavaksenne varsinaisesta kirjasta. Tämä varmaankin kannattaa lukea.