Waarom data jullie besluitvorming versterken én verstoren

Ted-talk van Cathy O’Neil

Waarom data jullie besluitvorming versterken én verstoren

We kunnen er niet omheen: we leven in een ‘data driven’ wereld. Verschillende organisaties heb ik mogen helpen met processen die data verwerken en met de herleidbaarheid van data. Iedere keer verbaas ik me er over hoe weinig aandacht dit krijgt.

Natuurlijk is het handig om te beschikken over data en data voor van alles te gebruiken, maar we moeten er geen “blind vertrouwen” in hebben, zoals Cathy ‘o Neil uitlegt in haar TED Talk. Zij is hier bezorgd over en noemt de ‘black box’ van data en algoritmes zelfs “weapons of math destruction”.

Wat is het probleem? Data en algoritmes worden gezien als ‘objectief’ en ‘waar’, maar dat zijn ze niet. In algoritmes en rekenmodellen zitten aannames. Soms zijn het bewuste keuzes, bijvoorbeeld om een bepaald criterium mee te wegen. In veel gevallen zijn het onbewuste keuzes die voortkomen uit ons wereldbeeld en onze cultuur. Omdat ze uitgaan van bekende patronen (ook als ze worden gebruikt voor toekomstvoorspellingen), zorgen de modellen ook voor het in stand houden van de status quo. Fouten in de algoritmes kunnen heel lang in gebruik blijven, “silently wreaking havoc”.

Welke algoritmes worden gebruikt, welke data ze lezen en naar welke criteria ze kijken is vaak niet bekend. Het gaat bijvoorbeeld om een model dat is gebouwd door een bepaald bedrijf, en zij verdienen hun geld door dit model beschikbaar te stellen.

Als bestuurder of directeur krijg je dagelijks voorstellen en adviezen op basis waarvan jij besluiten neemt. Waarschijnlijk worden in jullie operationele processen overal volautomatisch besluiten genomen, bijvoorbeeld of iemand wordt geaccepteerd als klant. Weet jij hoe deze besluiten tot stand komen en op welke data ze zijn gebaseerd?

Weet jij of er vooroordelen in de data en in de verwerking ervan zitten en dat die bijvoorbeeld leiden tot het onterecht uitsluiten van bepaalde mensen. Is jullie besluitvorming fair?