Om keuzes te begrijpen ontwikkelden economen rationele keuze modellen waarin verschillende eigenschappen van een keuze verwerkt zijn in een algoritme dat de verschillende opties met elkaar vergelijkt. Mensen maken echter geen keuzes die volgens dit model worden voorspeld. Een veld dat neuroeconomics of decision neuroscience wordt genoemd onderzoekt hoe mensen dan wel keuzes maken.

Wat is een gokverslaving?

Pathologische gokkers hebben abnormale activatiepatronen in hersendelen die betrokken zijn bij de evaluatie van beloningen. Zo hebben is activatie in het ventrale striatum te zien als reactie op het bijna winnen die overeenkomt met activatie tijdens het echt winnen van een spel. Gokproblemen komen drie keer vaker voor bij mannen tussen de 14 en 22 jaar, een mogelijkheid is dat dit komt door nog niet ontwikkelde executieve functies. Ook bij ouderen komt een gokverslaving vaker voor. Zij hebben ook vaker moeite met het maken van keuzes die afhankelijk zijn van de vmPFC. Als laatste kunnen gokproblemen vergroot worden door medicatie die het beloningssysteem beïnvloed. Parkinson patiënten krijgen vaak hoge doseringen van dopamine agonisten, dit heeft er toe geleid dat veel Parkinson patiënten pathologisch gingen gokken.

Wat is de link van rationele keuzes naar gedragsmatige economie?

De verwachte waarde kan verkregen worden door de waarschijnlijkheid van een uitkomst te vermenigvuldigen met de geassocieerde beloning. Wanneer je bijvoorbeeld een euro krijgt als je met een muntje kop gooit, en niks wanneer je munt gooit, is de verwachte waarde 50 cent. Bernoulli stelt dat de verwachte waarde vervangen moet worden door verwachte utiliteit, hierbij wordt de psychologische waarde meegenomen in een uitkomst. Voor een arm persoon is het verschil tussen een bedrag van 9,000 euro en 20,000 euro bijvoorbeeld erg groot, maar voor een rijk persoon misschien niet. Rationele keuzes worden gekarakteriseerd door preferenties en keuze regels die niet veranderen aan de hand van context en zijn immuun voor cognitieve beperkingen. Mensen die op een rationele wijze keuzes maken verwachten (per definitie) dat anderen dat ook doen. Tversky ontwikkelde de prospect theorie welke probeert te voorspellen wat mensen zullen kiezen en níet wat zij zouden moeten kiezen. Deze theorie veronderstelt dat er een bepaalde referentie afhankelijkheid bestaat waarin mensen keuzes maken afhankelijk van afgewogen winsten en verliezen in vergelijking met hun huidige staat. Verliezen wegen in dit model zwaarder. Ten tweede wordt verondersteld dat er een afweging wordt gemaakt van waarschijnlijkheid waarin mensen de waarschijnlijkheden op een subjectieve manier evalueren. Mensen hebben namelijk de neiging om lage waarschijnlijkheid te overschatten en hoge waarschijnlijkheid te onderschatten.

Wat is de rol van dopamine?

Dopamine speelt een belangrijke rol bij responsen op beloningen. De substantia nigra en de ventral tegmental area (VTA) bevatten dopamine neuronen. Neuronen in de substantia nigra dragen bij aan de controle van motorische beweging vanwege de connectie met de basale ganglia. De VTA draagt bij aan beloningsevaluaties door zijn projecties naar de nucleus accumbens (soms ook ventraal striatum genoemd), de amygdala, de hippocampus en de medial frontal lobe. Wanneer neuronen in de hersenstam van ratten, die naar de nucleus accumbens projecteren, gestimuleerd werden wanneer zij een bepaald gedrag vertoonden, bleven zij dit doen, zelfs ten koste van eten, drinken of het hebben van seks. Het simpele idee dat dopamine zorgt voor plezier is niet correct. Wanneer voor dopamine giftige chemicaliën werden geïnjecteerd in de nucleus accumbens van ratten, wilden zij zelfs niet gaan eten als zij verhongerden. Deze ratten reageerden echter nog wel op plezierige en aversieve smaken. Berridge concludeerde vanuit deze en andere onderzoeken dat dopamine niet om voorkeur (liking) gaat maar om willen (wanting). Meer recent onderzoek heeft ook aangetoond dat de activatie van de nucleus accumbens geassocieerd is met verschillende motivationele stimuli. Hiernaast zorgt een externe beloning juist voor een vermindering van betrokkenheid bij een taak, wanneer participanten een simpel spelletje speelden in de fMRI scanner was activatie in het ventrale striatum te zien. Bij de groep die na het spelen van dit spel een beloning kreeg, was geen activatie meer te zien in het ventrale striatum tijdens de tweede sessie.

Foutieve beloningsvoorspelling

De vraag is wat deze beloningsneuronen encoderen, de waarde van een beloning, een actie of iets anders? Verschillende studies lijken één theorie te ondersteunen: veranderingen in de activiteit van beloningsneuronen signaleren veranderingen in informatie. In een studie kregen apen elektrodes in de VTA werden ingebracht en leerden op een knop te drukken wanneer zij een lichtje zagen, hierna kregen zij een beetje sap. Wanneer de apen nog niet geleerd hadden dat het indrukken van de knop leidde tot deze beloning was activatie in de VTA te zien na het krijgen van de beloning. Na het leren van deze associatie vuurden neuronen in de VTA steeds minder als reactie op de beloning en steeds meer als reactie op het licht. Hiernaast was een verlaging van activiteit beneden de basislijn te zien wanneer een verwachte beloning niet werd gegeven. Neuronen in de VTA vuren dus als reactie op een onverwachte beloning. Deze studies tonen aan dat activiteit in dopamine neuronen een index geven voor de reward prediction error (RPE). Dit kan gedefinieerd worden als het verschil tussen de verwachte waarde en de verkregen waarde en de verandering in informatie over toekomstige beloningen. De RPE en de eerder besproken prospect theorie berekenen beiden de voorspelde waarde in termen van veranderingen in een huidige toestand. Midbrain dopamine neuronen projecteren naar veel andere hersendelen, waaronder de basale ganglia. Een waarschijnlijkheid is dat informatie over beloningen en straffen de verwerking moduleert in alle gebieden in het brein, waardoor alle andere cognitieve functies beïnvloed worden.

Reacties op negatieve uitkomsten

Studies naar neuronale reacties op beloningen maken vaak gebruik van taken waarbij geld gewonnen kan worden, er worden echter bijna geen studies gedaan waarbij echte negatieve uitkomsten voor kunnen komen. Een alternatieve theorie stelt dat hersengebieden die betrokken zijn bij beloningen niet specifiek reageren op beloningen, maar op elke stimulus die informatie geeft die belangrijk is voor toekomstig gedrag. Onverwachte en afleidende stimuli zijn inderdaad geassocieerd met activiteit in de nucleus accumbens. Sommige studies tonen aan dat een onverwachte stimulus kan leiden tot activatie van de substantia nigra en de VTA. Een andere studie waarin de activiteit van een dopamine neuron gemeten werd toonde echter aan dat een onverwachte beloning leidt tot een verhoogde activiteit, terwijl een het onverwacht weg blijven van een beloning tot verminderde activiteit leidt. Om een verklaring te vinden voor deze tegenstijdige onderzoeken stelden Hikosaka en zijn collega’s een studie op waarbij apen een straf moesten vermijden. Zij vonden dat sommige neuronen in het midbrain verhoogde activiteit lieten zien als reactie op beloningen maar ook als reactie op straf.

Hoe worden gewoonten gevormd en waarden geleerd?

Naast doelgerichte acties wordt gedrag ook vaak gevormd door middel van het leren van relaties tussen waarden en acties, zoals gewoonten. Gewoonten worden erg langzaam aangeleerd, maar zodra ze gevormd zijn, zijn ze moeilijk af te leren. Het kunnen associëren van stimuli aan beloningen en de juiste motorische acties kunnen kiezen voor toekomstige uitkomsten zijn essentieel voor het leren van beloningen. Actor-critic learning models gaan ervan uit dat er twee hersensystemen bestaan, een “critic” die evalueert of beloningen beter of slechter dan verwacht zijn, en een “actor” die de waarden van bepaald gedrag evalueert om toekomstige beloningen te vergroten. Het ventrale striatum wordt geassocieerd met het “critic” systeem die signalen met betrekking tot beloningen evalueert door invoer van de VTA. Neuronen in het dorsale striatum worden geassocieerd met het creëren van plannen voor gedrag via het “actor” systeem. Fictief leren refereert naar veranderingen in gedrag als reactie op wat had kunnen zijn, fictieve foutsignalen zijn geassocieerd met activatie in de caudate nucleus.

Dubbelzinnigheid en risico

Er bestaan twee soorten onzekerheid, onzekerheid over wat er gaat gebeuren en onzekerheid over wanneer het gebeurd. Risico komt voor wanneer er verschillende uitkomsten mogelijk zijn. fMRI studies hebben aangetoond dat de dlPFC, dmPFC, posterior parietal cortex en de anterior insula betrokken zijn bij risico. De eerste drie kunnen geactiveerd zijn vanwege de executieve functies die in deze hersendelen worden geregeld. De insula is normaal gesproken echter betrokken bij emoties, er wordt dan ook verondersteld dat dit deel geassocieerd is met het monitoren van aversieve signalen waardoor risicogedrag vermeden wordt. De dlPFC laat activiteit zien als reactie op onzekerheid wanneer informatie mist, maar niet wanneer onzekerheid voortkomt uit kans. De dlPFC stuurt dus signalen als reactie op veranderingen in de omgeving, maar niet simpelweg wanneer verschillende uitkomsten voor kunnen komen. Een keuze is ambigu wanneer de verschillende uitkomsten niet bekend zijn. Ambiguïteit zorgt voor activatie in een deel van de posterior ventrolateral PFC dat ook betrokken is bij het vormen van regels voor het verrichten van complexe taken.

Vertraging, het afdoen van toekomstige beloningen

Beloningen die verder in de toekomst liggen zijn vaak minder aantrekkelijk en mensen die een lange termijn doelen willen behalen moeten zij deze temporale discounting overkomen. Wanneer iemand de keuze heeft tussen 100 euro nu (optie A), of 110 euro (B) over een week, kiezen de meeste mensen optie A. Wanneer zij echter de keuze hebben tussen 100 euro over 52 weken (C) of 110 euro over 53 weken (D) kiezen zij voor optie D. Hyperbolische modellen laten een diepe afdaling in beloning zien binnen korte beloningsintervallen, waarna deze afdaling steeds minder diep wordt. Dual-system modellen stellen twee systemen voor, voor het maken van keuzes. Systeem 1 is snel, automatisch en context afhankelijk. Emotionele keuzes die tot een directe beloning leiden worden meestal door dit systeem gemaakt. Systeem 2 is langzamer, gecontroleerd en gebaseerd op feiten. Weloverwogen keuzes of een kosten-baten analyse wordt volgens dit systeem gemaakt. Een fMRI studie heeft aangetoond dat keuzes die tot een directe beloning leiden het ventrale striatum en de mediale en ventromediale PFC activeert. De laterale PFC en andere gebieden die executieve functies reguleren waren echter actief ongeacht de tijd die het kostte tot de beloning. De onderzoekers concludeerden dat keuzes voor lange en korte termijndoelen afhankelijk zijn van de interactie tussen beide systemen. Andere onderzoekers leveren bewijs tegen het dual-system model. Zo toonde een fMRI studie aan dat de beloning gerelateerde gebieden de subjectieve waarde evalueren ongeacht de lengte tot het doel. Dit ondersteunt een single-proces model waarbij het beloningssysteem de waarden van verschillende uitkomsten evalueert en niet alleen de directe beloningen. De meeste studies ondersteunen dit tweede model. Het zou zo kunnen zijn dat executieve functies de processen in andere delen van het brein moduleren en dat de lateral PFC deze activiteit moduleert.

De sociale context en beloningen

Wanneer men keuzes maakt, is het van belang ook de mogelijke keuzes en acties van een ander te evalueren. Veel marketeers maken gebruik van sociale beloningen door het gebruik van lachende aantrekkelijke gezichten bij hun product en beloning gerelateerde gebieden laten activiteit zien als reactie op sociale stimuli. Niet alleen aantrekkelijke gezichten zorgen voor deze sociale beloning, ook informatie over sociale relaties zijn belonend. In een studie waarbij apen konden kiezen tussen het krijgen van sap of het zien van foto’s van andere apen in hun sociale groep, zijn zij bereid de sap op te geven voor deze sociale beloning. Het geven van een beloning aan anderen is echter ook belonend, zoals het doneren van geld. Twee theorieën verklaren dit pro sociale gedrag. De eerste theorie stelt dat dit gemotiveerd wordt door interne beloningssignalen, bewijs hiervoor komt van een fMRI studie waarbij activatie in het ventrale striatum is aangetoond als reactie op liefdadigheid. De tweede theorie stelt dat sociale cognitie van belang is voor het herkennen van de behoefte van de ander en uiteindelijk het uiten van pro sociaal gedrag. Onderzoek toont inderdaad aan dat activatie in gebieden die betrokken zijn bij sociale cognitie, zoals de laterale pariëtale cortex en de medial frontal cortex, altruïstisch gedrag kunnen voorspellen.

Wat zijn speltheorieën?

Om meer inzicht te krijgen in de wijze waarop mensen beslissingen nemen wanneer meerdere individuen betrokken zijn, die allemaal beperkte informatie en eigen voorkeuren hebben, wordt gebruik gemaakt van speltheorieën. Het prisoners dilemma is een spel waarbij coöperatie tussen beide spelers tot de beste uitkomst leidt wanneer het meerdere keren gespeeld wordt. Niet coöpereren leidt echter tot grotere persoonlijke beloningen, maar wanneer beide spelers niet coöpereren zullen beiden geen beloning ontvangen. fMRI studies hebben aangetoond dat coöperatie tijdens dit spel tot activatie in de nucleus accumbens leidt. Zoals hiervoor besproken kan dit echter ook het verwerken van informatie voor toekomstige beloningen representeren. Bij hyperscanning wordt de hersenactiviteit van twee participanten tegelijk gemeten in een fMRI scanner. Op deze wijze kunnen gedragsmatige en hersenactivatie veranderingen van het ene individu, voorspeld worden door die van het andere individu. Zulke onderzoeken hebben aangetoond dat activiteit in het dorsale striatum voorspellend is voor de intentie de andere participant te vertrouwen. Activiteit in dit hersendeel wordt namelijk vergroot na coöperatie van de ander en wordt in latere rondes al geactiveerd voordat de ander coöpereert. Wanneer participanten echter weten dat ze tegen een computer spelen, is geen activatie van beloning gerelateerde gebieden en gebieden voor sociale cognitie te zien. Dit toont aan dat keuzes niet alleen afhankelijk zijn van de mogelijke beslissingen, maar ook van de interpretatie van de acties van anderen.

De sociale context en sociale straf

Altruïstische straf is het afkeuren van mensen die sociale normen overtreden. Wanneer participanten in een economisch spel de kans krijgen een andere participant te straffen voor het niet coöpereren is activatie in het ventrale striatum te zien. Deze activiteit wordt verhoogd wanneer deze participanten geld investeren om de ander nog meer te kunnen straffen. In de ultimatum game biedt één participant geld aan waarop de ander het geld kan accepteren, waardoor het geld gelijk verdeeld wordt, of het kan afwijzen, waardoor beiden niks krijgen. Een rationele denker zou alles accepteren om zoveel mogelijk winst te maken, veel studies wijzen echter uit dat aanbiedingen die oneerlijk zijn vaak worden afgewezen. Het afwijzen van oneerlijke aanbiedingen leidt wel tot het maken van meer eerlijke aanbiedingen. Oneerlijke aanbiedingen leiden tot activatie in de insula cortex en wordt vergroot aan de hand van de mate van oneerlijkheid en was het grootst wanneer een aanbod later werd afgewezen. De activiteit in de dlPFC was gelijk tijdens verschillende condities, ongeacht of het aanbod werd geaccepteerd of niet. Deze resultaten lijken de dual-system theorie te ondersteunen: de insula geeft een emotioneel signaal dat de rationele keuzes van de dlPFC kan overtreffen. Wanneer echter TMS over de laterale PFC wordt toegepast, accepteren participanten vaker een aanbod. Dit hersendeel lijkt dus zelf controle te beïnvloeden en niet rationele keuzes.

Integratie

Het maken van keuzes in het dagelijks leven is veel lastiger dan in de hiervoor beschreven economische spellen, zoals het kiezen tussen het kopen van een nieuwe auto of op een lange vakantie gaan. De subjectieve waarde van een keuze wordt door een common currency signaal in het brein gereguleerd.

Hoe kunnen perceptueel keuzes worden gemaakt?

Bij apen werd de activiteit van een deel in de pariëtale kwab, de lateral intraparietal area (LIP) gemeten bij het maken van keuzes. De neuronen in dit gebied vuurden vaker in reactie op stimuli die geassocieerd werd met grotere en meer waarschijnlijke beloningen. In ander onderzoek waarbij de waarden van verschillende responsen van apen snel veranderden, was eenzelfde verandering in de activatie van LIP neuronen te zien. LIP activatie kan echter ook voortkomen uit de gevoeligheid van dit gebied voor visueel ruimtelijke stimuli. Het verbinden van beloningen aan oogbewegingen verhoogd namelijk ook de activiteit in de LIP. Drift-diffusion modellen stellen dat het keuze proces afhankelijk is van een toevallig proces van de neuronale staat naar drempels voor acties leidt.

Keuzes maken die gebaseerd zijn op waarde

Huidige modellen voor het maken van keuzes stellen dat het brein beloningen met verschillende eigenschappen (b.v. de waarde van geld versus de waarde van een blikje cola) met elkaar vergelijkt door informatie over elke beloning op een abstracte wijze te encoderen. Nieuwe studies ondersteunen dit idee en hebben gesuggereerd dat neurale stromingen die informatie die onafhankelijk is van modaliteit in de ventrale PFC verwerkt worden. Vroege onderzoeken hebben al aangetoond dat schade aan dit hersendeel leidt tot een verminderde zelfcontrole. Nieuw onderzoek heeft echter uitgewezen dat patiënten met schade aan dit hersendeel ongevoelig zijn voor negatieve feedback. In de Iowa Gambling taak blijven zij bijvoorbeeld consequent van de risicovolle stapel kiezen, hiernaast laten zij geen verhoogde skin conductance respons zien bij het kiezen van deze stapel. Onderzoekers concludeerden dat patiënten met schade aan dit hersendeel ongevoelig zijn voor de lichamelijke signalen over risico of veiligheid over een toekomstige keuze. Ander onderzoek heeft aangetoond dat patiënten met schade aan de ventrale PFC geen spijt ervaren na verliezen in gokspellen. Deze studies tonen samen aan dat de ventrale PFC leidt tot defecten in de integratie van beloningen. Het hersendeel dat het meeste bewijs levert voor een common currency signaal is de orbitofrontal cortex. Neuronen in dit gebied reageren op verschillende beloningen en de hoeveelheid die deze neuronen vuren komt overeen met de subjectieve waarde van een gekozen beloning.

Simpele keuzes maken

Bij het maken van een simpele keuze, zoals de keuze tussen een chocolade of een fruittaartje, wordt een beroep gedaan of eerdere ervaringen en huidige sensorische ervaringen. Volgens het drift-diffusion model zal informatie die consistent is met een keuze de stroom in de richting van de geassocieerde drempel leiden met een snelheid van de proportionele kwaliteit van het bewijs. Wanneer de keuze moeilijker te maken is zal meer bewijs gezocht moeten worden voordat deze gemaakt wordt, waardoor de drempels verder vanaf het beginpunt zullen liggen. Dit leidt tot een langere tijd voordat een keuze gemaakt wordt maar ook tot een grotere waarschijnlijkheid dat de juiste keuze gemaakt wordt. Een aanname van dit model is dat keuzes gemaakt worden wanneer opgetelde informatie over een bepaalde drempel heen komt. Vooral de posterior parietal cortex en de dorsomedial PFC zijn belangrijk bij de integratie tijdens het maken van simpele keuzes.

Wat zijn heuristieken?

Mensen maken vaak gebruik van heuristieken, simpele regels, om complexe keuzes makkelijker te maken. Herbert Simon was de eerste die stelde dat mensen gebruik maken van heuristieken omdat mensen geen oneindige computationele middelen hebben, hij noemde dit bounded rationality. Hij stelde dat wanneer mensen een keuze moeten maken uit veel verschillende opties (bijvoorbeeld in de supermarkt), zij gebruik maken van een zogenoemde satisficing heuristiek, een combinatie van satisfy en suffice. De ankering heuristiek refereert naar de neiging om referentie punten te gebruiken die een waarde oordeel beïnvloed. Wanneer bijvoorbeeld gevraagd wordt is dit gebouw korter of langer dan 100 meter, schatten mensen het gebouw meer in de buurt van 100 meter dan wanneer gevraagd wordt is dit gebouw korter of langer dan 30 meter. Het endowment effect is hieraan gerelateerd: mensen die een object bezitten geven aan dat zij dit object meer waard vinden dan wanneer zij het nog niet bezitten en aan moeten geven hoeveel zij ervoor zouden willen betalen. Een andere heuristiek is het framing effect, mensen zoeken risico’s wanneer zij denken aan wat ze kunnen verliezen, maar vermijden risico’s wanneer zij denken aan wat zij kunnen winnen, zelfs wanneer de uitkomsten hetzelfde worden gehouden. Wanneer mensen geprikkeld worden om aan financiële winsten te denken maar tegelijk risico zoekend gedrag vertonen is een verhoogde activatie in de amygdala en de dmPFC te zien. Onderzoekers stelden dat deze activatie zorgt dat emotionele processen het risicogedrag stopt wat leidt tot het gebruik van heuristieken. Andere onderzoekers stellen dat dit niet klopt, omdat zowel bij participanten die gebruik maken van heuristieken als participanten die op een rationele wijze keuzes maken activiteit in de dmPFC te zien is.

Welke toekomstige onderzoeksrichtingen bestaan er?

Berichten die in de media verschijnen over hersenonderzoeken maken de conclusies van onderzoeken meer overtuigend en echt dan ze eigenlijk zijn, dit wordt neurorealisme genoemd. Het is van belang dat neurowetenschappers die onderzoek doen naar keuzes maken verbanden leggen tussen de neurowetenschap en andere disciplines. Het maken van keuzes gebeurd namelijk niet in isolatie en wordt beïnvloed door veel cognitieve functies. Het maken van niet adaptieve keuzes komt vooral voor bij drugsverslaafden en is daarom een interessante groep om het maken van keuzes te onderzoeken.

Marketing

Onderzoek op het gebied van neuromarketing heeft als doel de keuzes van consumenten te kunnen voorspellen aan de hand van hersenactiviteit. Hierbij wordt gebruik gemaakt van fMRI, EEG, SCR metingen en eye tracking methoden.