Je leest:

Leren met neurale netwerken

Leren met neurale netwerken

De neurobiologische inzichten en toepassingen van neurale netwerken

Auteur: | 7 juni 2002

Informatieverwerking in de hersenen gebeurt door continue aanpassing van de verbindingen tussen zenuwcellen in de hersenen. De neurobiologische basis principes, die hieraan ten grondslag liggen, worden nu goed begrepen. Dit heeft geleid tot nieuwe inzichten en tot toepassingen van deze kennis om complexe problemen op te lossen met zogenaamde neurale netwerken. In dit artikel probeer ik inzichtelijk te maken hoe informatie wordt opgeslagen en hoe dit kan worden nagebootst.

In de tijd van Descartes werd het functioneren van het brein vergeleken met een hydraulisch systeem met aandrijfzuigers. In de hedendaagse populair wetenschappelijke literatuur wordt het brein vaak vergeleken met een geavanceerde computer. Het is de mens kennelijk eigen om zeer complexe systemen, die niet begrepen worden en die verwondering wekken, te vergelijken met de meest geavanceerde stand van de techniek op dat moment. Toch gaat de vergelijking tussen computers en de hersenen volledig mank. In deze tekst wordt uiteengezet waarom. Tevens zal duidelijk gemaakt worden, hoe de hersenen informatie kunnen leren en opslaan.

Communicatie en informatie uitwisseling tussen zenuwcellen.

Hoewel er veel verschillende typen cellen zijn in het zenuwstelsel, is de basis structuur van zenuwcellen steeds hetzelfde (zie afbeelding 1). Iedere zenuwcel heeft een cellichaam (soma). Ten gevolge van een actieve ionenpomp in de membraan van de cel (veelal een eiwitstructuur, die positieve Na+-ionen naar buiten pompt) is de elektrische potentiaal van het cellichaam voor een zenuwcel in rust ongeveer – 60 milliVolt t.o.v. de buitenkant van de cel. Indien de interne potentiaal een drempelwaarde overschrijdt (hoger wordt dan bijv. – 30 mV) ontstaat een zogenaamde actiepotentiaal: een kortdurende (duur ongeveer 1 ms) verhoging van de interne potentiaal naar + 80 mV, waarna de interne potentiaal weer teruggaat naar – 60 mV (zie afbeelding 2). Deze actiepotentiaal ontstaat door ionenstromen door het membraan van de cel en loopt vervolgens weg van het cellichaam met een snelheid van ongeveer 50 m/s via de zenuwuitloper van de cel (ook wel axon genoemd). Dit axon splitst zich na enige tijd en de diverse uitlopers van het axon gaan naar andere cellen. Deze uitlopers komen aan bij de antenne-achtige structuur, waarop de signalen van een groot aantal andere cellen binnenkomen. Bij het contact punt (synaps genoemd) komt bij een actiepotentiaal een neurotransmitter vrij, die er voor zorgt, dat de geleidbaarheid van het membraan voor ionen verandert. Indien positieve ionen (bijv. Na+ of K+) naar binnen kunnen stromen, wordt de interne potentiaal hoger. Indien negatieve ionen naar binnen stromen (bijv. Cl-) wordt de interne potentiaal lager. De mate, waarin de geleidbaarheid voor ionentransport door het membraan verandert ten gevolge van de vrijkomende neurotransmitter, kan veranderen. Gemakshalve wordt daarom vaak gezegd, dat de sterkte van de synaptische verbinding tussen twee neuronen kan veranderen (zie ook hieronder). De diverse veranderingen in de membraanpotentiaal planten zich voort via de dendrietenboom naar het cellichaam. Indien de interne potentiaal daar de drempelwaarde overschrijft, ontstaat zoals eerder uitgelegd, een actiepotentiaal.

Afbeelding verkregen via Nederlands Instituut voor Biologie (NIBI)

Afbeelding 1. Schematisch voorbeeld van een zenuwcel of neuron. Het neuron ontvangt input van andere neuronen op de dendrieten. Vandaar gaan de signalen naar het cellichaam (soma). Indien de totale input een drempelwaarde overschrijdt, wordt een actiepotentiaal gegenereerd, die zich voortplant langs het axon naar andere cellen in het zenuwstelsel.

Hoe wordt informatie in de hersenen opgeslagen ?

In 1949 bedacht een zekere mijnheer Hebb, dat de informatie opgeslagen ligt in de sterkte van de synaptische contacten. Hij redeneerde dat, indien twee cellen regelmatig gelijktijdig een actiepotentiaal genereren ,deze cellen kennelijk bij dezelfde taken betrokken zijn en derhalve informatie moeten uitwisselen. Als gevolg van plasticiteit van de synaptische verbinding tussen deze twee neuronen, wordt de synaptische verbinding dan effectiever (sterker), waardoor informatie uitwisseling tussen deze twee neuronen in de toekomst beter en efficienter zou kunnen geschieden. Dit proces is later (in de negentiger jaren) ook inderdaad experimenteel aangetoond. Als daarentegen de twee cellen wel actief zijn, maar zelden samen een actiepotentiaal genereren, hebben de cellen niets met elkaar van doen en zijn verbindingen tussen de cellen niet nodig. In dat geval worden synaptische verbindingen zwakker of verdwijnen ze zelfs. Kort samengevat, redeneerde hij, dat de sterkte van een synaptische verbinding proportioneel toeneemt met de waarschijnlijkheid dat twee cellen op hetzelfde moment een actiepotentiaal genereren. In latere experimenten zijn deze veronderstellingen met betrekking tot het veranderen van de synaptische sterkten experimenteel bevestigd.

Afbeelding verkregen via Nederlands Instituut voor Biologie (NIBI)

Afbeelding 2. Schematisch overzicht van de wijze waarop een axon zich vertakt en input geeft op de dendrieten van een ander neuron. De neurotransmitter, die bij een synaps vrijkomt indien daar een actiepotentiaal aankomt, leidt tot een verandering van de potentiaal over het membraan. Dit kan leiden tot een actiepotentiaal (panel rechtsboven) waarbij de potentiaal over het membraan van – 80 mV stijgt naar +40 mV en daarna weer teruggaat naar de oorspronkelijke waarde. Dit alles gebeurt binnen ongeveer een milliseconde. (klik op de afbeelding voor een grotere versie)

Om te begrijpen hoe de informatie opgeslagen ligt in de synapsen, gaan we het gedrag van een neuron vereenvoudigen. Stel dat Jij de sterkte voorstelt van de synaptische verbinding van neuron j naar neuron i. Aangezien neuronen actief zijn of niet actief zijn, stellen we de toestand van een neuron i voor door si, en die toestand is 0 of 1. De toestand si van het neuron is 0 als het neuron in rust is, en de toestand si is 1, indien het neuron een actiepotentiaal genereert. De input, die neuron i ontvangt van neuron j op tijdstip t is nul, als neuron j in rust is, en is Jij indien neuron j een actiepotentiaal genereert op tijdstip t. De totale input van een neuron i op tijdstip t wordt dan gegeven door de sommatie van alle Jij, waarvoor geldt dat neuron j een actiepotentiaal genereert op dat moment. Zoals eerder is uitgelegd zal neuron i zelf een actiepotentiaal genereren indien de totale input een drempelwaarde overschrijdt. Dus geldt, dat voor een volgende tijdstip t+1 geldt, dat si = 1 als de totale input de drempelwaarde overschrijdt. Als daarentegen de totale input kleiner is dan de drempelwaarde, volgt si = 0 voor tijdstip t+1.

Stel nu dat we het netwerk iets willen leren. Dat kunnen we doen volgens de eerder beschreven Hebb-leerregel door de sterkte van de synaptische verbindingen tussen neuron i en j proportioneel te maken met de activiteit van de twee neuronen i en j. In afbeelding 3 hebben we negenhonderd neuronen in een matrix van 30 bij 30 neuronen geordend. Witte hokjes corresponderen met neuronen die actief zijn en een actiepotentiaal genereren. Zwarte hokjes corresponderen met neuronen, die in rust zijn. We kunnen nu de 10 patronen leren aan het netwerk door voor elk patroon de sterkte van de verbinding tussen alle paren van neuronen sterker te maken (zie afbeelding 3A), indien de twee neuronen beide actief zijn en zwakker te maken indien het ene neuron actief is en het andere niet. Dit doen we voor elk patroon. Er kan nu aangetoond worden, dat de activiteit in het netwerk van neuronen overeenkomt met een energie oppervlak, waarin de toestanden van de neuronen zodanig veranderen, dat het netwerk naar een “minimum energie” toestand gaat. Die minimum energie correspondeert met een van de geleerde patronen. Dit wordt geillustreerd in afbeelding 3B, waar we een patroon aanbieden, dat een van de 10 aangeleerde patronen is en dat ernstig met ruis is verstoord (meest linker paneel van afbeelding 3B). Vervolgens gaat elk neuron op basis van de input, die het krijgt van de andere neuronen in het netwerk, de toestand aanpassen en komt in de toestand +1, als de input de drempelwaarde overschrijdt, en in de toestand 0, indien de input onder de drempelwaarde blijft. Daardoor verandert de activiteit in het netwerk. De opeenvolgende panelen geven de toestand van het netwerk weer op opeenvolgende momenten in de tijd. We zien, dat het netwerk evolueert naar het aangeleerde patroon, dat verborgen lag in de ruis. Dit voorbeeld illustreert dat neurale netwerken (zowel biologische als artificiele neurale netwerken) uitstekend in staat zijn om bekende patronen in ruis te herkennen.

Afbeelding verkregen via Nederlands Instituut voor Biologie (NIBI)

Afbeelding 3A. Een aantal patronen, die zijn aangeleerd aan het neuraal netwerk. Elk patroon bestaat uit de activiteit van 900 neuronen, die in een matrix van 30 bij 30 neuronen zijn gerangschikt. Een neuron, dat actief is wordt met wit aangegeven en een neuron dat niet actief is, wordt met zwart aangegeven. Vervolgens worden de synaptische verbindingen tussen de neuronen aangepast volgens de Hebb leerregel (zie tekst).

Meer informatie en uitleg over het leren en opslaan van informatie in het zenuwstelsel kan gevonden worden in het boek van Kandel et al. (zie bronnen).

Afbeelding verkregen via Nederlands Instituut voor Biologie (NIBI)

Afbeelding 3B. Een van de aangeleerde patronen wordt met ruis verstoord en wordt dit verstoorde patroon aan het netwerk aangeboden: elk neuron wordt wel of niet actief gemaakt overeenkomstig het verstoorde patroon. Daarna verandert elk neuron autonoom van toestand, afhankelijk van de binnenkomende signalen van de andere neuronen. Geleidelijk komt hierbij het in de ruis verborgen, aangeleerde patroon weer tevoorschijn.

Verschillen in informatieverwerking door de hersenen en door een computer.

Waarom kunnen computers veel sneller rekenen dan de mens, maar is de mens de computer toch de baas bij veel complexe taken, zoals bijvoorbeeld bij het beoordelen van medische beelden of het besturen van een auto in het drukke verkeer ? Een computer heeft meestal één of een aantal processoren (ook wel CPU genaamd), die instructies uitvoeren op een tijdschaal van nanoseconden (één miljardste van een seconde) of sneller. Omdat de processen in een hersencel zich afspelen op een tijdschaal van ongeveer 1 milliseconden, is de CPU van een computer een miljoen keer sneller dan een zenuwcel. Dit verklaart waarom een computer veel sneller kan rekenen dan de mens. Want rekenen is immers niets meer dan 2 getallen bij elkaar optellen, vermenigvuldigen etc. en dat gaat veel sneller met een CPU dan met een zenuwcel. In de hersenen zijn echter een groot aantal cellen actief (in totaal zijn er ongeveer 10E11 zenuwcellen !), waardoor meer informatie gelijktijdig verwerkt kan worden dan in een computer, die meestal over hoogstens of enige duizenden processoren beschikt. Samenhangend met het grote aantal neuronen in het zenuwstelsel is een belangrijk verschil met een computer, dat een klein defect in de computer vaak catastrofaal is voor het functioneren, terwijl het kapot gaan van een paar zenuwcellen weinig consequenties heeft. Dit valt te begrijpen uit het feit, dat elk neuron informatie ontvangt van heel veel andere neuronen. Indien we in het voorbeeld van afbeelding 3 een paar cellen “kapot” maken, zal het effect op de totale input voor elk goed functionerend neuron gering zijn: het ontbreken van input van een paar cellen is niet zo belangrijk vanwege de correcte input van de vele overige, nog goed functionerende cellen. Als gevolg daarvan zal het, in de ruis verborgen, patroon nog steeds goed herkend worden. Dit voorbeeld illustreert een ander belangrijke eigenschap van het zenuwstelsel; indien het zenuwstelsel iets heeft geleerd, is het verliezen van een paar neuronen niet desastreus. We ervaren dat iedere dag zelf; dagelijks sterven een aantal neuronen af, die niet worden bijgemaakt. Toch wordt het effect van het dagelijks afsterven van neuronen vaak pas op latere leeftijd merkbaar in het minder worden van ons geheugen en het trager worden van ons handelen.

Er is echter nog een meer fundamenteel verschil. Een computer kan slechts goed werken indien er een foutloos computer programma beschikbaar is, waarin de oplossing van een probleem stap-voor-stap in detail is uitgewerkt. Mens en dier worden echter niet geprogrammeerd, maar leren door “trial-en-error” (letterlijk en figuurlijk door vallen en opstaan). Een voorbeeld van het leren van complexe bewegingen zie je in de voetballerij. Een voetballer, die moet leren de bal in de kruising te schieten, zal langdurig en vaak moeten oefenen. Dit leerproces verloopt erg traag. Merk op dat Pierre van Hooydonk van Feyenoord, die een reputatie heeft opgebouwd om vrije trappen te benutten, niet kan uitleggen welke spieren hij precies gebruikt en op welk punt hij de bal precies raakt om een bal in de kruising te schieten. Recent onderzoek heeft aangetoond, dat bij het leren van complexe taken de synaptische verbindingen op diverse plaastsen in de hersenen veranderen. Met moderne neuro-imaging methoden kan zichtbaar gemaakt worden waar in het brein hersenkernen actief zijn en kan dit leerproces zichtbaar worden gemaakt, waardoor nieuwe inzichten worden verkregen in de rol van verschillende delen van de hersenen bij het leren en uitvoeren van complexe taken. Bovenstaande verklaart, dat mensen complexe taken kunnen leren zonder expliciet te weten hoe ze dit doen. Een goede voetballer is daarom ook nog geen goede trainer !

Nieuwe toepassingen van neuronale informatieverwerking.

ZInzicht in de wijze waarop hersenen leren om complexe informatie te verwerken en op te slaan, kan gebruikt worden in artificiële neurale netwerken. Hierin worden de basis principes van informatieverwerking in het zenuwstelsel gebruikt om, in het kader van de artificiële intelligentie(AI), complexe taken op te lossen die niet met de huidige informatica en AI methoden op te lossen zijn. Bijvoorbeeld de vraag ‘hoeveel kranten zullen er het komend weekend in de vrije verkoop worden verkocht ?’. Bij mooi weer gaan de mensen erop uit en zullen er meer kranten verkocht worden in de recreatiegebieden dan in de grote steden. Als Feyenoord de UEFA-cup wint, zullen er meer kranten in Rotterdam worden verkocht. Het is hierbij van belang te ontdekken in welke mate externe factoren (zoals het weer, of bepaalde gebeurtenissen in het nieuws) de verkoop bepalen. Dit kan geleerd worden met behulp van artificiële neurale netwerken, indien gegevens uit het verleden beschikbaar zijn waaruit bekend is hoeveel kranten er verkocht zijn bij diverse omstandigheden van het weer en bij diverse gebeurtenissen in het nieuws. Net zoals mensen, kunnen ook artificiële neurale netwerken op basis van, in het verleden opgedane, kennis goede beslissingen nemen in omstandigheden die volkomen nieuw zijn.. Er zijn inmiddels vele succesvolle toepassingen van artificiele neurale netwerken op het gebied van optimalisatie van een industrieel productieproces, op het gebied van patroonherkenning, of op het gebied van het voorspellen van ontwikkelingen op de financiele markten.

Bronnen

E.R. Kandel, J.H. Schwartz en T.M. Jessel. Principles of Neural Science. Prentice-Hall Inc. D.J. Amit. Modeling Brain Function. Cambridge University Press.

Zie ook:

Dit artikel is een publicatie van Nederlands Instituut voor Biologie (NIBI).
© Nederlands Instituut voor Biologie (NIBI), sommige rechten voorbehouden
Dit artikel publiceerde NEMO Kennislink op 07 juni 2002
NEMO Kennislink nieuwsbrief
Ontvang elke week onze nieuwsbrief met het laatste nieuws uit de wetenschap.