Wat gebeurt er als twee sterrenstelsels botsen? Welk weer wordt het volgende week? Waar op het DNA ligt het gen voor borstkanker? Supercomputers rekenen hard aan dit soort vragen, maar zelfs de 272 computers van de Nederlandse DAS3 supercomputer lopen vroeg of laat tegen hetzelfde probleem aan: file op de informatiesnelweg.
Grote problemen bestaan uit hopen kleine stukjes informatie, zoals de snelheid en locatie van elke ster en planeet in een sterrenstelsel. Als auto’s op een snelweg gaan de stukjes informatie via het internet van supercomputer naar supercomputer. Maar als de snelweg op sommige plekken niet breed genoeg is, of de afrit naar één computer te smal, loopt deze communicatie al gauw vast.
TomTom voor datastromen
Vrije Universiteit promovendus Mathijs den Burger ging op zoek naar nieuwe manieren om de informatiesnelweg filevrij te houden. In zijn proefschrift beschrijft hij twee manieren om grote hoeveelheden data in een grid van supercomputers zo snel mogelijk van één computer naar meerdere andere te sturen. Dit heet multicast communicatie. De ene manier gebruikt een wegenkaart met file-informatie van het netwerk, en de andere verspreidt de informatie willekeurig over de digitale snelwegen.
Bij de eerste methode neemt een verkeersleider het dataverkeer over. De wegenkaart van het netwerk is bekend, net als de drukte op het netwerk. Met die informatie worden de richting en grootte van de datastromen berekend, zodat er niet onnodig file ontstaat. Deze ‘TomTom voor datastromen’ heeft alleen één probleem: je hebt er niks aan als de file-informatie niet perfect up to date is. En dat is lastig, want niemand heeft nog een goede manier bedacht om netwerken te scannen op informatiefiles.
BitTorrent voor supercomputers
Dat besefte Den Burger ook, dus keek hij zijn tweede methode af bij het populaire programma BitTorrent waarmee gebruikers bestanden delen. Dit programma hakt de data in kleine stukjes en verspreidt de informatie willekeurig over een groot aantal computers. Zo hebben veel computers een beetje informatie, in plaats van één computer alles. De kans op file is namelijk een stuk kleiner als niet iedereen tegelijk op dezelfde plaats hoeft te zijn.
Volgens Den Burger is deze “BitTorrent voor supercomputers” praktischer dan de wegenkaart. De kaart werkt alleen bij perfecte informatie over de datastromen in het netwerk, en die weet je slechts bij benadering. De BitTorrent methode daarentegen past zich snel aan, en je hoeft niet eerst een ingewikkelde wegenkaart te maken. Den Burger: “Je bent niet afhankelijk van een ingewikkelde TomTom. Je gaat gewoon wat doen en dan gaat het vanzelf wel goed.”
Film
Zelf ziet Den Burger zijn methode graag terug in echte grids, zoals de DAS3 supercomputer die verspreid is over verschillende Nederlandse universiteiten. Maar hoewel de methode nuttig is voor rekenen aan DNA, plaatjes analyseren en sterrenkundig onderzoek lost het nog niet alle problemen van gegevensuitwisseling op. “Voor livestreaming is dit niet zo’n handige methode. De in stukjes gehakte data komen in een willekeurige volgorde binnen. Een film downloaden en uitzenden tegelijk schiet dus niet op.”
Lees meer op Kennislink:
- Supercomputers rekenen aan donkere materie
- Supercomputer bij het KNMI
- Supercomputer simuleert botsing van drie zwarte gaten
- Sterrenhoop in netwerk supercomputers