Je leest:

Minder file op de digitale snelweg

Minder file op de digitale snelweg

Auteur: | 1 juli 2009

Het internet is één grote informatiestroom. Maar soms loopt deze stroom wel eens vast. Dat is vooral vervelend voor supercomputers die massa’s informatie moeten uitwisselen. Promovendus Mathijs Den Burger van de Vrije Universiteit bedacht twee manieren om files op de informatiesnelweg op te lossen.

Wat gebeurt er als twee sterrenstelsels botsen? Welk weer wordt het volgende week? Waar op het DNA ligt het gen voor borstkanker? Supercomputers rekenen hard aan dit soort vragen, maar zelfs de 272 computers van de Nederlandse DAS3 supercomputer lopen vroeg of laat tegen hetzelfde probleem aan: file op de informatiesnelweg.

Grote problemen bestaan uit hopen kleine stukjes informatie, zoals de snelheid en locatie van elke ster en planeet in een sterrenstelsel. Als auto’s op een snelweg gaan de stukjes informatie via het internet van supercomputer naar supercomputer. Maar als de snelweg op sommige plekken niet breed genoeg is, of de afrit naar één computer te smal, loopt deze communicatie al gauw vast.

In principe kunnen alle computers ter wereld via het internet tegelijk aan een vraagstuk werken. Zo’n verzameling computers heet een grid. Een grid supercomputers gaat bijvoorbeeld uitzoeken of het Higgsdeeltje bestaat zodra de deeltjesversneller bij CERN eenmaal werkt.

TomTom voor datastromen

Vrije Universiteit promovendus Mathijs den Burger ging op zoek naar nieuwe manieren om de informatiesnelweg filevrij te houden. In zijn proefschrift beschrijft hij twee manieren om grote hoeveelheden data in een grid van supercomputers zo snel mogelijk van één computer naar meerdere andere te sturen. Dit heet multicast communicatie. De ene manier gebruikt een wegenkaart met file-informatie van het netwerk, en de andere verspreidt de informatie willekeurig over de digitale snelwegen.

Bij de eerste methode neemt een verkeersleider het dataverkeer over. De wegenkaart van het netwerk is bekend, net als de drukte op het netwerk. Met die informatie worden de richting en grootte van de datastromen berekend, zodat er niet onnodig file ontstaat. Deze ‘TomTom voor datastromen’ heeft alleen één probleem: je hebt er niks aan als de file-informatie niet perfect up to date is. En dat is lastig, want niemand heeft nog een goede manier bedacht om netwerken te scannen op informatiefiles.

BitTorrent voor supercomputers

Dat besefte Den Burger ook, dus keek hij zijn tweede methode af bij het populaire programma BitTorrent waarmee gebruikers bestanden delen. Dit programma hakt de data in kleine stukjes en verspreidt de informatie willekeurig over een groot aantal computers. Zo hebben veel computers een beetje informatie, in plaats van één computer alles. De kans op file is namelijk een stuk kleiner als niet iedereen tegelijk op dezelfde plaats hoeft te zijn.

BitTorrent hakt gegevens in kleine stukjes. Computers wisselen die stukjes vervolgens met elkaar uit. In Den Burger’s methode werken meerdere computers in een supercomputer met elkaar samen. Als de gegevens uit 600 stukjes bestaan, downloaden 6 afzonderlijke computers elk maar 100 stukjes, en wisselen die vervolgens onderling uit. Bovendien downloaden snellere computers vanzelf meer dan 100 stukjes, zodat langzame computers minder hoeven te doen en de boel niet ophouden. Zo heeft iedereen nog sneller alle gegevens binnen.

Volgens Den Burger is deze “BitTorrent voor supercomputers” praktischer dan de wegenkaart. De kaart werkt alleen bij perfecte informatie over de datastromen in het netwerk, en die weet je slechts bij benadering. De BitTorrent methode daarentegen past zich snel aan, en je hoeft niet eerst een ingewikkelde wegenkaart te maken. Den Burger: “Je bent niet afhankelijk van een ingewikkelde TomTom. Je gaat gewoon wat doen en dan gaat het vanzelf wel goed.”

Film

Zelf ziet Den Burger zijn methode graag terug in echte grids, zoals de DAS3 supercomputer die verspreid is over verschillende Nederlandse universiteiten. Maar hoewel de methode nuttig is voor rekenen aan DNA, plaatjes analyseren en sterrenkundig onderzoek lost het nog niet alle problemen van gegevensuitwisseling op. “Voor livestreaming is dit niet zo’n handige methode. De in stukjes gehakte data komen in een willekeurige volgorde binnen. Een film downloaden en uitzenden tegelijk schiet dus niet op.”

Lees meer op Kennislink:

Lees meer over supercomputers:

Dit artikel is een publicatie van NEMO Kennislink.
© NEMO Kennislink, sommige rechten voorbehouden
Dit artikel publiceerde NEMO Kennislink op 01 juli 2009

Discussieer mee

0

Vragen, opmerkingen of bijdragen over dit artikel of het onderwerp? Neem deel aan de discussie.

NEMO Kennislink nieuwsbrief
Ontvang elke week onze nieuwsbrief met het laatste nieuws uit de wetenschap.