Automatisch waarschuwen voor plaatselijke mist

Elk jaar komen een stuk of vijftig universitaire wiskundigen uit hun ivoren toren om een week lang, onder hoge tijdsdruk, te werken aan praktische problemen. Dit keer vond het evenement plaats aan de Radboud Universiteit. De wiskundigen bogen zich hier onder meer over mistdetectie aan de hand van camerabeelden. Kennislink keek mee.

2 maart 2016

Hoe krijg je een kilometerslange lopende band met slachtkippen beter onder controle? Kunnen we de rentestand nauwkeuriger voorspellen? Aan welke genetische markers kunnen we zien of een nieuw aardappelras snel zal groeien? Tegen dat soort problemen lopen bedrijven en instituten aan. Tijdens een jaarlijks evenement gaat de Studiegroep Wiskunde met de Industrie hiermee aan de slag. Het begint op maandagochtend met zes presentaties door een bedrijf of instituut. Na elke presentatie van een kwartier beginnen de wiskundigen in het zaaltje al meteen vragen op de bedrijfsvertegenwoordiger af te vuren – in de voertaal Engels, want veel van de wiskundigen spreken geen Nederlands.

Is dit nu ‘mist’ of niet? Voor de chauffeur van een personenauto misschien wel, voor iemand op de fiets, die net boven de laag grondmist uitsteekt, niet. Ook het door de Studiegroep ontwikkelde systeem voor automatische mistdetectie had moeite met dit type foto’s.
Knmi

Fijnmazig waarschuwingssysteem

Na de presentaties kiest elke deelnemer voor een van de aangedragen problemen. Kennislink volgt het groepje van zes wiskundigen dat aan de slag gaat met een probleem dat door het KNMI is ingediend. Het KNMI zou graag automatische mist-detectie doen op basis van, bijvoorbeeld, beelden van camera’s langs de weg. Mist is namelijk vaak heel plaatselijk en kan snel opkomen, dus een fijnmazig, automatisch waarschuwingssysteem zou erg nuttig zijn. De KNMI-groep trekt zich, net als de vijf andere groepen, terug in een eigen zaaltje, waar de rest van de week vele, in automaat-koffie gedrenkte, uren gemaakt zullen worden.

De Studiegroep Wiskunde met de Industrie is een jaarlijks evenement, dat bij een van de Nederlandse universiteiten plaatsvindt. Dit jaar was het in de Nijmeegse Radboud Universiteit. De Studiegroep brengt universitaire wiskundigen samen met mensen uit het bedrijfsleven en niet-universitaire instituten, die praktische problemen aandragen waar ze samen een week lang intensief aan werken. Het evenement wordt mogelijk gemaakt door NWO/EW en STW, twee grote overheidsfinanciers op het gebied van de exacte wetenschappen. Kennislink-redacteur Arnout Jaspers was de hele week aanwezig bij de Studiegroep Wiskunde met de Industrie, en schrijft in opdracht van de organisatie verslagen van de zes behandelde problemen.

Als je naar een foto van een landschap kijkt, heb je als mens meestal wel een idee hoe mistig het is. Mensen identificeren automatisch objecten in een foto, en weten hoe groot die ongeveer zijn, zodat je uit hun relatieve groottes afstanden afleidt. In combinatie met hoe grijs dat stuk van de foto is, trek je intuïtief conclusies over hoe goed het zicht is. Maar een computer herkent niets in een plaatje, die ‘ziet’ slechts de losse pixels van een digitaal beeld. Hoe kan een computer direct uit die pixels afleiden of hij naar een helder, dan wel mistig landschap kijkt?

Het uiteindelijk doel is, om software te maken die op basis van één foto tot een oordeel komt of er ‘geen mist’ is, of ‘mist’, of ‘dichte mist’. Mocht deze opgave binnen een week lukken, dan had het KNMI nog een noot op zijn zang: bepaal uit de camerabeelden wat het zicht in meters is. Natuurlijk is er bij mist nooit een harde grens tussen ‘goed zicht’ en ‘slecht zicht’, maar het is niet moeilijk om een criterium voor zo’n grens te bedenken waar een computer mee kan werken. De moeilijkheid is, net als bij de eerste opgave, om vanaf een foto tamelijk exact te bepalen waar die grens ligt.

Testfoto’s

De wiskundigen gingen aan de slag met drie sets van 1300 foto’s, allemaal door één vaste camera genomen van hetzelfde landschap overdag, in de maanden oktober, november en januari, bij allerlei weersomstandigheden. Deze camera staat op het KNMI meetveld waar zich ook de forward scatter sensor bevindt. Dit instrument zendt licht in het nabij infrarood uit en meet de hoeveelheid verstrooid licht. De hoeveelheid verstrooiing is een maat voor het zicht (meer verstrooiing, meer deeltjes en hoe lager het zicht).

Met zo’n instrument is automatische mistdetectie dus al mogelijk, en in theorie is het probleem op te lossen door verspreid door Nederland een paar duizend van zulke instrumenten neer te zetten. Maar dat is duur en onpraktisch, zeker gezien het feit dat van heel veel locaties gratis camerabeelden beschikbaar zijn.

Van de 3 × 1300 KNMI-foto’s was op deze manier al bepaald of ze in de categorie ‘geen’, ‘lichte’ of ‘dichte ‘ mist vallen en hoeveel meter het zicht is. Deze set foto’s vormde de gekalibreerde standaard waaraan de wiskundigen hun nog te bedenken methode konden testen.

Direct aan de slag

De situatie van deze zes wiskundigen was na de presentaties op maandagochtend uitzonderlijk: in deze groep geen moeizame discussie over wat nu eigenlijk de opgave was, en hoe dit naar een wiskundig probleem te vertalen. Bij een eerste bezoek aan de groep in hun eigen lokaal, op dinsdagochtend, is de sfeer dan ook ontspannen. Het schoolbord staat vol formules, sommige leden zijn al druk bezig op hun laptop code voor een programma te tikken, anderen overleggen over de beste aanpak van een ander aspect van het probleem. “Het probleem is gedefinieerd, we werken eraan en we gaan recht op de oplossing af”, zegt Peter Frolcovic uit Bratislava.

Ook later in de week werkt de groep zonder grote struikelblokken naar de oplossing toe. Al snel hebben ze een computerprogramma dat in ieder geval op een klein setje testfoto’s goed werkt.

Donkerste pixels zoeken

Tijdens de afsluitende presentatie, op vrijdagochtend, kan de groep zelfs twee methodes voor mistdetectie presenteren. Een belangrijke vondst voor de eerste methode was, dat er al software bestaat die foto’s kan ‘ontmisten’. Deze is in 2009 ontwikkeld door Kaiming He, Jian Sun en Xiaoou Tang van Hong Kong University en Microsoft Asia en beschreven in het artikel ‘Single image haze removal using dark channel prior’.

Hun ‘ontmisting’ is gebaseerd op een verrassend simpel principe, de dark channel prior (‘donker-kanaalaanname’). Die aanname houdt in: in een heldere foto van een landschap of stadsgezicht zijn overal – behalve in de lucht – pixels te vinden die in minstens één kleurkanaal bijna helemaal zwart zijn. Een pixel in een digitale kleurenfoto bestaat uit een combinatie van de kleurkanalen rood, groen en blauw. Bijvoorbeeld: in een maximaal witte pixel staan alle drie de kanalen vol aan, in een zwarte pixel staan ze alle drie uit, in een helder rode pixel staat alleen kanaal ‘rood’ vol aan.

De ‘donker-kanaalpixels’ in een heldere foto zitten onder andere in allerlei schaduwplekjes en kleine, helder gekleurde objecten. In een niet-heldere foto, echter, komen geen donker-kanaalpixels voor, omdat de mist overal wit (dus in alledrie de kanalen) strooilicht aan het beeld toevoegt. Door in elk stukje van de foto de minst heldere pixel op te zoeken, en aan te nemen dat dit in feite de donker-kanaalpixels zijn, kun je een donker-kanaalkaart van de foto maken, die op elk punt aangeeft hoeveel mist tussen dat punt in het landschap en de cameralens zat (wat uiteraard ook van de afstand afhangt).

Als je eenmaal zo’n kaart hebt, is het mogelijk die digitaal van de oorspronkelijke foto af te trekken, waardoor de mist optrekt. Het resultaat kan verbluffend realistisch zijn. De KNMI-groep gebruikte de donker-kanaalkaart op een andere manier. In de gekalibreerde test-foto’s bestaat de bovenste helft van het beeld uit open lucht. Bij helder weer bevatten die geen donker-kanaalpixels, maar het landschap daaronder wel, zodat de donker-kanaalkaart in een licht en een donker deel uiteen valt. Bij mistig weer is dat verschil veel minder duidelijk, dit verschil kan door een ‘mistgetal’ uitgedrukt worden.

Van dit mistgetal is bekeken, hoe goed dit overeenkomt met de KNMI testset waarvoor het zicht (de zogeheten MOR=_Meteorological Optical Range_) bekend was. In de grafiek moet een hoog mistgetal dus overeenkomen met een lage MOR. De grens voor mist (MOR < 1000m) is bij log(1000) = 6.9. Onderscheid maken tussen ‘mist’ en ‘geen mist’ lukt hiermee wel. Maar bij vrij goed zicht (laag mistgetal), zit er zo veel variatie in de MOR’s dat het niet goed mogelijk is om uit het mistgetal een zicht in meters af te lezen.

Randen zoeken

De eerste methode ging uit van het verschijnsel, dat kleuren vervagen in de mist. De tweede methode benut het feit, dat ook contouren in de mist vervagen. Een contour of rand is een lijn waarop pixels abrupt van kleur veranderen, iets wat een computer vrij makkelijk ziet. Er bestaat al lang software die randen opzoekt; dit zit al standaard in foto-bewerkingsprogramma’s.

De wiskundigen lieten in mistige en heldere foto’s naar randen zoeken. Zoals uit de illustratie hierboven blijkt, is het verschil evident. Ze namen nu het aantal randen als indicator, en keken hoe goed dit overeen kwam met het zicht in de testset foto’s van het KNMI.

Uit de analyse bleek, dat een foto met ‘veel randen’ met zekerheid een foto zonder mist is. Het omgekeerde is minder zeker: als je op grond van het lage aantal randen besluit tot ‘mist’, is dit in enkele gevallen toch een foto bij helder weer (de laagste rode en groene punten in de grafiek zijn de zogeheten outliers). En er is een middengebied waar het aantal randen weinig tot niets over het zicht zegt.

Roberto Castelli van de Vrije Universiteit, die de presentatie deed, vermoedt dat sommige outliers foto’s zijn, waar er alleen lokaal een dunne laag grondmist boven het weiland hangt. Dan gaat subjectieve inschatting meespelen. “Als je in een auto rijdt is dit mistig, maar als je fietst of wandelt, is dit niet mistig.” Ook was volgens Castelli wel duidelijk dat de methode niet goed werkt als het bijna donker is. Ook dan vindt de computer weinig randen in het camerabeeld, hoewel het zicht dan voor een mens nog best meer dan een kilometer kan zijn.

Na de presentatie kreeg Martin Roth van het KNMI, die dit probleem had aangedragen, het laatste woord. “Ik vind allebei de methodes voor mist-detectie aantrekkelijk. De twee methodes geven ook dezelfde outliers, wat vertrouwen geeft dat ze deugen. Het KNMI moet nu gaan nadenken over wat we precies willen met mist-detectie. Willen we ook zo’n dunne laag mist boven een weiland kunnen detecteren?”

Zoals bij alle groepen, is het verrichte werk in deze week vooral de aanzet tot vervolgonderzoek. Roth heeft al ideeën hoe het verder moet. “Op basis van één foto krijgen we al heel goede resultaten. Ik denk dat we dit nog kunnen verbeteren door tijd-series van foto’s te gebruiken voor detectie. In ieder geval is nu veel duidelijker gedefinieerd wat we kunnen doen om dit verder te ontwikkelen.”

Ben je wiskundige aan een universiteit, en heb je interesse in deelname aan de SWI 2017? Mail contactpersoon Vivi Rottschäfer ([email protected]).