VITO

In het groen van de Antwerpse gemeente Mol ontwikkelt de Vlaamse Instelling voor Technologisch Onderzoek (VITO) totaaloplossingen voor vraagstukken op het gebied van energie, materiaalbehandeling, scheikunde, gezondheidsbewaking en landgebruik. Met het onderdeel aardobservatie uit het thema landgebruik onderbouwt VITO onder meer de studie van de bevolkingsgroei, stadsontwikkeling, natuurrampen, evenals land- en bosbouw. Stuk voor stuk zijn dit cruciale aspecten in de uitdaging om een groeiende wereldbevolking te huisvesten en te voeden.

In het bijzonder op het gebied van de studie van vegetatie heeft VITO internationaal een stevige positie uitgebouwd als leverancier van beelddata van een veranderend aardoppervlak. Dat gaat van de nodige waarnemingsinstrumenten, zoals sensoren en camera’s, tot de platformen waarin deze worden ingebouwd. Die platformen vormen zelf ook een gevarieerde uitdaging, want ze vliegen zowel door het luchtruim (bemande en onbemande vliegtuigen) als in de ruimte (satellieten). Voorts staat VITO in voor de eerste verwerking van de rauwe observatiedata, evenals van het aanleveren van bruikbare informatie aan de meer dan 10.000 afnemers wereldwijd. Afnemers die zowel grote internationale organisa-ties zijn, als onderzoeksinstellingen, beleidsinstanties (overheden, etc.) en bedrijven (groot en klein).

De verwerking en opslag van die observatiegegevens is de taak van het Remote Sensing Image Treatment Center, dat hiervoor over een eigen datacenter met meer dan 100 op een totaal van meer dan 500 servers beschikt. Het voert een eerste reeks van correcties uit op de rauwe data, onder meer om bewegings-fouten (geometrische fouten), atmosferische invloeden en instrumentafwijkingen te elimineren. Vervolgens worden op basis van die datasets de gewenste informatie-producten samengesteld, die vervolgens binnen de afgesproken tijd aan de afnemers worden aangeboden.

PDF Download

Het grote belang van data in ‘remote sensing’ oplossingen zal niemand verbazen, evenals de uitdaging van grote en groeiende datasets. Johan Vereecken, project manager bij VITO Remote Sensing, illustreert dit haarscherp aan de hand van de datastroom van de Proba-V satelliet. “De Proba-V, met de V van ‘vegetatie’, is een geheel Belgische satelliet, die continu waarnemingen van de plantengroei op aarde verricht. Hij bevindt zich in een zon-synchrone bijna-poolbaan, zodat hij een zelfde gebied op aarde steeds bij een zelfde belichting waarneemt. Dat laatste doet hij in een aantal banden van het spectrum, met een beeldresolutie die gaat van 1 km, over 300 m tot 100 m,” aldus Vereecken, “Dagelijks is dat goed voor gemiddeld 26 GB aan rauwe data, en dat sinds 2013, het jaar van de lancering.” Maar daarmee is de kous niet af. Naast de rauwe data, worden ook de intermediaire verwerkingsdata opgeslagen, voor later gebruik. “Het kan immers dat verfijningen in algoritmen of verwerkingstools zich aandienen, zodat datasets opnieuw worden verwerkt om er nog meer of betere data uit te puren.” En die informatiesets zijn op hun beurt talrijk, met datasyntheses (synthesebeelden) over de periode van 1 dag, vijf dagen en tien dagen.

PDF Download

Kortom, het zal niet verbazen dat de Remote Sensing activiteit van VITO ondertussen al een data-archief van 5 PB heeft opgebouwd, waarvan ca. 2,4 PB zich op schijf bevindt, ter beschikking van de afnemers. Die hoeveelheden zullen in de toekomst snel stijgen, en niet alleen door de huidige activiteiten. Zo liggen nu al studies voor van satellieten die in heel wat meer banden van het spectrum (bijv. 50 in plaats van 5) tegelijkertijd observaties verrichten, en dat continu in een hoge resolutie. Ook de SLA waarin de informatie beschikbaar moet komen, zal nog worden ingekort. “Hoe groter de dataset, hoe relevanter die is,” resumeert Vereecken bondig, en allicht bestaat de kans dat die datasets te groot worden om nog vlot (en/of betaalbaar) naar de afnemer door te sturen. Dat leidt dan weer tot de mogelijkheid voor de afnemers om hun toepassingen in het Remote Sensing data center zelf te draaien, met allicht bijkomende dataopslag noden. Kortom, het team van Remote Sensing bij VITO moet blijven bouwen aan een schaalbaar opslagsysteem, dat grote en groeiende databestanden continu kan aanbieden.

PDF Download

“Opslag is onze levensader,” stelt Johan Vereecken, “zonder data kunnen we er wel mee stoppen. VITO RS bewaart momenteel meer dan 1,5PB aan beelden op 6 NetApp storage controllers. Deze hardware wordt geclusterd tot één virtuele opslagomgeving. Het cluster concept zorgt voor schaalbaarheid en opvangen van toekomstige groei. Zowel de NAS als SAN workloads kunnen bovendien transparant binnen de cluster worden verplaatst, zo vermijden we downtime voor de applicaties.”

Maar het is duidelijk dat “De hardware is ondergeschikt aan de software” stelt Vereecken, “de echte intelligentie zit in de software.” Die rol is weggelegd voor het Data ONTAP besturingssysteem. “Met behulp hiervan kan zowel de bedrijfsinterne opslag, uitsluitend toegankelijk voor de interne medewerkers, als de opslag in de DMZ worden beheerd,” onderstreept Johan Vereecken, “Dat resulteert in een eenvoud van beheer, en een verhoogde beveiliging.” De verschillende ‘tenants’ die gecreërd worden zullen nog aan belang winnen naarmate meer externe data afnemers hun toepassingen rechtstreeks bij VITO RS draaien.

ONTAP draait als een besturingssyteem bovenop de cluster van fysische opslagssystemen. Naast NetApp Hardware beheert het eveneens de storage hardware van andere leveranciers en creëert het zo een uniform platform binnen een heterogene omgeving.

“De introductie van NetApp materiaal viel samen met de lancering van de Proba-V satelliet,” stelt Johan Vereecken, en heeft in belangrijke mate aan het daarop volgende succes van de dataverwerking voor de afnemers bijgedragen.

PDF Download

Sector
Onderzoek

De uitdaging
Grote en snel groeiende datasets
Beheer van heterogene opslagomgevingen

De oplossing
Scale out NAS Opslagbeheersoftware

De voordelen

• Schaalbaarheid en opvangen van toekomstige groei
• Nul downtime voor de applicaties
• Eenvoud van beheer
• Verhoogde beveiliging
• Uniform platform binnen een heterogene omgeving

PDF Download