Extra paar ogen

Augmented Reality helpt bij military search

Via verschillende wegen ondersteunt DMO de operationele commando's van de krijgsmacht met innovatieprojecten. Zo werkt het IT-bedrijf van Defensie JIVC samen met het Nederlands Lucht- en Ruimtevaartcentrum aan ARTEX, dat staat voor Augmented Reality for Technical Exploitation in Counter IED-operations. Dit Augmented Reality (AR)-systeem helpt Advanced Search Teams bij technische exploitatie.

Het lijkt een doodnormale woning, maar gebouw 31 bij de Mineurs- en Sappeursschool in Reek ligt vol explosieven, geld en gegevensdragers. Des te gekker is dat te midden van de plaats van de operatie een genist met een AR-bril op staat. Voor wie niet beter weet, reikt hij met zijn vingers in het luchtledige; in zijn virtuele omgeving legt hij echter de bewijslast van zijn zoeking digitaal vast.

Het is slechts een van de mogelijkheden die ARTEX (Augmented Reality for Technical Exploitation in Counter IED-operations) biedt, vertelt majoor Pascal Trum, stafofficier Kennis en Innovatie, werkzaam bij het Defence Expertise Centre Counter IED bij het Land Warfare Centre. Noodzakelijk, want military search kent de nodige uitdagingen.

Stel je voor. Een search team doorzoekt een gebouw in inzetgebied. De tijd dringt, de spanning is om te snijden. Er klinken geweerschoten en het geluid van de draaiende rotorbladen van een naderende heli. Aan de zoekers de taak om het gebouw minutieus uit te kammen. De grote hoeveelheid vergaarde informatie wordt doorgegeven naar buiten. Daar maakt hun collega op een flipover een plattegrond van de verschillende ruimtes en maakt notities van relevante info. “Je bent compleet gefocust, maar toch doet werken onder die omstandigheden iets met je waarneming. Helemaal als je heen en weer moet lopen om buiten te vertellen hoe iets er binnen uitziet. Stel dat je onder druk details vergeet?”               

De lens herkent potentieel interessante objecten uit een database die is gemaakt met financiële ondersteuning vanuit het NATO Defence Against Terrorism Program of Work (DAT POW). Van een simpele patroon tot IED-onderdelen: alles belandt in de gegevensbank, die – begrijpelijk – alsmaar groeit. (Bron: NLRMedia YouTube)

Het gehele plaatje

ARTEX ondersteunt. Allereerst creëert de wereld van Augmented Reality overzicht. Buiten staat korporaal Robbert voor een laptop, waarop het AR-systeem een complete plattegrond van het gebouw maakt en laat verschijnen. Daarbij volgt hij hoe zijn collega’s zich iedere seconde door het gebouw bewegen. Real time informatie-uitwisseling is een tweede voordeel die AR biedt. “Wordt er een interessant object gevonden, dan kan de searcher er een foto of een 3D-opname van maken. Die is direct naar buiten te sturen, eventueel met een begeleidende geluidsopname. Je legt daarbij de situatie vast zoals je hem aantreft”, aldus Trum. De AR-bril biedt zo een extra paar ogen. Al ‘ziet’ de lens slechts de helft van bijvoorbeeld een Glock, dan herkent de AR-bril het handwapen.

Zo vindt de data zijn weg naar buiten; andersom is ook een optie. In de toekomst is het de bedoeling dat de searcher door de bril bijgestaan wordt door experts. “Bij de vondst van een wapen sturen we een tutorial naar de bril die antwoord geeft op de vraag: hoe zet ik dit wapen op safe? In geval van een IED kunnen we de Explosieven Opruimingsdienst Defensie inschakelen: de experts kijken vanuit Soesterberg live mee met de militair in het veld.”

Deze digitale ondersteuning biedt ook na de operatie kansen. Foto’s, video’s en 3D-opnames uit het veld helpen bij het opstellen van het search-rapport. Deze veelomvattende klus wordt vanwege de dreiging meestal niet ter plaatse, maar naderhand uitgevoerd. “Een plaatje zegt meer dan duizend woorden. Strategisch belangrijk, ook voor de analyse achteraf. Denk aan onderwijs en training omtrent zelfgemaakte explosieven en het in kaart brengen van de werkwijze van verschillende terroristische groeperingen in een missiegebied.”

Toekomst

Begin juli eindigt het NTP. “De volgende stap is het beproeven, door een eenheid uit te rusten met ARTEX”, vertelt Trum. “Wij zijn voornemens het AST in september meerdere hololenzen en een speciale laptop met krachtige videokaart te geven, waarop de software kan draaien. Hiermee kunnen zij ook bij nationale operaties de apparatuur testen. Aan de hand van de gebruikerservaringen scherpen we het systeem aan.”

Zowel de NAVO als de European Defence Agency is erg geïnteresseerd in het project. Voordat de AR-bril echt verschijnt in de operatiën, moeten er nog wel wat uitdagingen worden overwonnen, zoals vragen rondom de verbinding. Trum: “Kijk hoe snel de ontwikkeling van smartphones is gegaan in het afgelopen decennium. Technologie staat niet stil.”