Dit artikel hoort bij: Materieelgezien 07

Extra paar ogen

Tekst kapitein Saminna van den Bulk
Foto sergeant Cinthia Nijssen, NLRMedia

Augmented Reality helpt bij military search

Via verschillende wegen ondersteunt DMO de operationele commando's van de krijgsmacht met innovatieprojecten. Zo werkt het IT-bedrijf van Defensie JIVC samen met het Nederlands Lucht- en Ruimtevaartcentrum aan ARTEX, dat staat voor Augmented Reality for Technical Exploitation in Counter IED-operations. Dit Augmented Reality (AR)-systeem helpt Advanced Search Teams bij technische exploitatie.

Het lijkt een doodnormale woning, maar gebouw 31 bij de Mineurs- en Sappeursschool in Reek ligt vol explosieven, geld en gegevensdragers. Des te gekker is dat te midden van de plaats van de operatie een genist met een AR-bril op staat. Voor wie niet beter weet, reikt hij met zijn vingers in het luchtledige; in zijn virtuele omgeving legt hij echter de bewijslast van zijn zoeking digitaal vast.

Leden van het Advanced Search Team van 11 Geniecompagnie zijn de proefkonijnen die het systeem testen en verbeteringen aandragen.

Het is slechts een van de mogelijkheden die ARTEX (Augmented Reality for Technical Exploitation in Counter IED-operations) biedt, vertelt majoor Pascal Trum, stafofficier Kennis en Innovatie, werkzaam bij het Defence Expertise Centre Counter IED bij het Land Warfare Centre. Noodzakelijk, want military search kent de nodige uitdagingen.

Majoor Pascal Trum, stafofficier Kennis en Innovatie.

Drie jaar geleden sprak Materieelgezien met majoor Trum in een vroeg stadium van het project.

Stel je voor. Een search team doorzoekt een gebouw in inzetgebied. De tijd dringt, de spanning is om te snijden. Er klinken geweerschoten en het geluid van de draaiende rotorbladen van een naderende heli. Aan de zoekers de taak om het gebouw minutieus uit te kammen. De grote hoeveelheid vergaarde informatie wordt doorgegeven naar buiten. Daar maakt hun collega op een flipover een plattegrond van de verschillende ruimtes en maakt notities van relevante info. “Je bent compleet gefocust, maar toch doet werken onder die omstandigheden iets met je waarneming. Helemaal als je heen en weer moet lopen om buiten te vertellen hoe iets er binnen uitziet. Stel dat je onder druk details vergeet?”               

‘De omstandigheden doen iets met je waarneming’

De lens herkent potentieel interessante objecten uit een database die is gemaakt met financiële ondersteuning vanuit het NATO Defence Against Terrorism Program of Work (DAT POW). Van een simpele patroon tot IED-onderdelen: alles belandt in de gegevensbank, die – begrijpelijk – alsmaar groeit. (Bron: NLRMedia YouTube)

De lens herkent potentieel interessante objecten uit een database die is gemaakt met financiële ondersteuning vanuit het NATO Defence Against Terrorism Program of Work.

Van lucht- naar landmacht

Drie jaar geleden was Trum op de beurs van de Nederlandse Industrie voor Defensie en Veiligheid. Daar trof hij Roy Arents van het Nederlands Lucht- en Ruimtevaartcentrum (NLR), die het AR-systeem demonstreerde. Eigenlijk ontwikkeld voor de luchtmacht, om close air support te evalueren. Trum zag meteen een kans om de technologie te gebruiken voor technische exploitatie.

Het gehele plaatje

ARTEX ondersteunt. Allereerst creëert de wereld van Augmented Reality overzicht. Buiten staat korporaal Robbert voor een laptop, waarop het AR-systeem een complete plattegrond van het gebouw maakt en laat verschijnen. Daarbij volgt hij hoe zijn collega’s zich iedere seconde door het gebouw bewegen. Real time informatie-uitwisseling is een tweede voordeel die AR biedt. “Wordt er een interessant object gevonden, dan kan de searcher er een foto of een 3D-opname van maken. Die is direct naar buiten te sturen, eventueel met een begeleidende geluidsopname. Je legt daarbij de situatie vast zoals je hem aantreft”, aldus Trum. De AR-bril biedt zo een extra paar ogen. Al ‘ziet’ de lens slechts de helft van bijvoorbeeld een Glock, dan herkent de AR-bril het handwapen.

Korporaal Robbert ziet op de laptop waar zijn collega’s zijn in een digitale plattegrond van het te onderzoeken gebouw.

Zo vindt de data zijn weg naar buiten; andersom is ook een optie. In de toekomst is het de bedoeling dat de searcher door de bril bijgestaan wordt door experts. “Bij de vondst van een wapen sturen we een tutorial naar de bril die antwoord geeft op de vraag: hoe zet ik dit wapen op safe? In geval van een IED kunnen we de Explosieven Opruimingsdienst Defensie inschakelen: de experts kijken vanuit Soesterberg live mee met de militair in het veld.”

Walkietalkies. Gegevensdragers. Een raket gewikkeld in een trui. Gebouw 31 ligt vol met potentieel interessante objecten.

Deze digitale ondersteuning biedt ook na de operatie kansen. Foto’s, video’s en 3D-opnames uit het veld helpen bij het opstellen van het search-rapport. Deze veelomvattende klus wordt vanwege de dreiging meestal niet ter plaatse, maar naderhand uitgevoerd. “Een plaatje zegt meer dan duizend woorden. Strategisch belangrijk, ook voor de analyse achteraf. Denk aan onderwijs en training omtrent zelfgemaakte explosieven en het in kaart brengen van de werkwijze van verschillende terroristische groeperingen in een missiegebied.”

De searcher inspecteert een interessant target.

Nog niet ‘MIL-SPEC’

ARTEX bevindt zich momenteel in de eindfase van het Nationaal Technologie Ontwikkelproject (NTP), wat door het NLR wordt uitgevoerd. Momenteel wordt er getest met een prototype. ARTEX is nog niet ‘MIL-SPEC’. Dat wil zeggen dat er nog geen officiële documentatie is waaraan ARTEX (een commercieel product) technisch moet voldoen voor specifiek militair gebruik.

Toekomst

Begin juli eindigt het NTP. “De volgende stap is het beproeven, door een eenheid uit te rusten met ARTEX”, vertelt Trum. “Wij zijn voornemens het AST in september meerdere hololenzen en een speciale laptop met krachtige videokaart te geven, waarop de software kan draaien. Hiermee kunnen zij ook bij nationale operaties de apparatuur testen. Aan de hand van de gebruikerservaringen scherpen we het systeem aan.”

Nu hangt ARTEX nog in een WIFI-netwerk: niet ideaal voor gebruik tijdens nationale operaties of in missiegebied.

Zowel de NAVO als de European Defence Agency is erg geïnteresseerd in het project. Voordat de AR-bril echt verschijnt in de operatiën, moeten er nog wel wat uitdagingen worden overwonnen, zoals vragen rondom de verbinding. Trum: “Kijk hoe snel de ontwikkeling van smartphones is gegaan in het afgelopen decennium. Technologie staat niet stil.”

Volledigere rapportage

Lopend rond het gebouw legt korporaal Robbert van het AST met de hololens de infrastructuur vast. Op het laptopscherm ziet hij vervolgens het resultaat, alsook zijn collega’s die de ruimtes binnen searchen. “We zijn nu vooral aan het kijken hoe de bril ons kan ondersteunen. Voor nu merk ik dat je meer overzicht hebt tijdens het gehele scenario. Geen flipover, maar een 3D-maquette waarop je ziet waar iedereen is. Samen met de communicatiemiddelen en de database, voor identificatie van bijvoorbeeld munitiesoorten, biedt ARTEX zeker mogelijkheden. Na de operatie helpt het systeem je om rapportages vollediger en beter te maken.”

Wel voegt hij kritisch toe: “Ons werk is erg time driven. Soms valt het systeem uit of lukt het niet bepaalde objecten aan te klikken in VR. Op zo’n moment ben je meer tijd kwijt met het instellen van het systeem, dan de search zelf. Dat kan beter.”