De identiteit van vermiste migranten vinden met behulp van kunstmatige intelligentie

Elk jaar verlaten honderdduizenden mensen hun huizen en verlaten hun land op zoek naar een beter leven of om geweld te ontvluchten. Velen worden onderweg gewond of gedood. Vele anderen verdwijnen zonder dat hun dierbaren weten of ze nog leven of dood zijn, of wat er met hen is gebeurd.

Volgens het project Vermiste migranten van de Internationale Organisatie voor Migratie (IOM), zijn we sinds 45 wereldwijd 000 migranten uit het oog verloren, waaronder 2014 in de Middellandse Zee.

In 2020 werd de INSA-alliantie (National Institute of Applied Sciences) benaderd door het transregionale forensische team van het Internationale Comité van het Rode Kruis (ICRC), dat tot doel had het proces van identificatie van overleden migranten in het Euro-mediterrane gebied te verbeteren . Er zijn hier veel verdrinkingen - 16 sinds 000. Voor zover wij weten, is deze inspanning onder leiding van de antropoloog Jose Pablo Baraybar van het ICRC de enige die dit probleem op een transversale manier in de regio aanpakt.

De INSA-teams kwamen dus tussenbeide om oplossingen voor te stellen voor dit essentiële identificatiewerk van het ICRC, dat te maken heeft met een groot aantal gevallen, verspreide of slechte informatie over de vermiste personen.

Na een proefproject onder leiding van INSA Lyon, dat het ICRC van tools voorzag om informatie over geborgen lichamen te beheren, kreeg het partnerschap vorm. Hij integreerde de Allianties programma van de INSA Foundation.

Dit programma mobiliseert studenten en docent-onderzoekers voor concrete gevallen waarvoor NGO's, zoals Handicap International of het ICRC, wetenschappelijke en technische expertise nodig hebben. In totaal zijn er 37 studenten die, als onderdeel van hun cursus, zeven projecten hebben ontwikkeld die specifieke methoden en hulpmiddelen voor technische scholen combineren met de veldkennis van het ICRC.

Kunstmatige intelligentie ten dienste van humanitarisme

In theorie zou het identificeren van verdronken personen eenvoudig kunnen worden gestart door de overledene aan de hand van foto's door familieleden te laten herkennen. Deze documenten zijn echter niet altijd "aantoonbaar": ofwel zijn deze foto's van slechte kwaliteit, ofwel zijn de lichamen zo beschadigd en de beelden zo traumatisch dat ze elke formele herkenning onmogelijk maken.

Deze situatie bracht ons ertoe om het idee te onderzoeken om de foto's van overleden personen te vergelijken met de foto's van mensen die door hun familieleden worden gezocht met behulp van gezichtsherkenningstechnologieën.

Deze aanpak werd met name onderzocht als onderdeel van Zacharie Hellouins afstudeerstage in 2020. Zijn project bestond uit het gebruiken en evalueren van de bijdrage van gezichtsherkenningsalgoritmen en -modellen bij de identificatie van de overblijfselen van verdronken mensen.

Concreet gaat het om het aanpassen en gebruiken van modellen van machine learning, een kunstmatige-intelligentietechniek waarmee een programma zelfstandig overeenkomsten en verschillen in datasets kan leren herkennen. Door het te confronteren met herhaalde ervaringen, zoals het herkennen van iemands identiteit, traint en verbetert het programma de resultaten. Dit werk maakte het mogelijk om het belang van deze techniek voor de herkenning van vermisten te valideren.

Om het te implementeren, vergeleken we foto's van levende migranten met die van overleden migranten in de hoop positieve matches te krijgen. Hiervoor hebben we op basis van een matching-algoritme een gelijkenis-index opgesteld die het mogelijk maakt om waarschijnlijke identiteitsscores van de persoon in de vorm van percentages te verkrijgen.

Alles is geïntegreerd in een webapplicatie die bedoeld is voor ICRC-agenten en degenen die wettelijk belast zijn met het identificeren van stoffelijke overschotten, zoals forensische instituten. Deze applicatie is in ontwikkeling en elk van de projecten heeft tot doel deze te verbeteren.

De behaalde resultaten zijn bemoedigend. Dankzij deze software konden we een compleet prototype ontwikkelen van gezichtsherkenning die wordt toegepast op vermiste migranten. Om echter echt betrouwbare indicatoren van gelijkenis tussen foto's van levende en dode mensen te kunnen bieden, zouden duizenden en duizenden foto's moeten worden verkregen.

Nu deze limieten zijn vastgesteld, biedt de tool die vandaag is ontwikkeld ICRC-agenten de mogelijkheid om hun zoekopdrachten te sturen door een lijst met waarschijnlijke overeenkomsten te verstrekken, wat het zoeken zeker bewerkelijk, maar menselijk mogelijk maakt.

Software voortdurend verbeteren

Bij de start van dit project, in 2020, moesten specificaties worden opgesteld. De INSA-studenten en hun leraar Charles Dossal vertaalden daarom in technische termen de automatische of niet-automatische verwerking die op deze beelden moet worden uitgevoerd: haal het gezicht uit het decor (een tas, de bodem van een boot, een tafel, enz.), centreer en lijn het beeld uit, verminder of verwijder wonden, verwijder schuim uit de mond en geef de look een sprankje leven.

Twee studenten in 4^e jaar, Adam Hamidallah en Din Triem Phan, programmeerden vervolgens de algoritmen die we hadden geïdentificeerd als de meest relevante om deze verschillende problemen op te lossen. Het zal soms nodig zijn geweest om delen van een gezonde huid te kopiëren om wonden "digitaal te genezen" of om ogen van een ander gezicht in te brengen wanneer deze te beschadigd waren. De resultaten zijn bemoedigend, maar we hebben ook kunnen meten dat kunstmatige intelligentie (AI) completere antwoorden zou kunnen geven.

In de zomer van 2021 bekeken Zoé Philippon en Jeong Hwan Ko deze verschrikkelijke beelden met als doel om nauwkeuriger te zien wat AI voor deze missie kan betekenen.

Het doel van Zoé Philippon was om de grenzen te testen van gezichtsherkenningsalgoritmen op basis van kunstmatige neurale netwerken wanneer toegepast op afbeeldingen van de gezichten van de overledene, voornamelijk van Afrikaanse afkomst. Deze algoritmen zijn effectief op afbeeldingen die vergelijkbaar zijn met de afbeeldingen die worden gebruikt om ze te kalibreren, hier gezichten van levende mensen, meestal blank en mannelijk, met een klein aantal vrouwelijke of Afrikaanse gezichten.

Ze voerde daarom tal van tests uit, trainde de AI opnieuw om effectiever te zijn op de beelden van vermiste personen. De resultaten lijken erop te wijzen dat deze algoritmen er baat bij zouden hebben om specifieker te worden getraind op gezichten van een populatie die meer representatief is voor de vermisten en dat de herkenning aanzienlijk verslechtert wanneer de te herkennen persoon dood is. Toegang tot een grotere hoeveelheid gegevens zou deze zeer bemoedigende eerste resultaten kunnen bevestigen.

Digitale make-up

Jeong Hwan Ko heeft geprobeerd de resultaten van "digitale make-up" te verbeteren door gebruik te maken van kunstmatige neurale netwerken, ook voorgetraind, om gaten in afbeeldingen op te vullen. Deze methoden zijn buitengewoon effectief gebleken bij het wissen van verwondingen, maar om een ​​mond of ogen te herstellen, was het nodig om andere neurale netwerken te gebruiken die een deel van een afbeelding in een andere konden invoegen.

Op dit moment kiest de programmeur de afbeelding om in te voegen, maar in de toekomst zal het waarschijnlijk efficiënter zijn om het algoritme zichzelf te laten zoeken in een grote database, de ogen, de mond of de oren in goede staat die het meest lijken op die van de gezicht te herkennen. Er is nog werk aan de winkel en ook hier zou een bredere toegang tot gegevens ongetwijfeld de kwaliteit van deze gezichtsreconstructie verbeteren.

Vandaag gaan de projecten verder. We zijn altijd op zoek naar gegevens om machine learning-programma's verder te trainen. We zijn ook op zoek naar bedrijfssponsors die hun technologie, tijd en ondersteuning met ons willen delen.

Ten slotte moet worden opgemerkt dat dezelfde toepassingen, ontwikkeld om te reageren op de crisis van vermiste migranten, ook kunnen worden gebruikt in andere contexten, zoals rampen, conflicten of elke situatie die kan leiden tot niet-identificatie van overleden personen.

Dit artikel is mede geschreven door Samuël Kenny, coördinator van de ICRC-INSA Alliantie.

Sami Yangui, docent-onderzoeker informatica, INSA Toulouse et Charles Dossal, hoogleraar wiskunde, INSA Toulouse

Dit artikel is opnieuw gepubliceerd vanaf The Conversation onder Creative Commons-licentie. Lees deorigineel artikel.

Afbeelding tegoed: Shutterstock.com/pabloavanzini