<b>Bijsluiter</b>. De hyperlink naar het originele document werkt niet meer. Daarom laat Woogle de tekst zien die in dat document stond. Deze tekst kan vreemde foutieve woorden of zinnen bevatten en de opmaak kan verdwenen of veranderd zijn. Dit komt door het zwartlakken van vertrouwelijke informatie of doordat de tekst niet digitaal beschikbaar was en dus ingescand en vervolgens via OCR weer ingelezen is. Voor het originele document, neem contact op met de Woo-contactpersoon van het bestuursorgaan.<br><br>====================================================================== Pagina 1 ======================================================================

<pre>Autonome
wapensystemen:
Het belang van reguleren en investeren
AIV-advies 119, CAVV-advies 38
3 december 2021
</pre>

====================================================================== Einde pagina 1 =================================================================

<br><br>====================================================================== Pagina 2 ======================================================================

<pre>Adviesraad Internationale                                   Commissie Actualisering
Vraagstukken                                                Autonome Wapensystemen (CAAW)
Voorzitter                                                  Voorzitter
Prof. mr. J.G. (Jaap) de Hoop Scheffer                      LGen b.d. G.J. (Jan) Broeks
Vicevoorzitter                                              Vicevoorzitter
Prof. mr. C.P.M. (Tineke) Cleiren                           Prof. dr. L.J. (Larissa) van den Herik
Leden                                                       Leden
LGen b.d. G.J. (Jan) Broeks                                 Mr. drs. W.J.M. (Willemijn) Aerdts
Dr. D.J.M. (Dorette) Corbey                                 Drs. L.F.F. (Lo) Casteleijn
Prof. dr. E.M.H. (Ernst) Hirsch Ballin                      Dr. B. (Bibi) van Ginkel, LLM
Prof. dr. L.J. (Luuk) van Middelaar                         J. (Jochem) de Groot MA MSc
Mr. J.N.M. (Koos) Richelle                                  Prof. dr. J.G. (Johan) Lammers
Mr. H.J.J. (Henne) Schuwer                                  Prof. C. (Cedric) Ryngaert
Drs. M. (Monika) Sie Dhian Ho
                                                            Secretarissen
Algemeen secretaris                                         Dr. J.W. (Hans) van der Jagt
Drs. M.E. (Marja) Kwast-van Duursen                         J.W.K. (Jan Willem) Glashouwer, MA
Commissie van Advies inzake
Volkenrechtelijke Vraagstukken
Voorzitter
Prof. dr. L.J. (Larissa) van den Herik
Vicevoorzitter
Dr. mr. C.M. (Catherine) Brölmann
Leden
Dr. mr. R. (Rosanne) van Alebeek
Dr. G.R. (Guido) den Dekker
Dr. B. (Bibi) van Ginkel LLM
Dr. mr. A.J.J. (André) de Hoogh
Prof. dr. J.G. (Johan) Lammers
Mr. A.E. (Annebeth) Rosenboom
Prof. C. (Cedric) Ryngaert
Secretarissen
Mr. M. (Michelle) Duin
Mr. V.J. (Vincent) de Graaf LLM
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                               1
</pre>

====================================================================== Einde pagina 2 =================================================================

<br><br>====================================================================== Pagina 3 ======================================================================

<pre>AIV | Autonome wapensystemen: Het belang van reguleren en investeren 2</pre>

====================================================================== Einde pagina 3 =================================================================

<br><br>====================================================================== Pagina 4 ======================================================================

<pre>Inhoudsopgave
Samenvatting                                                         Hoofdstuk 4
Aanbevelingen                                                        Geopolitieke context
                                                                4.1 De internationale strijd om technologie 24
      Hoofdstuk 1                                               4.2 EU en de NAVO 26
      Autonome                                                  4.3 De positie van Nederland 30
      wapensystemen:
                                                                     Hoofdstuk 5
      terminologie en
      definities                                                     Juridische en
                                                                     ethische
1.1   Inleiding 10                                                   overwegingen
1.2   Autonome wapensystemen: definities 11
1.3   Gedeeltelijk autonome wapensystemen 12
1.4   De schaal van autonomie 13                                5.1. Een juridisch en ethisch vraagstuk 32
                                                                5.2 Het huidige juridische kader 33
                                                                5.3 Operationalisering van ‘betekenisvolle
      Hoofdstuk 2                                                    menselijke controle’ 35
      Politieke urgentie en                                     5.4 Aansprakelijkheidsvormen 40
                                                                5.5 Nadere regulering volledig en gedeeltelijk
      maatschappelijk debat                                          autonome wapensystemen 44
2.1 Autonome wapensystemen en het                                    Hoofdstuk 6
      Nederlandse parlement 16
2.2 Voor en nadelen van autonome wapens 17
                                                                     Synthese
2.3 Een moratorium: opschorting                                      en conclusie
      via politieke afspraken 18
                                                                     Eindnoten             53
      Hoofdstuk 3
      Technologische                                                 Bijlage
      ontwikkelingen
                                                                I    Adviesaanvraag 63
3.1   Verandering van oorlogsvoering 19                         II   Geraadpleegde deskundigen 66
3.2   Kunstmatige intelligentie en robotica 19                  III  Lijst met afkortingen en begrippen 67
3.3   Quantumtechnologie 20                                     IV   Lijst van figuren 69
3.4   Data-governance 21
3.5   Mogelijkheden van een mens-machine
      interactie 22
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                           3
</pre>

====================================================================== Einde pagina 4 =================================================================

<br><br>====================================================================== Pagina 5 ======================================================================

<pre>Samenvatting
De Nederlandse regering heeft de Adviesraad Internationale Vraagstukken (AIV) en de Commissie
van Advies inzake Volkenrechtelijke Vraagstukken (CAVV) gevraagd advies uit te brengen over de
ontwikkeling en het gebruik van autonome wapensystemen. De regering vraagt daarmee om het
advies uit 2015 — Autonome wapensystemen. De noodzaak van betekenisvolle menselijke controle —
te actualiseren, mede met het oog op de vijfjaarlijkse toetsingsconferentie van de Convention on
Certain Conventional Weapons (CCW) van de Verenigde Naties (VN) die eind 2021 plaatsvindt.
Sinds 2015 zijn internationaal gezien de ontwikkeling en het gebruik van autonome wapensystemen
sterk toegenomen. De VS, China en Rusland, maar ook landen als Israël, Turkije en Zuid-Korea,
werken aan de ontwikkeling van autonome wapensystemen en investeren in technologieën zoals
kunstmatige intelligentie en robotica, belangrijk voor autonome systemen. Recente veranderingen
in de geopolitieke verhoudingen verkleinen de kans op internationale overeenstemming over de
ontwikkeling en het gebruik van autonome wapensystemen. Ondertussen worden in het actuele
politieke en maatschappelijke debat en in de juridische en ethische beschouwingen toenemend
zorgen geuit over het gebruik van autonome wapensystemen, met name over het gebrek aan heldere
regulering.
In dit nieuwe advies bespreken de AIV en de CAVV de ontwikkelingen van technologieën als
kunstmatige intelligentie, robotica en quantumtechnologie en de ontwikkeling en inzet van
autonome wapensystemen in de geopolitieke context. Tevens kijken zij naar het hedendaagse
politieke en maatschappelijke debat en de juridische en ethische overwegingen. Hierbij gaat ook
specifiek aandacht uit naar de zorgen omtrent het gebruik van autonome wapensystemen; zowel
de nadelen als de voordelen van het gebruik zullen worden behandeld. Daarmee beantwoorden de
AIV en de CAVV de door de regering gestelde vragen zoals geformuleerd in de adviesaanvraag (zie de
bijlage).
In dit advies maken de AIV en de CAVV onderscheid tussen enerzijds gedeeltelijk autonome
wapensystemen waarbij nog wel een bepaalde mate van menselijke controle aanwezig is, en
anderzijds volledig autonome wapensystemen waarbij deze controle afwezig is. Bij volledig autonome
wapensystemen gaat het om wapensystemen met autonome functies voor de selectie van en aanval
op individuele doelen, zonder menselijke betrokkenheid.
De AIV en de CAVV volgen in hun advies twee sporen. Enerzijds wijzen de AIV en de CAVV
stelselmatig op de bezwaarlijke en risicovolle kanten van de ontwikkeling en het gebruik van
autonome wapensystemen. De alarmerende technologische en geopolitieke ontwikkelingen
waardoor de militaire inzet van gedeeltelijk autonome wapensystemen de afgelopen zes jaar in een
stroomversnelling geraakte, dwingen overheden na te denken over nadere regulering van gedeeltelijk
autonome wapensystemen. Anderzijds zien de AIV en de CAVV deze ontwikkelingen tegelijk als reden
om vanuit veiligheidsoverwegingen — en de noodzaak van een adequaat toegeruste krijgsmacht — te
investeren in de ontwikkeling, aanschaf en gebruik van gedeeltelijk autonome wapensystemen, mits
deze zijn gereguleerd.
Dit advies wijkt op een aantal belangrijke punten af van het advies uit 2015. Het belangrijkste
verschil is de nadrukkelijk oproep aan de regering om zich uit te spreken voor een verbod op volledig
autonome wapensystemen. De AIV en de CAVV constateren dat er sinds het uitbrengen van het
vorige advies over autonome wapensystemen in 2015 een aanmerkelijke uitbreiding van activiteiten
en investeringen heeft plaatsgevonden. Een groot aantal statelijke en niet-statelijke actoren werkt aan
de ontwikkeling van met behulp van artificiële intelligentie gestuurde wapensystemen. Nederland
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    4
</pre>

====================================================================== Einde pagina 5 =================================================================

<br><br>====================================================================== Pagina 6 ======================================================================

<pre>dient continu aandacht te besteden aan deze ontwikkelingen, op politiek, diplomatiek, technisch en
financieel gebied. Daartoe is het noodzakelijk dat Nederland zich expliciet uitspreekt voor een verbod
op volledig autonome wapensystemen en voor regulering van gedeeltelijk autonome wapensystemen.
De AIV en de CAVV blijven, net als in het advies uit 2015, van mening dat menselijke controle
essentieel is voor het naleven van de kernregels van het internationaal humanitair recht betreffende
het maken van onderscheid, het proportionaliteitsbeginsel en het nemen van voorzorgsmaatregelen.
Deze regels zijn onverminderd van toepassing op het gebruik van autonome wapensystemen. Volledig
autonome wapensystemen die zelfstandig regels aanleren, doelen selecteren en aanvallen, zonder
dat er een menselijke intentie aan ten grondslag ligt of menselijk ingrijpen mogelijk is (en dus zonder
betekenisvolle menselijke controle), kunnen dan ook niet worden gebruikt in overeenstemming met
het bestaande internationale recht.
Anders dan volledig autonome wapensystemen, zou het gebruik van gedeeltelijk autonome
wapensystemen wel rechtmatig kunnen zijn, mits deze staan onder betekenisvolle menselijke
controle. De AIV en de CAVV concluderen dat er een noodzaak bestaat om tot nadere regulering te
komen voor de ontwikkeling, de aanschaf en het gebruik van gedeeltelijk autonome wapensystemen.
Voor een concretisering van de wijze waarop de betekenisvolle menselijke controle vorm dient te
krijgen in de verschillende fasen van besluitvorming doen de AIV en de CAVV een aantal voorstellen.
Dit is een belangrijk verschil ten opzichte van het advies uit 2015.
Bij betekenisvolle menselijke controle moet er in essentie sprake zijn van voldoende en adequate
controle door personen die besluiten over het gebruik van een gedeeltelijk autonoom wapen.
Het is daarvoor van belang dat er bij hen een minimaal cognitief begrip is van de informatie die moet
worden verwerkt en de context waarin het wapen wordt ingezet. Dit stelt deze personen in beginsel
in staat een geïnformeerd besluit over rechtmatig gebruik te nemen met inachtneming van de criteria
van onderscheid, proportionaliteit en voorzorg.
De AIV en de CAVV adviseren om het begrip betekenisvolle menselijke controle in verschillende fasen
van het besluitvormingsproces te beleggen — van ontwerp en aankoop tot en met daadwerkelijke
inzet. Naast het belang van betekenisvolle menselijke controle voor de toetsing van de criteria
uit het internationaal humanitair recht, is tevens noodzakelijk dat de politieke bestuurders
en verantwoordelijken kunnen aangeven op welke wijze een zorgvuldige en geïnformeerde
besluitvorming plaatsvindt ten aanzien van ontwikkeling, aanschaf en gebruik van gedeeltelijk
autonome wapensystemen. Om dit te borgen moeten ethische kaders verankerd worden binnen
(inter)nationale organisaties.
Voor het uitoefenen van controle op de inzet van autonome wapensystemen is het van belang
onderscheid te maken tussen autonomie bij het nemen van een besluit, en autonomie bij de uitvoering
van dat besluit. Centraal daarbij staat ‘mens-machine interactie’: hierbij geldt als uitgangspunt dat
de mens de gegevens omtrent de context voor inzet, de capaciteiten en beperkingen van de machine
begrijpt en daarop kan inspelen. Om gedeeltelijk autonome wapensystemen te ontwikkelen waarbij
een intensieve interactie optreedt tussen mens en machine dienen concepten als machine ethics en
transfer of control in overweging te worden genomen.
Het borgen van ethische concepten is essentieel nu nieuwe technologieën zoals kunstmatige
intelligentie het karakter van oorlogsvoering steeds meer gaan beïnvloeden. Belangrijke geopolitieke
spelers, en technologisch hoogwaardige krijgsmachten investeren fors in de ontwikkeling van
nieuwe technologieën en in de ontwikkeling van gedeeltelijk autonome wapensystemen. Dit dwingt
Nederland na te denken over de eigen positie. Het is voor een adequaat toegeruste krijgsmacht,
en vanuit veiligheidsperspectief, noodzakelijk dat Nederland zelf beschikt over gedeeltelijk
autonome wapensystemen. Nederland dient daarom actief te participeren in internationale
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    5
</pre>

====================================================================== Einde pagina 6 =================================================================

<br><br>====================================================================== Pagina 7 ======================================================================

<pre>innovatieprogramma’s waarbij hoogstaande technologische kennis en ervaring kan worden
uitgewisseld. Tegelijkertijd dient Nederland ook na te denken over internationale regulering en
normering. Binnen de EU en de NAVO moet Nederland zoeken naar overeenstemming over de
ethische en juridische kaders. Ook binnen de VN (en dan specifiek de CCW) dient Nederland te
streven naar nadere regulering.
Bij de ontwikkeling en inzet van gedeeltelijk autonome wapensystemen is het van groot belang dat
duidelijk is waar de verantwoordelijkheid is belegd in geval van onrechtmatig gebruik. Krachtens
algemeen internationaal recht kunnen staten aansprakelijk worden gehouden voor de onrechtmatige
acties van autonome systemen die ze gebruiken, bijvoorbeeld wanneer deze systemen burgers onder
vuur nemen. Krachtens internationaal strafrecht kunnen ook individuen aansprakelijk worden
gehouden die in de hele levenscyclus van een gedeeltelijk autonoom systeem een rol spelen in gebruik
en ontwikkeling, in het bijzonder ontwikkelaars, commandanten en operatoren.
Vanwege het relatief risicovolle karakter van het gebruik van gedeeltelijk autonome wapensystemen
in conflictsituaties, kan worden overwogen om, met name in het geval van technische storingen, het
principe van strikte staatsaansprakelijkheid van toepassing te verklaren, waarbij aansprakelijkheid
uitsluitend is gebaseerd op de veroorzaakte schade. Het is daarbij niet relevant of de staat nalatig was
of op enige wijze schuld treft; zelfs als de staat aan zijn due diligence-verplichtingen heeft voldaan, kan
hij nog steeds aansprakelijk zijn in een regime van strikte aansprakelijkheid. Staten dienen hierover
dan wel afspraken te maken.
Gezien de kans op misbruik door bepaalde staten en niet-statelijke actoren, de snelheid van de
technologische ontwikkelingen en het feit dat private ondernemingen een steeds belangrijkere rol
gaan spelen in normering, menen de AIV en de CAVV dus dat het noodzakelijk is om tot nadere
regulering te komen voor gedeeltelijk autonome wapensystemen. De regulering dient verder te
gaan dan de ‘Guiding Principles’, de elf richtlijnen zoals overeengekomen binnen de CCW van de
Verenigde Naties. Het betreft dan regulering met betrekking tot ontwikkeling, aanschaf en gebruik
van gedeeltelijk autonome wapensystemen en de verantwoordelijkheden die actoren in de
verschillende fasen dragen.
De AIV en de CAVV benadrukken dat er verschillende opties zijn om tot nadere regulering te
komen voor gedeeltelijk autonome wapensystemen. Het gaat hierbij niet om het ontwikkelen van
nieuwe rechtsregels, maar primair om een concretisering van bestaande rechtsregels. Volledig
autonome wapensystemen kunnen niet in overeenstemming met het internationaal humanitair
recht worden ingezet, omdat zij niet zelfstandig de beginselen van het internationaal humanitair
recht kunnen toepassen. De AIV en de CAVV adviseren de regering het verbod op volledig autonome
wapensystemen, zoals dat voortvloeit uit het bestaande internationaal humanitair recht, te
expliciteren.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                        6
</pre>

====================================================================== Einde pagina 7 =================================================================

<br><br>====================================================================== Pagina 8 ======================================================================

<pre>AIV | Autonome wapensystemen: Het belang van reguleren en investeren 7</pre>

====================================================================== Einde pagina 8 =================================================================

<br><br>====================================================================== Pagina 9 ======================================================================

<pre>Aanbevelingen
De AIV en de CAVV willen de Nederlandse regering erop wijzen dat de afgelopen jaren het onderwerp
‘autonome wapensystemen’ zeer urgent is geworden. De regering dient het belang van dit onderwerp,
de mogelijk grote risico’s van de ontwikkeling en het gebruik van autonome wapensystemen te
onderkennen en er alles aan te doen dit onderwerp blijvend te agenderen. De AIV en de CAVV
werken in hun advies twee sporen uit waarmee zij de noodzaak van zowel reguleren als van
investeren willen benadrukken. Zij bevelen de regering het volgende aan:
      Aanbeveling 1
Besteed meer aandacht aan de ontwikkelingen op het gebied van autonome wapensystemen.
AIV en de CAVV constateren dat er, sinds het uitbrengen van het vorige advies in 2015, een
aanmerkelijke uitbreiding van activiteiten en investeringen door statelijke en niet-statelijke actoren
op dit terrein heeft plaatsgevonden. Het is van groot belang dat Nederland voortdurend en intensief
op politiek, diplomatiek, technisch en financieel gebied aandacht besteedt aan deze ontwikkelingen
en zich inzet voor verdere regulering.
      Aanbeveling 2
Streef actief naar een verbod op volledig autonome wapensystemen.
Volledig autonome wapensystemen zijn niet in staat zelfstandig de kernregels van het internationaal
humanitair recht toe te passen. Zij kunnen dus niet rechtmatig worden ingezet. De AIV en de CAVV
adviseren de regering zich actief in te zetten om het verbod op volledig autonome wapensystemen
zoals dat voortvloeit uit het bestaande internationaal humanitair recht, expliciet in regelgeving
vast te leggen. Dit kan door het opstellen van een Additioneel Protocol bij de Convention on
Certain Conventional Weapons van de Verenigde Naties waarmee expliciet wordt gecodificeerd dat
ontwikkeling en gebruik van volledig autonome wapensystemen verboden is.
      Aanbeveling 3
Wees actiever in het ontwikkelen van internationale regulering voor de ontwikkeling,
de aanschaf en de inzet van gedeeltelijk autonome wapensystemen.
De AIV en de CAVV vinden het essentieel dat er meer helderheid wordt geschapen ten aanzien
van de betekenis en reikwijdte van de criteria die bij ontwikkeling, aanschaf en gebruik worden
gehanteerd. De huidige Guiding Principles zoals ontwikkeld binnen de CCW van de VN, bieden
daartoe onvoldoende houvast. De AIV en de CAVV adviseren de regering de mogelijkheid van
nadere regulering te verkennen, waarbij ook gekeken kan worden naar nadere regulering in
een Additioneel Protocol bij de CCW. Op internationaal en nationaal niveau dient het overleg
hierover tussen overheid, bedrijfsleven, maatschappelijke instellingen en onderzoeksinstanties
te worden geïntensiveerd. De Nederlandse opstelling moet breed en open worden voorbereid.
Hiertoe zou gestructureerd overleg tussen overheid, bedrijfsleven, maatschappelijke instellingen en
onderzoeksinstanties moeten worden opgezet. Centraal punt daarin moet zijn dat de ontwikkeling
tot gedeeltelijk autonome wapensystemen wordt beperkt.
      Aanbeveling 4
Roep staten op de uit artikel 36 van het Eerste Additionele Protocol van de Geneefse Conventie
volgende verplichting tot weapon reviews, uit te voeren dan wel in hun nationale wetgeving op te
nemen.
Tevens kan in additionele regelgeving de verplichting opgenomen worden deze weapon reviews
openbaar te maken. AIV en de CAVV adviseren de regering ernst te maken met het versterken
van de rol voor de Adviescommissie Internationaal Recht en Conventioneel Wapengebruik, en
deze een coördinerende taak te geven in het overleg van de overheid met het bedrijfsleven en de
wetenschappelijke instellingen.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                   8
</pre>

====================================================================== Einde pagina 9 =================================================================

<br><br>====================================================================== Pagina 10 ======================================================================

<pre>      Aanbeveling 5
Houd vast aan het concept van betekenisvolle menselijke controle (meaningful human control —
MHC) als uitgangspunt voor de regulering van gedeeltelijk autonome wapensystemen.
De AIV en de CAVV zijn er, net als in 2015, van overtuigd dat de uiteindelijke beslissingsbevoegdheid
bij de inzet van een wapensysteem altijd aan de mens voorbehouden moet blijven. Er bestaat
een onderscheid tussen volledig en gedeeltelijk autonome wapensystemen. Bij volledig autonome
wapensystemen is de menselijke controle afwezig; bij gedeeltelijk autonome wapensystemen
bestaat er wel een mogelijkheid tot deze controle. Dat verschaft de grondslag voor de regulering van
gedeeltelijk autonome wapensystemen. De AIV en de CAVV doen voorstellen op welke manier deze
betekenisvolle menselijke controle kan worden belegd en nadere invulling kan krijgen.
      Aanbeveling 6
Werk samen met EU-partners, de Verenigde Staten, het Verenigd Koninkrijk, en andere NAVO-
bondgenoten om te komen tot een gezamenlijke ontwikkeling en productie van gedeeltelijk
autonome systemen (waarbij betekenisvolle menselijke controle goed is belegd), exportcontrole
en een investeringsscreening ten aanzien van dual-use technologieën.
De AIV en de CAVV zijn overtuigd van het grote belang van nieuwe technologieën voor de inrichting
en het functioneren van moderne krijgsmachten. De ontwikkeling van gedeeltelijk autonome
systemen — van groot belang voor de ondersteuning en effectiviteit van de krijgsmacht — maakt
daarvan deel uit. Daarnaast dient Nederland zowel binnen de EU als binnen de NAVO in te zetten op
de instelling van platformen waar overheden, kennisinstellingen en het bedrijfsleven gezamenlijk de
industriële, juridische en ethische aspecten van autonome wapensystemen onderzoeken.
      Aanbeveling 7
Stimuleer NAVO-bondgenoten om gezamenlijk een belangrijke rol te spelen in het nastreven van
interoperabiliteit en standaardisatie op het gebied van disruptieve technologie en gedeeltelijk
autonome systemen. Dit is een noodzakelijke voorwaarde voor effectief gezamenlijk optreden.
Nederland moet hierbij een leidende rol op zich nemen.
      Aanbeveling 8
Maak het concept van explainable AI (kunstmatige intelligentie die uitlegbaar is) tot uitgangspunt
van het Nederlandse beleid bij ontwikkeling, aanschaf en gebruik van gedeeltelijk autonome
wapensystemen.
De toegepaste technologieën dienen te allen tijde uitlegbaar te zijn. Voor een verantwoord gebruik
moet duidelijk zijn waar in de keten van besluitvorming de betekenisvolle menselijke controle is
belegd en welke verantwoordelijkheden dit met zich meedraagt.
De Nederlandse krijgsmacht moet getraind worden in effectieve mens-machine interactie en in
de omgang met deze kunstmatige intelligentie.
      Aanbeveling 9
Maak afspraken met het bedrijfsleven en wetenschappelijke instellingen over de ontwikkeling
en aanbesteding van gedeeltelijk autonome wapensystemen.
In het stadium van aanbesteden moet het streven van ontwikkelaars naar effectieve mens-machine
interactie, naar verminderen van de zogenaamde automatiserings-bias en naar vastleggen van
ethische voorwaarden in het systeem beoordeeld worden, en dus meegenomen in de (opdracht tot)
ontwikkeling.
      Aanbeveling 10
Actualiseer dit advies.
Tot slot raden de AIV en de CAVV de regering aan bijtijds om een actualisering van dit advies te
vragen, gezien de snelheid van de ontwikkelingen op technologisch, militair, geopolitiek en juridisch
gebied. Daarmee dient de regering te evalueren of de inzet tot nadere internationale regulering in de
praktijk tot stand komt en wordt geïmplementeerd.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                  9
</pre>

====================================================================== Einde pagina 10 =================================================================

<br><br>====================================================================== Pagina 11 ======================================================================

<pre>Hoofdstuk 1
Autonome wapens:
terminologie
en definities
      1.1 Inleiding
Op 30 juni 2020 verzocht de regering de AIV en de CAVV advies uit te brengen over de ontwikkeling
en inzet van autonome wapensystemen.1 In de adviesaanvraag vraagt de regering advies over
de laatste stand van zaken ten aanzien van internationale ontwikkelingen, gebruikte concepten
en overeengekomen afspraken.2 De regering hoopt op nadere duiding van militair-strategische
overwegingen en eventuele initiatieven ten behoeve van wapenbeheersing. Ook wil zij inzicht krijgen
in de mate van overheidscontrole op technologie en duidelijkheid over de risico’s van het gebruik van
autonome wapensystemen door terroristische groeperingen.
Concreet bevat de adviesaanvraag van de regering negen vragen, die voor de AIV en de CAVV
als uitgangspunt dienen (zie de bijlage van dit advies). Bij dit advies is ervoor gekozen een aantal
dwarsdoorsnijdende thema’s die in deze vragen worden geadresseerd, als leidraad te nemen. Deze
thema’s bepalen de structuur van het advies. Het advies geeft aanbevelingen waarmee de regering
haar positie kan bepalen in aanloop naar de vijfjaarlijkse toetsingsconferentie van de CCW van
de VN in Genève eind 2021.
Het advies komt op een belangrijk moment. Steeds vaker vinden politieke en maatschappelijke
debatten plaats over de inzet van autonome wapensystemen. Daarbij lijkt zich een dilemma te
ontvouwen. Zo is er, terecht, veel aandacht voor de bezwaarlijke kant van de inzet van autonome
wapensystemen. Een van de belangrijke risico’s van de inzet van deze systemen is bijvoorbeeld dat
zij de drempel van oorlogsvoering zouden verlagen. Wetenschappers en non-gouvernementele
organisaties uiten daarover geregeld hun zorgen. Verhalen over militairen die vanuit zeecontainers
ergens in de woestijn in de Verenigde Staten drone-aanvallen uitvoeren, en tegenstanders
uitschakelen met een paar drukken op de knop alsof ze ‘een pizza bestellen’, worden afgewisseld
met berichten over drone-bestuurders met psychiatrische klachten als gevolg van de ‘anonieme’
oorlogsvoering op afstand.3 Verhalen als deze voeden de scepsis over het gebruik van autonome
wapensystemen.
Er is echter ook aandacht voor de andere kant van de medaille. Landen worden aan nieuwe
dreigingen blootgesteld die zij zonder het gebruik van autonome systemen nauwelijks nog kunnen
tegengaan: een inkomende hypersone raket is bijvoorbeeld te snel voor de mens om bijtijds te
anticiperen; de menselijke reactiesnelheid is simpelweg te traag. Met systemen die op afstand
bestuurbaar zijn, of zelfs autonoom zijn, kan het risico op slachtoffers van militair personeel en
burgers worden geminimaliseerd.
Tegen de achtergrond van dit dilemma — dat nader zal worden uitgewerkt — volgen de AIV en de
CAVV in hun advies twee sporen. Enerzijds wijzen de AIV en de CAVV consequent op de bezwaarlijke
en risicovolle kanten van de ontwikkeling en het gebruik van autonome wapensystemen. Anderzijds
hebben zij juist aandacht voor internationale samenwerking op het gebied van investeringen en de
noodzaak van de ontwikkeling van gedeeltelijk autonome wapensystemen, mits deze beter worden
gereguleerd.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                  10
</pre>

====================================================================== Einde pagina 11 =================================================================

<br><br>====================================================================== Pagina 12 ======================================================================

<pre>Het huidige advies wijkt op een aantal belangrijke punten af van het advies uit 2015. Het belangrijkste
verschil is de nadrukkelijk oproep aan de regering om zich uit te spreken voor een verbod op volledig
autonome wapensystemen. AIV en de CAVV constateren dat er sinds het uitbrengen van het vorige
advies over autonome wapensystemen in 2015 een aanmerkelijke uitbreiding van activiteiten en
investeringen heeft plaatsgevonden. Op meerdere plekken in de wereld wordt door een veelheid
van statelijke en niet-statelijke actoren gewerkt aan de ontwikkeling van met behulp van artificiële
intelligentie gestuurde wapensystemen. Het is dan ook van groot belang dat Nederland constant
en intensief op politiek, diplomatiek, technisch en financieel gebied aandacht besteedt aan deze
ontwikkelingen. Daarvoor is het noodzakelijk dat Nederland zich expliciet uitspreekt voor een verbod
op volledig autonome wapensystemen.
Ten aanzien van de juridische duiding zijn de regels die volgen uit het internationaal humanitair recht
niet anders dan in 2015 en op basis daarvan blijft ontwikkeling en gebruik van volledig autonome
wapensystemen onverenigbaar met internationaal humanitair recht. Voor gedeeltelijk autonome
wapensystemen ligt dat anders omdat daar een bepaalde mate van betekenisvolle menselijke controle
kan worden verzekerd. Met betrekking tot de ontwikkeling en het gebruik van gedeeltelijk autonome
wapensystemen dringen de AIV en de CAVV juist aan op nadere regelgeving. De AIV en de CAVV
hebben in dit advies specifiek aandacht voor de wijze waarop het bestaande internationaal humanitair
recht geoperationaliseerd kan worden bij de ontwikkeling en het gebruik van gedeeltelijk autonome
wapensystemen om betekenisvolle menselijke controle op een goede manier te verankeren. Ook
vragen de AIV en de CAVV, meer dan in 2015, aandacht voor ethische kaders binnen organisaties die
de besluiten moeten nemen.
Het huidige advies verschilt verder met het advies uit 2015 wat betreft de gehanteerde terminologie.
De AIV en de CAVV gebruiken niet langer de begrippen ‘in the loop’, ‘on the loop’, en ‘beyond the loop’
om aan te duiden op welke wijze betekenisvolle menselijke controle bij het gebruik van gedeeltelijke
autonome wapensystemen dient te worden belegd. Deze begrippen zijn niet behulpzaam gebleken
tijdens de internationale pogingen meer duidelijkheid omtrent begrippenkaders en regulering te
verkrijgen. En anders dan in 2015 benaderen de AIV en de CAVV het begrip ‘autonomie’ vanuit een
breder perspectief, waarbij zij gebruikmaken van een grotere schaal van autonomie. Andere gebruikte
definities worden wel intact gelaten.
Het advies hanteert de volgende opbouw. Dit eerste hoofdstuk geeft een verhandeling over
de gehanteerde terminologie en definities. Het tweede hoofdstuk behandelt het politieke en
maatschappelijke debat over autonome wapensystemen. Het derde hoofdstuk beschrijft de
technologische ontwikkelingen van de laatste jaren. Het vierde hoofdstuk bespreekt de geopolitieke
context en de opkomst van het internationale gebruik van autonome wapensystemen. Het vijfde
hoofdstuk bespreekt de juridische en ethische overwegingen. Het zesde hoofdstuk bevat de synthese,
bevindingen en uitgebreide aanbevelingen van dit advies.
      1.2 Autonome wapensystemen: definities
Het internationale debat over autonome wapensystemen heeft kenmerken van een semantische
gordiaanse knoop. De grote verscheidenheid aan definities die worden toegepast leidt tot een
verwarrend beeld over wat men verstaat onder autonome wapensystemen.
Het in 2015 gepubliceerde advies Autonome wapensystemen. De noodzaak van betekenisvolle menselijke
controle hanteerde de volgende definitie van een autonoom wapensysteem: ‘Een wapensysteem dat
zelfstandig doelen, die voldoen aan voorgeprogrammeerde kenmerken, selecteert en aanvalt, nadat
mensen besloten hebben het wapen in te zetten en waarbij een mens niet meer kan ingrijpen om de
aanval te stoppen.’4 De AIV en de CAVV blijven deze definitie hanteren.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    11
</pre>

====================================================================== Einde pagina 12 =================================================================

<br><br>====================================================================== Pagina 13 ======================================================================

<pre>In dit nieuwe advies geven de AIV en de CAVV aan dat autonome wapensystemen kunnen
worden ingezet voor zowel letale als niet-letale doeleinden. Het advies richt zich — in lijn met de
adviesaanvraag — uitsluitend op letale autonome wapensystemen. De AIV en de CAVV benadrukken
echter dat er een onderscheid bestaat tussen volledig autonome wapensystemen en gedeeltelijk
autonome wapensystemen. Een volledig autonoom systeem dat letaal wordt ingezet wordt
internationaal gezien aangeduid met de term: lethal autonomous weapon system, oftewel LAWS.
Het internationaal humanitair recht schrijft voor dat bij de inzet van wapens altijd de beginselen van
onderscheid, proportionaliteit en voorzorg gerespecteerd dienen te worden. In 2015 stelden de AIV en
de CAVV dat volledig autonome wapensystemen niet zelfstandig het internationaal humanitair recht
konden toepassen. Omdat bij de inzet van volledig autonome wapensystemen (LAWS) geen sprake
is van menselijke controle — en dus ook niet van een toetsing aan de beginselen van onderscheid,
proportionaliteit en voorzorg — wezen de AIV en de CAVV de inzet van deze wapensystemen af. Deze
systemen zijn niet verenigbaar met het internationaal humanitair recht en zijn derhalve ongewenst.
In het nieuwe advies is dit standpunt van de AIV en de CAVV ongewijzigd.
De AIV en de CAVV gaan in dit advies een stap verder dan het advies van 2015. Zij bevelen aan
dat Nederland het verbod zoals dat voortvloeit uit bestaande internationaal humanitair recht
actiever uitdraagt en dat Nederland zich inzet voor een expliciet verbod van volledig autonome
wapensystemen. De AIV en de CAVV werken hun argumentatie hiertoe verderop in dit advies nader
uit (zie hoofdstuk 5).
Bij de ontwikkeling en inzet van autonome wapensystemen dient altijd een vorm van betekenisvolle
menselijke controle te worden gewaarborgd. De AIV en de CAVV richten zich daarom niet zozeer op
de volledig autonome wapensystemen (systemen zonder betekenisvolle menselijke controle), maar op
de gedeeltelijk autonome wapensystemen. Het gaat daarbij om de vraag op welke manier een systeem
wel autonoom bepaalde taken en handelingen kan uitvoeren, en tegelijkertijd toch onder menselijke
controle kan staan. De kern is daarbij om helder te formuleren hoe betekenisvolle menselijke controle
bij de inzet van deze gedeeltelijk autonome wapensystemen vorm krijgt. De AIV en de CAVV gaan
daarbij uit van het idee dat de uiteindelijke beslissingsbevoegdheid altijd aan de mens voorbehouden
blijft. De vraag is op welke manier deze menselijke controle kan worden gewaarborgd.5 Het concept
betekenisvolle menselijke controle (meaningful human control — MHC) blijft daarbij onverkort het
uitgangspunt.
      1.3 Gedeeltelijk autonome wapensystemen
Om duidelijk te maken wat de AIV en de CAVV in dit advies bedoelen met gedeeltelijk autonome
wapensystemen verwijzen zij naar het concept partially autonomous lethal weapon systems (PALWS),
zoals uitgewerkt in een rapport van de Ethische Commissie van het Franse ministerie van Defensie.6
Volgens dit rapport kunnen PALWS worden gedefinieerd als een categorie tussen enerzijds
automatische wapensystemen (met eenvoudige, vooraf geformuleerde repeterende taken) en
anderzijds volledig autonome wapensystemen (volledig zelfsturend en zelflerend). Aan de ene kant
zijn PALWS geen automatische wapensystemen omdat ze een bepaalde autonomie bevatten, die ze
in staat stelt om te bepalen of gebruik conform de vooraf geprogrammeerde criteria gewenst is. Aan
de andere kant zijn PALWS geen LAWS omdat ze de voorgeprogrammeerde criteria voor inzet niet
zelfstandig kunnen veranderen, wanneer bijvoorbeeld omgevingsfactoren daar aanleiding toe zouden
kunnen geven, en ze geen dodelijke initiatieven kunnen nemen zonder menselijke tussenkomst.
De AIV en de CAVV wijzen erop dat veel nieuwe autonome wapensystemen die vandaag de dag
worden ingezet feitelijk gedeeltelijk autonome systemen zijn en vallen onder de noemer PALWS:
wapensystemen die een hoge mate van autonomie bevatten en tegelijkertijd staan onder een vorm
van betekenisvolle menselijke controle. De MQ-9 Reaper, een onbemand vliegtuig (een grote drone), is
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                   12
</pre>

====================================================================== Einde pagina 13 =================================================================

<br><br>====================================================================== Pagina 14 ======================================================================

<pre>daarvan een voorbeeld. Dit systeem wordt in het academische en politiek-maatschappelijke discours
regelmatig (onterecht) geschaard onder de categorie volledig autonoom wapensysteem, oftewel de
‘killer robot’. 7 Technisch gezien is dit wapensysteem echter een gedeeltelijk autonoom systeem: het
wordt op afstand bestuurd en de mens blijft dus controle uitoefenen op de uitvoering en kan te allen
tijde bijsturen. Hierdoor is er zonder twijfel een hoge mate van betekenisvolle menselijke controle
aanwezig.
     Bij PALWS valt ook te denken aan systemen zoals de Israëlische Harpy (munitie die
     zelfstandig doelen detecteert), maar ook de Turkse STM KARGU-2 (een zelf-navigerende
     drone met roterende vleugels) en de Amerikaanse Collaborative Small Diameter Bombs
     (CSDB) (bommen die zelfstandig doelen detecteren), evenals het onbemande oorlogsschip
     de Sea Hunter. Deze gedeeltelijk autonome wapensystemen bevatten een verregaande
     ‘integratie van automatisering en software’. Tevens zijn het systemen die technische
     waarborgen bevatten waardoor misbruik en storingen zoveel mogelijk kunnen worden
     voorkomen.
     Bron: Jean-Baptiste Jeangène Vilmer, ‘A French opinion on the Ethics of Autonomous Weapons’,
     War on the Rocks, 2 juni 2021.
      1.4 De schaal van autonomie
De AIV en de CAVV kijken in dit advies niet alleen naar de mate van autonomie van wapensystemen,
maar ook naar de effecten en uitwerking van een autonoom systeem. Zij volgen daarin een recent
rapport van het International Committee of the Red Cross (ICRC) dat stelt: hoe autonomer het systeem,
hoe onvoorspelbaarder de effecten van het gebruik ervan. Autonome systemen die zo zijn ontworpen
dat de effecten ervan niet voldoende kunnen worden ‘begrepen, voorspeld en verklaard’, moeten
volgens het ICRC worden verboden, omdat daardoor onvoldoende duidelijk is of aan de beginselen
van het internationaal humanitair recht kan worden voldaan.8
In hoeverre een systeem autonoom kan handelen hangt af van de mate van intelligentie. Een
autonoom systeem hoeft in de basis niet slim (of intelligent) te zijn. Het onderscheid met een weinig
intelligent systeem zit in het verschil tussen gedrag (de bewegingen) en cognitie. Sommige robots zijn
goed in bewegen en fysiek gedrag, maar zijn niet noodzakelijkerwijs echt intelligent: zij voeren slechts
vooraf ingebouwde opdrachten uit.9 Veel robots kunnen weliswaar autonoom handelen, maar zijn
daarbij nog niet in staat om zich sociaal of empathisch op te stellen. Ze missen de cognitie voor een
eigenstandige interactie met hun omgeving. Als robotica en het computationele denken samenvallen
dan spreekt men van een autonoom systeem (een intelligente robot). Dit systeem bevat zowel cognitie
als de mogelijkheid om ernaar te handelen.
Om te begrijpen hoe een autonoom systeem functioneert is het nuttig te bezien wat er precies
gebeurt alvorens een systeem overgaat tot actie. Een autonoom systeem doorloopt continu de
OODA-loop (Observe–Orient–Decide–Act). 10 Het bekijkt wat de eigenlijke opdracht was en relateert
dat aan nieuwe input uit de omgeving. Het systeem observeert de omgeving met zijn sensoren en
krijgt soms ook input via andere kanalen. Zo nodig past het zijn beeld van de omgeving hierop aan.
Aan de hand van dit omgevingsbeeld redeneert het autonoom systeem welke acties er mogelijk zijn
en welk effect deze sorteren. Vervolgens bepaalt het systeem welke van de vooraf bedachte acties het
meest effectief is. Het systeem neemt vervolgens een besluit en voert de actie uit. Hierdoor verandert
de context weer, en zal het systeem opnieuw de loop doorlopen.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                     13
</pre>

====================================================================== Einde pagina 14 =================================================================

<br><br>====================================================================== Pagina 15 ======================================================================

<pre>Figuur 1 - Onderstaande afbeelding, ontwikkeld door TNO, laat zien op welke manier een volledig
autonoom systeem deze OODA-loop doorloopt.11
Hoezeer de omgeving ook nieuwe input aanlevert — en het systeem dus leert van zijn omgeving —
uiteindelijk is het altijd de software die bepaalt of het systeem de opdracht kan uitvoeren. Zodra de
opdracht niet uitgevoerd kan worden, blokkeert het systeem, of doet het iets wat niet de bedoeling
is. Tevens is het zo dat hoe meer zelflerend vermogen wordt geprogrammeerd, hoe zelfstandiger het
systeem kan handelen.
Technologische ontwikkelingen doen opvattingen over autonomie veranderen. 12 Om te kunnen
begrijpen hoe betekenisvolle menselijke controle kan worden geborgd is een bredere definitie van
‘autonomie’ noodzakelijk. Daarom zetten de AIV en de CAVV een model van Noel Sharkey, zoals
nader uitgewerkt door Daniele Amoroso en Guglielmo Tamburrini, centraal. 13 In dit model worden
vijf niveaus van autonomie in een wapensysteem onderscheiden, afhankelijk van de operationele
context. De AIV en de CAVV achten dit model van toegevoegde waarde voor zowel de professionele
discussies als voor het publieke debat rond de problematiek van autonome wapensystemen.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                  14
</pre>

====================================================================== Einde pagina 15 =================================================================

<br><br>====================================================================== Pagina 16 ======================================================================

<pre>     Vijf niveaus van autonomie volgens Sharkey, Tamburrini en Amoroso:
     I.   Een mens grijpt in, selecteert doelen en initieert de aanval;
     II.  Een systeem stelt alternatieve doelen voor, de mens kiest welke hij wil aanvallen;
     III. Een systeem selecteert doelen en een mens moet deze doelen vóór de aanval goedkeuren;
     IV.  Een systeem selecteert en valt een doel aan, maar staat onder toezicht van een mens
          die de macht behoudt om keuzes van het systeem te negeren en de aanval af te breken;
     V.   Een systeem selecteert doelen en initieert een aanval op basis van de missiedoelen zoals
          gedefinieerd in de plannings- en activeringsfase, zonder verdere menselijke tussenkomst.
     Bron: Amoroso en Tamburrini, (2020).
De kracht van dit model zit in het brede bereik: feitelijk bevat de schaal alle vormen van autonomie
die momenteel denkbaar zijn voor de ontwikkeling en inzet van autonome wapensystemen. Hierbij
is het vijfde niveau van deze schaal de situatie waarbij er geen menselijke controle meer bestaat (de
volledig autonome wapensystemen). Vanwege het ontbreken van betekenisvolle menselijke controle
zijn deze wapensystemen niet verenigbaar met het internationaal humanitair recht. De andere
niveaus geven echter alternatieven voor een vorm van gedeeltelijke autonomie, dus met behoud van
een bepaalde vorm van betekenisvolle menselijke controle.
In hoofdstuk 5 geven de AIV en de CAVV een nadere uitwerking van hoe de betekenisvolle menselijke
controle vorm krijgt bij de inzet van de verschillende niveaus van autonomie en in de verschillende
fasen van de besluitvorming.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                  15
</pre>

====================================================================== Einde pagina 16 =================================================================

<br><br>====================================================================== Pagina 17 ======================================================================

<pre>Hoofdstuk 2
Politieke urgentie en
maatschappelijk debat
De laatste jaren worden er in het politieke en maatschappelijke debat steeds vaker twijfels geuit over
de wenselijkheid van de ontwikkeling en het gebruik van autonome wapensystemen. Tegelijkertijd
lijken overheden juist toenemend gebruik te willen maken van technologische hoogwaardige,
onbemande en autonome wapensystemen. Dit hoofdstuk bespreekt het huidige politieke en
maatschappelijke debat hierover en toont de voor- en nadelen van de inzet van gedeeltelijk autonome
wapensystemen.
      2.1 Autonome wapensystemen en het Nederlandse parlement
Het Nederlandse parlement heeft een aantal keren zijn zorg geuit over de ontwikkeling en het
gebruik van autonome wapensystemen. In 2019 werd via een aangenomen motie van toenmalig
Tweede Kamerlid Sven Koopmans (VVD) de regering verzocht om samen met een aantal gelijkgezinde
landen ‘aanjager te zijn van een zo breed gedragen en verstrekkend mogelijk verdrag of andere
bindende internationale regelgeving ter beheersing van de productie, plaatsing, verspreiding en
inzet van nieuwe potentiële massavernietigingswapens’. 14 Deze motie sprak zich expliciet uit tegen
de ontwikkeling en inzet van autonome wapensystemen, waarbij de suggestie werd gewekt dat deze
systemen de potentie hebben om uit te groeien tot massavernietigingswapens. De motie maakte
evenwel geen eenduidig onderscheid tussen volledig of gedeeltelijk autonome wapensystemen. Door
het uitblijven van dit onderscheid blijft onduidelijk over welk type autonoom wapen de motie sprak.
In mei 2021 publiceerde Tweede Kamerlid Salima Belhaj (D66) een initiatiefnota over een verbod
op autonome wapensystemen. 15 Deze notitie gaf aan dat er een internationaal verdrag moet
komen waarmee de inzet van autonome wapensystemen moet worden gereguleerd. Dat kan door
betekenisvolle menselijke controle te garanderen, maar ook door volledig autonome wapensystemen
(de ‘killer robots’) te verbieden. Het Kamerlid bepleitte dat er geen investeringen van de Nederlandse
regering meer zouden moeten gaan naar de ontwikkeling van technologie die volledig autonome
wapensystemen mogelijk maakt. Ook vroeg het Kamerlid om expliciet te laten vastleggen wat binnen
een autonoom systeem (bij een samenwerking tussen mens en machine) precies de taakstelling is van
de mens, en van de machine. Het Kamerlid maakte in haar notitie geen helder onderscheid tussen
volledig en gedeeltelijk autonome wapensystemen.
Initiatieven vanuit de Tweede Kamer zoals van Koopmans en Belhaj adresseren — ondanks de
terminologische onduidelijkheid die eruit oprijst — een belangwekkend onderliggend probleem:
het gebrek aan expliciete regels voor het gebruik van autonome wapensystemen. Dit is ook waar de
Nederlandse regering voor wordt gewaarschuwd door non-gouvernementele organisaties als het
ICRC en Pax for Peace. Deze organisaties wijzen op de gevaren van letale autonome wapensystemen
waarbij de mens niet langer in controle is en het systeem zelf kan beslissen over leven of dood. Pax
wijst er bijvoorbeeld op dat het hedendaags internationaal humanitair recht te generieke regels bevat
die weinig kaders biedt voor de regulering van nieuwe wapensystemen. 16
De Nederlandse regering erkent dat het tot op heden niet gelukt is om internationale consensus te
bereiken over het begrip betekenisvolle menselijke controle. 17 De regering geeft aan zich te willen
inspannen voor internationale normstellende kaders en is van mening dat er internationale afspraken
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                   16
</pre>

====================================================================== Einde pagina 17 =================================================================

<br><br>====================================================================== Pagina 18 ======================================================================

<pre>moeten worden gemaakt over de ontwikkeling van kunstmatige intelligentie in het militaire domein,
met name bij de inzet van drones of op het gebied van cyber of informatie oorlogvoering. Tot op
heden bleef deze inspanning zonder resultaat.
Het internationaal overleg hierover laat zien dat landen verschillend aankijken tegen een verbod op
volledig autonome wapensystemen. Dit is mede de reden dat besprekingen binnen de CCW van de
VN sinds 2013 hierover zo traag verlopen. Op conceptueel niveau worden nauwelijks compromissen
gesloten: overheden lijken het fenomeen van menselijke controle vanuit geheel verschillende
paradigma’s te benaderen. Sommige landen kijken naar het concept meaningful human control vanuit
ethische overwegingen; andere landen kijken voornamelijk vanuit een juridische achtergrond; weer
andere landen kijken uitsluitend vanuit een militair-operationele benadering. 18
      2.2 Voor en nadelen van autonome wapens
Waarom kiezen landen ervoor om autonome wapensystemen te gebruiken? Overheden en
krijgsmachten zien belangrijke voordelen in de ontwikkeling van nieuwe technologieën. Technologie
geeft de mogelijkheid via automatisering, digitalisering en robotisering een deel van het routineuze,
vieze en gevaarlijke (“dull, dirty and dangerous”) werk over te laten nemen. De toenemende integratie
(en interactie) tussen mens en technologie leidt tot een meer effectieve inzet van beperkte middelen
om de arbeidsproductiviteit van defensiepersoneel te verhogen. 19 Dat kan gaan over een breed bereik
aan toepassingen, zoals het automatiseren van cyber-operaties, het algoritmisch targeten of het
automatiseren van planningsprocessen. 20 Tevens kan het gaan om het versterken van situationeel
bewustzijn en begrip, medische analyse, encryptie, simulatie en training.21
Gaat het specifiek om gedeeltelijk autonome systemen dan bestaan er relevante militaire voordelen.
Deze autonome systemen bieden aan een krijgsmacht een uitgebreider arsenaal waarmee zij de
veiligheid van het personeel beter kan waarborgen, dreigingen efficiënter kan tegengaan en de
effectiviteit van de slagkracht kan vergroten: een autonoom systeem is over het algemeen preciezer,
sneller, en veelal veiliger.22 In de gevaarlijke omgeving van een gevechtssituatie kan de inzet van
robots accurater zijn dan de inzet van menselijke operators, zoals bij complexe gevechtshandelingen,
mijnenruimen en logistieke aanvoer in de frontlinie.23 Tegenwoordig wordt het gebruik van autonome
systemen steeds belangrijker bij het verkorten van de beslissingstijden: bij een inkomende hypersone
raket is de menselijke reactiesnelheid te traag, terwijl een luchtverdedigingssysteem in een split-second
kan reageren.
Er bestaan ook bezwaren. De risico’s en nadelen van het gebruik van autonome systemen liggen
met name op het ethisch vlak. In januari 2017 publiceerden robotica- en AI-onderzoekers en Big
Tech-ondernemers een open brief aan de Verenigde Naties waarin zij oproepen tot een verbod op
autonome wapensystemen die geen betekenisvolle menselijke controle bevatten.24 Offensieve inzet
van autonome wapensystemen kan een drempelverlagend effect hebben: staten en niet-statelijke
actoren zullen waarschijnlijk eerder naar de wapensystemen grijpen als er geen risico’s voor militairen
meer bestaan en de oorlogsdaad bovendien op afstand plaatsvindt. Er bestaan ook nadelen ten
aanzien van de technische betrouwbaarheid van autonome wapensystemen. Zo kan er iets misgaan
bij gebruik als gevolg van een malfunctie of als gevolg van een hack.
Deskundigen vrezen voor de ontwikkeling van autonoom handelende robots die niet langer
onder controle staan van de mens en dus zelfstandig beslissen over leven of dood.25 Deze robots
kunnen worden ingezet voor zowel civiele als militaire doelen, met grote onzekerheid tot gevolg: in
hoeverre kunnen autonome machines handelen conform het internationaal humanitair recht? Het
is momenteel internationaal nog te onduidelijk aan welke juridische en ethische kaders autonome
systemen precies zouden moeten voldoen. Tevens is het geen uitgemaakte zaak wie er bij het gebruik
van autonome wapensystemen verantwoordelijk is en wie de controle heeft. Deze belangrijke
juridische en ethische overwegingen werkten de AIV en de CAVV uit in hoofdstuk 5.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                      17
</pre>

====================================================================== Einde pagina 18 =================================================================

<br><br>====================================================================== Pagina 19 ======================================================================

<pre>      Het gebruik van letale autonome wapensystemen
      Voordelen:
      - Verbetering van de militaire veiligheid;
      - Preciezer, sneller, en veelal veiliger;
      - Inzetbaar in moeilijk bereikbaar en gevaarlijk gebied;
      - Nemen routineus, vies en gevaarlijk werk over;
      - Complementair aan het werk van militairen en bestaande wapensystemen.
      Bezwaren:
      - Offensieve inzet kan de drempel van oorlogsvoering verlagen;
      - Het gevaar van het zelfstandig selecteren en uitschakelen zonder menselijke controle;
      - Vervaging van het onderscheid tussen civiele of militaire doelen;
      - Geen duidelijkheid over wie verantwoordelijk is en wie de controle heeft;
      - Geen duidelijkheid over juridische en ethische kaders.
      Bronnen: Arkin (2010); Etzioni en Etzioni (2017); Hanlon (2018); Gibbs (2017);
      Morgan, Boudreaux en Lohn (RAND) (2020).
      2.3 Een moratorium: opschorting via politieke afspraken
Er zijn internationale organisaties, wetenschappers en politici die een totaalverbod op de
ontwikkeling van autonome wapensystemen nastreven, zoals de non-gouvernementele organisatie
Campaign to Stop Killer Robots. Ook zijn er instanties en landen die wat betreft de ontwikkeling van
autonome wapensystemen niet zozeer een verbod nastreven, maar wel een moratorium zouden
willen instellen met als doel de ontwikkeling of inzet van autonome wapensystemen door de
internationale gemeenschap voor lange tijd op te schorten. Het instellen van een moratorium op
de ontwikkeling en het gebruik van autonome wapensystemen, zoals door enkele landen binnen
de CCW wordt bepleit, blijkt ingewikkeld te zijn. Een groep van dertig landen bepleit een dergelijk
moratorium voor volledig autonome wapensystemen.26 Binnen deze groep bestaat echter grote
onduidelijkheid over de vraag of dit moratorium zou moeten gelden enkel voor volledig autonome
wapensystemen of ook voor gedeeltelijk autonome wapensystemen.
Een moratorium is een politiek middel om staten te dwingen geen autonome wapensystemen te
ontwikkelen of gebruiken. Het probleem hierbij is dat technologische ontwikkelingen een sterk civiele
component bevatten. Het is ingewikkeld (zo niet: onmogelijk) om technologische ontwikkelingen
binnen het civiele domein stil te leggen om daarmee de militaire toepassing ervan te voorkomen.
Bovendien is het voor de instelling van een moratorium noodzakelijk dat er consensus bestaat tot
welke categorie wapens deze autonome wapensystemen precies behoren. De overeenstemming
daarover ontbreekt.
Zoals nader zal worden toegelicht in hoofdstuk 5, achten de AIV en de CAVV het noodzakelijk dat
er internationaal wordt gezocht naar een politiek en juridisch middel om de ontwikkeling en het
gebruik van gedeeltelijk autonome wapensystemen te reguleren. De Nederlandse regering zal zich
moeten inzetten om hiervoor nadere juridische en ethische richtlijnen te ontwikkelen. Hoewel
een moratorium niet opportuun geacht wordt, neemt de urgentie tot regulering toe, zeker nu
de ontwikkelingen in de civiele wereld steeds sneller gaan en deze gevolgen zullen hebben voor
het militaire domein. Tevens zal de Nederlandse regering, zo adviseren de AIV en de CAVV, zich
nadrukkelijker moeten uitspreken voor een expliciet verbod op volledig autonome wapensystemen.
Hiermee gaan de AIV en de CAVV een stap verder dan in het advies van 2015. De reden hiervan
ligt in de grote noodzaak van het bewaken van de menselijke controle.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                  18
</pre>

====================================================================== Einde pagina 19 =================================================================

<br><br>====================================================================== Pagina 20 ======================================================================

<pre>Hoofdstuk 3
Technologische
ontwikkelingen
Autonome wapensystemen bestaan dankzij de ontwikkeling van nieuwe disruptieve technologieën.
Dit zijn technologieën die de aard van conflict en oorlogvoering wezenlijk en diepgaand
beïnvloeden.27 Internationale toekomstverkenningen, zoals het Global Strategic Trends-rapport
van het Britse ministerie van Defensie, wijzen al langer op de toegenomen betekenis van
kunstmatige intelligentie.28 Sinds de publicatie van het advies in 2015 van de AIV en de CAVV
zijn de ontwikkelingen op dit vlak in een stroomversnelling geraakt. Dit hoofdstuk bespreekt de
mogelijkheden van de technologische ontwikkelingen voor de inzet van gedeeltelijk autonome
wapensystemen. Tevens kijkt het naar de wijze waarop mens-machine interactie kan plaatsvinden.
      3.1 Verandering van oorlogsvoering
Technologie zal het karakter van oorlogsvoering steeds meer gaan beïnvloeden. Volgens de
NAVO zal dit met name gebeuren door de ontwikkeling van (big) data, kunstmatige intelligentie,
biotechnologie, nanotechnologie, robotica en quantum computing. Kenmerkend voor deze
technologieën is dat ze op veelzijdige wijze en vaak in wederzijdse afhankelijkheid van elkaar worden
toegepast. Vanwege de opkomst van deze technologieën verandert ook de wijze waarop conflicten
worden uitgevochten. De klassieke opvatting van oorlogsvoering (bijvoorbeeld op grote vlaktes) wordt
steeds vaker vervangen door concepten als urban warfare (in stedelijk gebied) waarbij de combinatie
van mens, kunstmatige intelligentie, big data en technologie een sterk operationeel voordeel brengt.
Deze verandering wordt onder meer versterkt door, wat wetenschappers noemen, de ‘robotisering’ of
‘dronificatie’ van oorlogsvoering die vermoedelijk zal leiden tot een militaire robotrevolutie.29
Toekomstige drones zullen daarbij steeds kleiner en autonomer zijn, en steeds vaker in staat zijn
via kunstmatige intelligentie in zwermen samen te werken, in nauwe verbintenis met militairen op
de grond. Deze wijze van optreden vereist een geïntegreerde benadering van mens en machine. De
interactie tussen militairen op de grond, en systemen op afstand in de lucht of zee is, veel meer dan
vroeger, beslissend. In dit verband spreken militaire doctrines het laatste decennium in toenemende
mate over het optreden in het multidomain of crossdomain. Voor de ontwikkeling en de inzet van
autonome systemen geldt daarbij als belangrijk uitgangspunt dat er een mens-machine interactie
optreedt.
      3.2 Kunstmatige intelligentie en robotica
Autonome wapensystemen bestaan dankzij kunstmatige intelligentie en robotica. Kunstmatige
intelligentie bestaat, in de kern, uit algoritmen (de software).30 Dit zijn wiskundige formules en
rekenmodellen die — zodra ze gevoed zijn met beschikbare data — een systeem laten functioneren.
Robotica (de hardware) is het lichamelijke element van een machine, waarmee deze in staat is fysiek te
reageren. In interactie met de software en de omgeving waarin het opereert, kan een robot complexe
bewegingen simuleren.
Met name dankzij vernieuwende computationele technologie is er al veel mogelijk wat betreft de
ontwikkeling van autonome, zelflerende systemen. Toch zijn er vooral nog grote beperkingen:
bestaande gedeeltelijk autonome systemen zijn slechts in bescheiden mate zelflerend. Tevens zit de
robuustheid van deze systemen en het grote energieverbruik een effectief operationeel gebruik veelal
in de weg. Dit zijn uitdagingen die niet op korte termijn opgelost kunnen worden.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                   19
</pre>

====================================================================== Einde pagina 20 =================================================================

<br><br>====================================================================== Pagina 21 ======================================================================

<pre>Momenteel lijken de grootste successen van kunstmatige intelligentie te liggen in simulaties,
beeldherkenning, logistiek en de ondersteuning van besluitvorming.31 Kunstmatige intelligentie blijkt
vooral bruikbaar in een gecontroleerde omgeving, waarbij algoritmen zich hebben kunnen trainen
met zeer grote hoeveelheden data. Voor het operationele domein blijkt de toepassing van kunstmatige
intelligentie en robotica nog ingewikkeld.
Het landdomein is voor de ontwikkeling van intelligente robots verreweg het meest complex omdat
daar de grote hoeveelheid variabelen én het simuleren van bewegingen, door de chaotische omgeving,
voor technische belemmeringen zorgt.32 Dit bleek bijvoorbeeld tijdens de Syrische burgeroorlog waar
Rusland de Uran-9, een onbemand grondvoertuig, inzette. Deze op-afstand-bestuurbare tank bevatte
kunstmatige intelligentie en robotica en bleek — eenmaal ver weg van de operators en op moeilijk
begaanbaar terrein — moeite te hebben om effectief autonoom te kunnen opereren.33
Het luchtdomein stelt — als gevolg van een geringer aantal variabelen — lagere eisen aan de
aansturing van robotica; omdat het luchtruim een relatief voorspelbare omgeving is gaan de
ontwikkelingen daar sneller. Het onderwaterdomein blijft een grote uitdaging: omdat er via water
nog geen hoge datasnelheden bereikt kunnen worden blijft communicatie in het onderwaterdomein
nog erg complex. En het cyberdomein stelt, vanwege de complexiteit en snelheid van cyberaanvallen
en de manipulatie door vijandelijke systemen, weer andere eisen aan de mate van autonomie en
menselijke controle.
      Een bekend voorbeeld van een letaal autonoom wapensysteem:
      In discussies over letale autonome wapensystemen (‘killer robots’) wordt geregeld verwezen
      naar de Zuid-Koreaanse Samsung SGR-A1. Dit is een wapensysteem waarbij kunstmatige
      intelligentie en robotica intensief op elkaar ingrijpen en autonomie in relatief verregaande
      mate is toegepast. De SGR-A1 is een robotgeweer dat doelen autonoom kan identificeren en
      vernietigen. In de gedemilitariseerde zone tussen Noord- en Zuid-Korea worden militairen
      bij hun surveillance-taken ondersteund door dit wapensysteem. Wanneer een indringer
      wordt opgemerkt, kan de SGR-A1 verbale waarschuwingen geven en overgavebewegingen
      herkennen; bijvoorbeeld wanneer het doelwit zijn wapen laat vallen en zijn hand opheft.
      Als een indringer zich niet overgeeft, kan het systeem aanvallen met een Daewoo K3
      machinegeweer met een bereik tot 800 meter.
      Bron: Alexander Velez-Green, ‘The Foreign Policy Essay: The South-Korean Sentry
      – A ‘Killer Robot’ to prevent war’, Lawfare Institute – Brookings, 1 maart 2015.
      3.3 Quantumtechnologie
Naast kunstmatige intelligentie en robotica zal quantum computing in de nabije toekomst grote
invloed hebben op de ontwikkeling van autonome wapensystemen. Quantum computing maakt
het mogelijk een computer parallel zeer grote hoeveelheden berekeningen tegelijkertijd te laten
uitvoeren. Voor gedeeltelijk autonome wapensystemen zou dit een enorme toename van rekenkracht
kunnen betekenen. Met quantum sensing kan tot een factor tien beter worden gepresteerd dan
met nanotechnologie om zwaartekracht- en elektromagnetische velden te meten, een belangrijke
voorwaarde voor het functioneren van autonome wapensystemen.34
Met name op het terrein van quantumcommunicatie wordt er in onderzoek momenteel voortgang
geboekt: quantumcommunicatie maakt op afstand communiceren vrijwel onbreekbaar en nauwelijks
te hacken, waardoor veilige en snelle uitwisseling van gegevens voor autonome wapensystemen kan
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                  20
</pre>

====================================================================== Einde pagina 21 =================================================================

<br><br>====================================================================== Pagina 22 ======================================================================

<pre>worden bereikt.35 Dit brengt tegelijkertijd ook een dreiging mee. De quantumcomputer kan zodanig
ingewikkelde berekeningen in korte tijd uitvoeren dat daarmee ook iedere vorm van encryptie, zoals
die vandaag de dag nog wordt toegepast, vatbaarder is voor ontcijfering of moedwillige verstoring.36
Dit zal voor de werking van gedeeltelijk autonome systemen — waarvoor een veilige uitwisseling van
data juist essentieel is — zeer zeker effect hebben.
Quantumtechnologie zal impact hebben op het militaire optreden, het inlichtingenwerk en het
veiligheidsdomein in het algemeen. In september 2018 publiceerde de VS de National Strategic
Overview for Quantum Information Science over de quantumtoepassingen in het militaire domein.37
De VS zag vooral mogelijkheden in de nauwkeurigheid van metingen en sensing en in de verbetering
van de digitale infrastructuur en wees op de grote gevolgen van quantum voor het gehele
informatiedomein en de data-technologie: deze zal veranderen als gevolg van de supersnelle en
krachtige quantumcomputer. Wetenschappers wijzen erop dat quantumtechnologie gevolgen zal
hebben voor machine learning en deep learning: de mogelijkheid dat een systeem — dus ook een
autonoom wapensysteem — versneld zelflerend vermogen opbouwt op basis van input vanuit de
omgeving, zonder menselijke tussenkomst.38
      3.4 Data-governance
Een van de voorwaarden voor het gebruik van gedeeltelijk autonome wapensystemen waarbij het
behoud van menselijke controle is gegarandeerd, is een verantwoorde omgang met data. Data zijn het
basis-ingrediënt van goed functionerende kunstmatige intelligentie. De intelligentie van systemen zit
immers niet specifiek in de algoritmen — de wiskundige modellen die de mensen bouwen — maar in
de data die hiervoor worden gebruikt en waaraan betekenis kan worden toegekend.
Nieuwe geavanceerde systemen kunnen alleen functioneren op basis van data. Daarom bepleit
UNIDIR (United Nations Institute for Disarmament Research) dat overheden beter toezicht houden
op het gebruik van data bij de ontwikkeling van autonome wapensystemen binnen krijgsmachten
wereldwijd.39 UNIDIR geeft aan dat de toenemende digitalisering en dataficering van het
veiligheidsdomein andere eisen stelt aan het optreden van krijgsmachten wereldwijd. Door het
datagebruik te optimaliseren kan de besluitvorming bij het gebruik van autonome systemen via de
OODA-loop sneller en beter verlopen. Tegenover dit geoptimaliseerde datagebruik staat het risico
op gebruik van verkeerde data, wat problematisch is bij de bouw van algoritmen voor autonome
systemen.
Toezicht op de ontwikkeling en het gebruik van goede data is essentieel voor de ontwikkeling van
kunstmatige intelligentie en autonome wapensystemen. De EU is een belangrijke speler als het gaat
om toezicht en gebruik van data en publiceerde in 2020 een datastrategie voor de civiele sector. De
VS deed hetzelfde voor datagebruik in het militaire domein. In beide strategieën wordt duidelijk dat
toezicht op data bij de ontwikkeling van kunstmatige intelligentie moet worden gezien als essentieel
voor het formuleren van ethische kaders. Mede daarom werkt de Amerikaanse krijgsmacht aan
collectief gegevensbeheer, data-ethiek, gegevensverzameling, gegevenstoegang, training, ethische
opslag van gegevens en een volledig geautomatiseerd en beveiligd informatiebeheer.40
In navolging van de EU en de Amerikaanse krijgsmacht werkt ook het Nederlandse ministerie van
Defensie aan een eigen datastrategie. Een technologisch hoogwaardige Nederlandse krijgsmacht die
informatie-gestuurd wil optreden zal toenemend gebruik willen maken van gedeeltelijk autonome
wapensystemen, en data zijn daarvoor de essentiële ingrediënten. Net als in de recent gepubliceerde
‘Strategische Kennis- en Innovatieagenda 2021-2025’ zal daarom in de datastrategie het belang van
data en data-governance worden onderstreept. De krijgsmacht zet hierbij in op de verbetering van
mens-machine-interactie waarbij de mens wordt versterkt in de taakuitvoering, zoals ook eerder
bleek uit de ‘Defensievisie 2035’. 41 Het is de bedoeling dat deze strategie uiteindelijk zal uitmonden
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    21
</pre>

====================================================================== Einde pagina 22 =================================================================

<br><br>====================================================================== Pagina 23 ======================================================================

<pre>in concrete ethische richtlijnen ten behoeve van het gebruik van data en kunstmatige intelligentie
binnen de Nederlandse krijgsmacht.
Voor overheden en krijgsmachten zijn data de belangrijkste ingrediënten voor de ontwikkeling van
nieuwe technologieën en het gebruik van autonome wapensystemen. Vanwege dit grote belang
is het noodzakelijk om de controle en het toezicht op het gebruik van data te reguleren. Door
het datagebruik te optimaliseren kan de besluitvorming bij het gebruik van autonome systemen
uiteindelijk sneller en veiliger verlopen. De AIV en de CAVV raden de regering aan om dit toezicht te
verbeteren en om meer te investeren — zowel financieel als met capaciteit — in de ontwikkeling van
kunstmatige intelligentie, robotica, quantum computing en verantwoord datagebruik.
      3.5 Mogelijkheden van een mens-machine interactie
Voor de controle op de inzet van autonome wapensystemen is een onderscheid van belang tussen
autonomie bij het nemen van een besluit, en autonomie bij de uitvoering van dat besluit. Centraal
daarbij staat ‘mens-machine-interactie’, waarbij het uitgangspunt is dat de mens de gegevens omtrent
de context voor inzet, de capaciteiten en beperkingen van de machine begrijpt en daarop kan
inspelen. Om gedeeltelijk autonome wapensystemen te ontwikkelen waarbij een intensieve interactie
optreedt tussen mens en machine kan er worden nagedacht over de toepassing van concepten als
machine ethics en transfer of control.
In de politiek-maatschappelijke discussies gaat het veelal over de eenvoudige tegenstelling ‘mens
versus systeem’. Daarbij bestaat de aanname dat de mens bij de inzet van militair geweld altijd in staat
is om weloverwogen en morele afwegingen te maken. Toch zijn het vaak net zo goed mensen die
het probleem vormen bij de toepassing van militair geweld. De mens maakt soms plotseling andere
afwegingen, afhankelijk van de context: de mens maakt ruzie; de mens is soms moe; de mens
aarzelt.42 Een systeem kan dat in veel gevallen relatief eenvoudiger, beter, sneller en efficiënter.
Maar ook een machine is feilbaar en kan fouten maken. Met de opkomst van disruptieve
technologieën moet de mens anders leren nadenken over de eigen positie in relatie tot machines,
maar ook over de wijze waarop ethische beslissingen kunnen worden genomen.43
Gaat het om de ethische afwegingen bij de ontwikkeling van autonome wapensystemen, dan
nemen de AIV en de CAVV het concept van explainable AI als uitgangspunt. Tech-bedrijven zoals
IBM definiëren explainable AI als een verzameling processen en methoden die het de menselijke
gebruiker van kunstmatige intelligentie mogelijk maakt te allen tijde de resultaten en uitkomsten
van machine learning-algoritmen te begrijpen en vertrouwen.44 Met explainable AI kan de opbouw,
de verwachte impact en potentiële vooroordelen van een AI-model worden beschreven. Daarmee
kan de accuraatheid, eerlijkheid, transparantie en uitkomsten van AI-gestuurde besluitvorming in
beeld worden gebracht. Explainable AI is essentieel voor organisaties die kunstmatige intelligentie
verantwoord willen inzetten in processen en besluitvorming.
Concreet betekent dit dat de kunstmatige intelligentie die voor autonome wapensystemen wordt
gebruikt — en de wiskundige modellen en data die daaraan ten grondslag liggen — te allen tijde
uitlegbaar moet zijn. Dit is van belang omdat de ethische waarden die aan een systeem worden
meegegeven, en daarmee de keuzes die het systeem maakt, inzichtelijk moeten zijn. Alleen op die
manier kan er immers een bepaalde mate van controle, en eventuele revisie en verbetering van het
systeem, plaatsvinden. Tevens kan daarmee inzichtelijk worden gemaakt wat het oordeelsvermogen
is van de kunstmatige intelligentie die wordt gebruikt. Met andere woorden: is een autonoom
wapensysteem met deze kunstmatige intelligentie in staat om ethische keuzes te maken?
De AIV en de CAVV achten tevens de concepten machine ethics en transfer of control cruciaal voor de
beoordeling van de ethische aspecten van de mens-machine-interactie. Bij machine ethics worden
beslissingen die een systeem kan nemen, vooraf door de mens bepaald en ingevoerd. Voor complexe
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                     22
</pre>

====================================================================== Einde pagina 23 =================================================================

<br><br>====================================================================== Pagina 24 ======================================================================

<pre>militair-operationele omstandigheden is dit uitdagend, omdat zelfs bij uitvoerig voorbereiden en
testen nog steeds onvoorziene gebeurtenissen zullen optreden. Om die (gedeeltelijk) te ondervangen
zou een mechanisme kunnen worden toegevoegd aan het besluitvormingsproces dat ingrijpt in het
geval juridische of ethische grenzen in zicht komen.
Bij transfer of control worden beslissingen alleen onder bepaalde voorwaarden en omstandigheden
overgeheveld naar een machine. Dit vereist herkenning van specifieke situaties en zogenoemde ethical
modeling. Kunstmatige intelligentie kan in een complexe data-omgeving oplossingen voorstellen
en advies uitbrengen, waarbij de mens de gepresenteerde oplossing of het advies zelf moet kunnen
verifiëren, rekening houdend met juridische en ethische kaders. Bij deze vorm van explainable AI moet
het systeem op een begrijpelijke wijze kunnen aangeven waarom het tot de voorgestelde oplossing
komt.
De AIV en de CAVV zijn van mening dat bij de ontwikkeling van nieuwe gedeeltelijk autonome
wapensystemen al vanaf de ontwerpfase duidelijk dient te worden waar in de hele keten van
besluitvorming de menselijke controle is belegd en welke verantwoordelijkheden dit met zich
meedraagt. De Nederlandse krijgsmacht moet getraind zijn hiermee te werken.
In hoofdstuk 5 bespreken de AIV en de CAVV de wijze waarop de mens-machine-interactie kan
plaatsvinden overeenkomstig ethische beginselen en het internationaal humanitair recht.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                  23
</pre>

====================================================================== Einde pagina 24 =================================================================

<br><br>====================================================================== Pagina 25 ======================================================================

<pre>Hoofdstuk 4
Geopolitieke context
Een nieuw geopolitiek tijdperk lijkt te zijn aangebroken. Meer dan in 2015 bevindt de wereld zich
in een internationale concurrentiestrijd om technologische suprematie. Tussen staten bestaat een
toenemende onderlinge argwaan en verminderde bereidwilligheid mee te werken aan internationale
regulering. Ondertussen bouwen staten zo snel mogelijk hun eigen genetwerkte, gedeeltelijk
autonome militaire capaciteit uit. De technologische ontwikkelingen maken een nieuwe manier
van oorlogsvoering mogelijk. Landen met een technologisch geavanceerde krijgsmacht leggen zich
in toenemende mate toe op het voeren van oorlog-op-afstand — ‘remote warfare’ — waardoor via de
inzet van onbemande of gedeeltelijk autonome systemen, zoals drones, ‘precisiebombardementen’
en ‘targeted killings’ kunnen worden uitgevoerd.45 Ook niet-statelijke actoren en terroristische
groeperingen, zoals Islamitische Staat, maken gebruik van nieuwe technologieën en ontwikkelen
autonome wapensystemen zoals drones.
Deze complexe bedreigingen doen de vraag rijzen wat de militaire implicaties zullen zijn voor de
NAVO, de EU en Nederland. Dit hoofdstuk bespreekt de geopolitieke context van de ontwikkeling
van autonome wapensystemen en de betekenis hiervan voor Nederland.
      4.1 De internationale strijd om technologie
Momenteel zijn met name de Verenigde Staten, China en Rusland toonaangevend wat betreft
de budgetten die zij besteden aan de ontwikkeling van autonome wapensystemen en de daartoe
benodigde technologieën. Deze landen investeren tientallen miljarden euro’s in de ontwikkeling van
disruptieve technologie voor militair gebruik.46 Qua technologische ontwikkeling en toepassingen
zijn ook Zuid-Korea en Israël voorlopers.
De Verenigde Staten
De VS is de belangrijkste speler op het gebied van ontwikkeling van militaire toepassingen van
kunstmatige intelligentie en robotica. De Amerikaanse overheid werkt nauw samen met het
bedrijfsleven en doet forse investeringen in militaire technologieprogramma’s. Onder president
Biden zet de VS in op versterking van de technologische voorsprong, met name op het gebied van de
Emerging Disruptive Technologies (EDT), zoals kunstmatige intelligentie.47 De VS zijn het meest actief
met de offensieve inzet van gedeeltelijk autonome systemen. Dat begon onder president George W.
Bush en nam explosief toe onder president Obama.48 In 2010 investeerde de VS 3,3 miljard euro in de
ontwikkeling van gedeeltelijk autonome wapensystemen. In 2021 wordt inmiddels al naar schatting
14 miljard euro uitgeven aan een compleet drone-programma, waaronder 3.447 nieuwe onbemande
grond-, zee- en luchtsystemen.49
In Irak en Afghanistan zette de VS ruim 8000 drones en meer dan 12.000 bewapende onbemande
grondvoertuigen in.50 In Afghanistan werd tussen 2011 en 2013 de Operation Haymaker gelanceerd
waarmee in onherbergzaam gebied met drones Hellfire-raketten en 500-pond bommen konden
worden afgevuurd.51 Daarnaast maakte de VS gebruik van een groot arsenaal aan onbemande
watersystemen, ontwikkeld door de Amerikaanse marine, zoals de Remus-600, Ghost Swimmer en
Knifefish.52 Naar verluidt vonden er tussen januari 2009 en eind 2015 in Pakistan, Jemen, Somalië en
Libië 473 drone-aanvallen plaats.53 En ook in het recent oplaaiende conflict in Afghanistan zette de VS
drones in als vergeldingsacties tegen de aanslagen van Islamitische Staat.54 Het is de verwachting dat
deze inzet van drones in Afghanistan een voorbeeld is van hoe het toekomstig strijdtoneel eruit gaat
zien.55 Voor de VS betekent het echter niet dat het slechts technologisch koploper wil zijn; de VS zal
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    24
</pre>

====================================================================== Einde pagina 25 =================================================================

<br><br>====================================================================== Pagina 26 ======================================================================

<pre>ook blijvend de toon willen bepalen in het opstellen van internationale standaarden en normeringen
voor het gebruik van disruptieve technologieën in oorlogsvoering.
China
China wil in 2035 een technologisch hoogwaardige krijgsmacht hebben opgebouwd. Het land is
de laatste jaren op technologisch gebied ingelopen op de VS. Het investeert momenteel circa 3,7
miljard euro aan dronetechnologie.56 China is geïnteresseerd in de ontwikkeling van kunstmatige
intelligentie, robotica en quantumtechnologie ten behoeve van het ontwikkelen van onbemande
wapensystemen.57 Daarbij richt het zich voornamelijk op het verbinden van kunstmatige intelligentie
met datawetenschap en computertechnologie. Daarnaast zet China sterk in op het gebruik van
big data als voorwaarde voor de inzet van surveillanceprogramma’s en het gebruik van nieuwe
technologieën, zowel in het militaire als in het civiele domein.58 De Chinese nationale militaire
strategie geeft aan dat China wil inzetten op informatie gestuurd optreden, specifiek in het maritieme
domein.59
In een recente publicatie noemt het Rathenau Instituut de opkomst van China op het gebied van
research & development als bewijs dat er een nieuwe technologische supermacht aan het ontstaan
is. China is qua investeringsbudget op dit terrein de EU inmiddels voorbijgestreefd. Ook de flinke
toename van het aantal wetenschappelijke publicaties en onderzoeksinitiatieven wijst op een
toenemende aandacht.60 Vooral kunstmatige intelligentie wordt door China gezien als belangrijke
strategische prioriteit: alle middelen worden ingezet om kennis en kunde op dit gebied binnen te
halen.61 China kijkt daarvoor ook naar Nederlandse topsectoren en kennisinstellingen. Voor China
ligt daarbij focus op de halfgeleiderindustrie.62 Omdat de toepassing van kunstmatige intelligentie
sterk afhankelijk is van op maat gemaakte computerchips is dit direct relevant voor Nederland. Als
belangrijke producent van zowel machines voor de halfgeleiderindustrie (ASML) als halfgeleiders
zelf (NXP) bestaat er een groot risico op Chinese bedrijfsspionage. Het ‘Dreigingsbeeld Statelijke
dreigingen’ van de AIVD/MIVD/NCTV uit 2021 waarschuwt dat China zowel legale als illegale
middelen inzet om kennis in Nederland te vergaren.63
Rusland
Rusland kan sinds 2014 vanwege het geldend sanctieregime niet langer rekenen op Westerse
leveranciers en werkt zelfstandig aan de ontwikkeling van gedeeltelijk autonome wapensystemen.
Hoewel Rusland minder investeert dan de VS, China of de EU heeft het significante investeringen
gedaan in nieuwe wapensystemen, zoals de ontwikkeling van nieuwe geleide wapens, hypersone
wapens, ballistische raketten, luchtverdedigingssystemen, anti-satelliet-systemen, cyberwapens,
wapens ten behoeve van elektronische oorlogsvoering en vliegende en varende platforms. Rusland
wil dat rond 2030 een derde deel van de gevechtskracht gedeeltelijk autonoom kan opereren. Het
land zet daarom vooral in op de verdere uitrol van robotica en probeert externe kennis te verkrijgen
over kunstmatige intelligentie. Toeleveranciers van de Nederlandse krijgsmacht en bedrijven uit de
hightechsector — bedrijven met unieke, hoogwaardige kennis van technologieën voor zowel civiele
als militaire toepassingen — zijn vatbaar voor Russische spionage. 64
Zuid-Korea, Israël en Turkije
Naast deze drie machtsblokken zijn er kleinere landen die weliswaar minder volume opbrengen, maar
wel voorop lopen qua technologische ontwikkeling. Te denken valt hierbij aan Zuid-Korea en Israël
die beide veel investeren in de inrichting van een hoogtechnologisch innovatieklimaat. Zuid-Korea
investeert miljarden in nieuw onderzoek en heeft recent tienduizenden patenten voor kunstmatige
intelligentie uitgegeven.65 Israël liet recent tijdens het conflict in de Palestijnse Gazastrook zien
dat het als eerste land ter wereld actief opereert met zwermen van militaire drones die werden
aangestuurd door kunstmatige intelligentie.66 Ook het recent opgelaaide conflict tussen Iran en Israël
laat een gebruik van dronetechnologie zien, waaruit blijkt dat naast Israël ook Iran over een steeds
groter arsenaal aan drones beschikt. 67
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                   25
</pre>

====================================================================== Einde pagina 26 =================================================================

<br><br>====================================================================== Pagina 27 ======================================================================

<pre>Naast deze landen is Turkije bezig met een opmerkelijke opmars in het gebruik van autonome
wapensystemen. Via de inzet van nieuwe wapensystemen probeert het land assertiever op te treden
in internationale conflicten.68 De recente oorlogen in Libië en Azerbeidzjan zijn daarvan voorbeelden.
In zowel Libië (2019) als in Azerbeidzjan (2020) werden Turkse bewapende drones ingezet.
Uiteindelijk bleken deze van beslissend voordeel voor de toenmalige Libische regering evenals voor
Azerbeidzjan.69 De Turkse low-cost-drone — eenvoudige drones die worden voorzien van moderne
digitale technologie en wapens — worden gezien als een alternatief voor de dure modellen uit de VS
en Israël. Turkije exporteert deze drones naar Qatar, Azerbeidzjan, Oekraïne en in de nabije toekomst
ook Polen.70
Niet-statelijke actoren en terroristische groeperingen
In toenemende mate zijn ook niet-statelijke actoren, zoals terroristische groeperingen, bezig met
het verwerven van nieuwe technologieën en de ontwikkeling van autonome wapensystemen. Deze
groeperingen zijn in staat zelfstandig geavanceerde wapensystemen te ontwikkelen, waarmee zij een
sterk verstorende impact kunnen hebben op de internationale vrede en veiligheid. Groeperingen als
deze trekken zich in hun oorlogshandelingen weinig aan van internationale regelgeving of geldend
oorlogsrecht. De wijze waarop zij hun systemen ontwikkelen — veelal gebaseerd op kennis vanuit
private ondernemingen gecombineerd met de aankoop van verouderde systemen van staten — geldt
als een steeds groter wordende dreiging.
Het gebruik van autonome systemen door niet-statelijke actoren, zoals terroristische groeperingen,
is voor staten een groot probleem. Toen Islamitische Staat in 2017 drones gebruikte tijdens de
talloze aanslagen in het Midden-Oosten, bleek het voor staten lastig deze drone-aanvallen bijtijds te
detecteren of tegen te gaan.71 De verspreiding van nieuwe technologie onder niet-statelijke actoren is
sindsdien alleen maar toegenomen.
    Nagorno-Karabach als technologisch strijdtoneel
    Het conflict in de regio Nagorno-Karabach in 2020 liet een intensief gebruik zien van nieuwe
    wapensystemen. De dronevloot van Armenië bestond uit kleinere systemen, van Russische
    makelij, gericht op verkenningsmissies. Azerbeidzjan bezat een groot drone-arsenaal met onder
    andere Russische en Turkse UAV’s en Israëlische loitering munition waaronder de Harpy en
    de SkyStriker, zelfsturende munitie die autonoom doelen detecteert en aanvalt. Met name de
    nieuwe Turkse UAV-platforms bleken effectief in het detecteren, identificeren en uitschakelen
    van Armeense verdedigingswerken. Deze systemen waren bewapend met slimme, microgeleide
    munitie die zelfstandig doelen detecteerde en aanvallen uitvoerde, tot achter de vijandige linies.
    Bronnen: Shaan Shaik en Wes Rumbaugh, ‘The Air and Missile War in Nagorno-Karabakh: Lessons for
    the Future of Strike and Defense’, Center for Strategic & International Studies, 8 december 2020; Michael
    Kofman en Leonid Nersisyan, ‘The second Nagorno-Karabakh War, two weeks in’, War on the Rocks,
    14 oktober 2020.
      4.2 EU en de NAVO
De EU
De lidstaten van de EU hebben momenteel — bij elkaar opgeteld — een gezamenlijk defensiebudget
van 234 miljard euro, na de VS het op één na hoogste defensiebudget ter wereld.72 Lidstaten als
Frankrijk, Duitsland en Italië geven respectievelijk 53, 41 en 22 miljard euro uit aan defensie en richten
zich daarbij ook op nieuwe autonome systemen. De verwachting is dat de lidstaten van de EU in
2021 opgeteld voor minstens 6,5 miljard euro inkopen aan drone-technologie. Verder heeft de EU de
capaciteit om hoogwaardige hardware voor autonome wapensystemen te ontwikkelen. EU-lidstaten
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                          26
</pre>

====================================================================== Einde pagina 27 =================================================================

<br><br>====================================================================== Pagina 28 ======================================================================

<pre>publiceerden wereldwijd de meeste academische papers over kunstmatige intelligentie en doen
wereldwijd ook de meeste patentaanvragen voor kunstmatige intelligentie. Wanneer de expertise en
capaciteit van de lidstaten effectief kan worden gebundeld zou de EU een dominante speler kunnen
worden op het geopolitieke toneel van de autonome wapensystemen.
De EU heeft evenwel twee uitdagingen. Ten eerste is de Unie intern verdeeld tussen landen die
vóór de ontwikkeling van gedeeltelijk letale autonome wapensystemen zijn (zoals Frankrijk en
Zweden) en de landen die daar juist tegen zijn (zoals Oostenrijk). Er bestaat onduidelijkheid over de
richting van het politieke debat ten aanzien van de ethische kaders en regulering. Ten tweede laten
de gecombineerde budgetten weliswaar een indrukwekkende slagkracht zien, maar is deze eenheid
in de praktijk veelal afwezig.73 De ontwikkeling van gedeeltelijk autonome wapensystemen gebeurt
door lidstaten veelal op eigen initiatief. Nu was dat wat betreft aanbestedingen voor wapensystemen
binnen de EU altijd al het geval. In de veranderende geopolitieke context echter — waarbij meer
nadruk zal komen te liggen op de strategische autonomie van de EU zelf — lijkt dit problematisch te
worden voor de operationele slagkracht.
De EU lijkt wat betreft de regulering van gedeeltelijk autonome wapensystemen verdeeld in twee
kampen, met Frankrijk en Duitsland aan weerszijden van het spectrum: Frankrijk beschouwt de
ontwikkeling van de Emerging Disruptive Technologies als een onderdeel van geopolitieke concurrentie
en toont duidelijke interesse in het uitbreiden van militaire toepassingen van bijvoorbeeld
kunstmatige intelligentie en quantumtechnologie; Duitsland ziet kunstmatige intelligentie
voornamelijk vanuit een economische en maatschappelijke betekenis en is voorzichtiger. Frankrijk wil
een actievere rol voor de EU ten behoeve van eigen ontwikkeling van deze systemen en kijkt concreet
naar technologische vooruitgang. Duitsland wil juist een vooraanstaande en sturende rol voor de EU
ten behoeve van regulering.
Het ontbreken van een centrale aanpak op EU-niveau zorgt voor geregelde kritiek van pleitbezorgers
van een coherent, doortastend EU-veiligheidsbeleid dat door de lidstaten gedragen wordt.
Onderzoekers benadrukken dat er op Europees niveau te weinig wordt nagedacht over de
consequenties van kunstmatige intelligentie voor de veiligheid van de EU.74 De Europese Commissie
heeft in 2021 zowel een gecoördineerde strategie voor kunstmatige intelligentie uitgewerkt (het
Coordinated Plan on AI) als een voorstel voor een regulerend kader voor kunstmatige intelligentie
gepubliceerd.75 De strategie en het regulerend kader richten zich echter voornamelijk op de civiele
wereld. EU-Commissaris voor Digitale economie en samenleving Margrethe Verstager benadrukte dit
toen zij in april 2021 het juridisch raamwerk voor kunstmatige intelligentie presenteerde, waarbij zij
zich richtte op het civiele gebruik door overheden, bedrijven en maatschappelijke instellingen.76
Het Europese Parlement toonde in zijn nieuwe resolutie over AI van januari 2021 aan nadrukkelijk
oog te hebben voor de noodzaak van een grotere samenhang tussen de civiele en militaire aspecten
van kunstmatige intelligentie. De aanwezige kennis en kunde binnen de verschillende lidstaten van
de EU op het gebied van militaire technologie doen niet onder voor die van de VS en China, maar
de inspanningen van de lidstaten – evenals de investeringen — zouden wel meer moeten worden
georkestreerd om te kunnen concurreren met deze twee landen. Dat geldt ook voor het stellen van
normatieve kaders voor de ontwikkeling van technologie voor tweeërlei gebruik, civiel en militair.77
De AIV en de CAVV constateren dat de wijze waarop EU-lidstaten aankijken tegen de ontwikkeling
van nationale technologische, innovatie- en industrie-strategieën met de daaraan verbonden civiele
en commerciële belangen té nationaal en civiel georiënteerd is. Gezien de nieuwe machtsbalans in de
wereld zou de EU door anderen moeten worden gezien als een essentiële speler en een machtsfactor
van belang op het gebied van nieuwe technologie. Maar dat kan alleen als de lidstaten gezamenlijk
optrekken in het formuleren van regels voor technologische innovatie.78 De AIV en de CAVV
verwijzen hiervoor naar een rapport van de Zweedse denktank SIPRI waarin wordt gesteld dat het om
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                   27
</pre>

====================================================================== Einde pagina 28 =================================================================

<br><br>====================================================================== Pagina 29 ======================================================================

<pre>drie redenen verstandig zou zijn als de EU streeft naar een gezamenlijk standpunt over verantwoord
militair gebruik van kunstmatige intelligentie.79
1.    De EU kan hiermee de onderling gedeelde waarden op mondiaal niveau uitdragen.
      Dit versterkt het onderling vertrouwen en de transparantie tussen EU-lidstaten.
2.    De EU zal daardoor kunnen beïnvloeden op welke manier kunstmatige intelligentie gebruikt
      moet worden door krijgsmachten van de lidstaten. Dit versterkt de ideeën over Europese
      strategische autonomie, onderlinge interoperabiliteit en effectieve samenwerking.
3.    Tevens is het via een gezamenlijke benadering voor EU-lidstaten eenvoudiger om technologische
      ontwikkeling op te schalen en de kosten toch beheersbaar te houden. De lidstaten zijn
      afzonderlijk niet in staat te concurreren met de VS en China op het gebied van investeringen
      van nieuwe technologieën voor militair gebruik, maar gezamenlijk kan dat wel.
Het is onontkoombaar dat de Europese technologieontwikkeling en innovatie wordt geplaatst
in het licht van een Europees veiligheidsbeleid. Op Europees niveau dient nauwer te worden
samengewerkt ten behoeve van de technologische ontwikkelingen in het veiligheidsdomein.
Daarvoor is meer Europese samenwerking, een centralere benadering van het veiligheidsbeleid, en
een aanzienlijke groei van de defensie-uitgaven van de EU-lidstaten noodzakelijk.80 Internationale
samenwerkingsinitiatieven waarbij de EU wordt gepasseerd, zoals het recente defensiepact AUKUS
— een samenwerking tussen de Verenigde Staten, Verenigd Koninkrijk en Australië op het gebied
van defensiematerieel en technologische ontwikkeling -, leveren voor de EU belangrijke strategische
vraagstukken op ten aanzien van het toekomstig Europees veiligheidsbeleid.81
De NAVO
De NAVO heeft zich de afgelopen jaren een andere rol aangemeten. De strategische focus van
weleer lag op het verdedigen van het bondgenootschappelijke grondgebied en de versterking van
de afschrikkingsmiddelen tegen Rusland. Hoewel de NAVO dit nog altijd als haar belangrijkste taak
ziet, is het takenpakket uitgebreid met het bestrijden van niet-statelijk terrorisme en het aangaan van
nieuwe strategische partnerschappen zoals in het Midden-Oosten.82 De actieve houding van de NAVO
ten aanzien van de opkomst van nieuwe technologieën past in deze veranderende strategische positie.
De NAVO benadrukt dat de voorwaarde voor effectief militair optreden ligt in de gezamenlijke
opbouw van kennis en ontwikkeling op het gebied van nieuwe technologieën. De meerwaarde van
samenwerking op het gebied van disruptieve technologie en autonome systemen ligt met name op
het vlak van interoperabiliteit en standaardisatie. De NAVO-lidstaten hebben begin 2021 ingestemd
met de uitwerking van een eigen strategie ten behoeve van de ontwikkeling van Emerging Disruptive
Technologies.83 De NAVO wil zoeken naar een human-centric approach in de context van militair
gebruik van autonome systemen.84
In oktober 2021 werd er voor het eerst een NAVO-strategie voor kunstmatige intelligentie
gepubliceerd. Hiermee zet de NAVO de kaders uiteen voor een ethische toepassing van deze
technologie door krijgsmachten.85 De NAVO geeft aan te willen werken aan internationale normering,
standaardisatie en interoperabiliteit tussen bondgenoten. Tevens wil zij een basis bieden voor een
ethisch verantwoorde ontwikkeling en verantwoordelijk gebruik van kunstmatige intelligentie
voor krijgsmachten van bondgenoten en wil zij het gebruik beter kunnen toetsen. De NAVO streeft
naar een versnelde toepassing van kunstmatige intelligentie binnen krijgsmachten; daarvoor
dient het innovatievermogen van bondgenoten te worden versterkt en beschermd. Ook dient
kwaadwillig gebruik van kunstmatige intelligentie door statelijke en niet-statelijke actoren te worden
tegengegaan, zo stelt de strategie.86 Samenwerken op het gebied van innovatie tussen NAVO-landen
en met kennisinstellingen en innovatiepartners is daarvoor essentieel.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    28
</pre>

====================================================================== Einde pagina 29 =================================================================

<br><br>====================================================================== Pagina 30 ======================================================================

<pre>Met een eigen strategie op het gebied van Emerging Disruptive Technologies, zoals kunstmatige
intelligentie, wil de NAVO laten zien welk belang zij hecht aan de ontwikkeling van deze
technologieën in de context van innovatie, research & development en ondernemerschap: een
innovatief klimaat creëert hoogtechnologische mogelijkheden die uiteindelijk de veiligheid ten goede
kunnen komen. De NAVO kijkt naar de ontwikkelingen op het gebied van disruptieve technologieën
vanuit een strategisch perspectief op ‘deterrence’ en ‘defence’. De technologieën moeten bijdragen aan
de hoofdtaken van de NAVO: het kunnen afschrikken en verdedigen.87
Om die reden stimuleert de NAVO de intensieve samenwerking met private partijen,
kennisinstellingen en overheden. De NAVO publiceerde in 2021 een eigen trendanalyse waarin
nieuwe technologieën zijn gedefinieerd die de komende twintig jaar een belangrijk en disruptief
effect zullen hebben. Deze zijn: big data, kunstmatige intelligentie en robotica, autonome systemen,
quantumtechnologie, ruimtevaarttechnologie, biotechnologie en human enhancement, en hypersone
technologie.88
De NAVO wil de komende jaren bondgenoten stimuleren meer te investeren in de ontwikkeling
van kunstmatige intelligentie en machinaal leren. Verder dienen krijgsmachten te investeren
in de ontwikkeling van quantumtechnologie en databeveiliging (algoritmen en systemen voor
het beveiligen en compromitteren van de beveiliging van communicatie, gegevenstransacties
en gegevensopslag; inclusief quantumbestendige versleutelingsmethoden, blockchain en
cyberbeveiliging in het algemeen).89 Vanwege het dual-use-karakter van Emerging Disruptive
Technologies acht de NAVO meer samenwerking met de civiele wereld en onderzoeksinstituten
essentieel.
Van belang daarvoor is wel, zo benadrukt de NAVO, dat er ten aanzien van deze sleuteltechnologieën,
in het bijzonder kunstmatige intelligentie, wordt ingezet op het stellen van normenkaders en het
reguleren van verantwoordelijk gebruik. Daarbij bestaat er ruimte voor het creëren van een eigen
ethisch raamwerk waarmee zowel individuele aansprakelijkheid alsook staatsaansprakelijkheid
kunnen worden gewaarborgd. Omdat de NAVO geen wetgevende organisatie is en geen
bevoegdheden heeft zal ze gebruik moeten maken van de mogelijkheden die haar lidstaten hebben:
ze moet proberen de lidstaten zowel op het gebied van regulering als wat betreft wapenbeheersing op
één lijn te brengen en zodoende invloed uit te oefenen.
Multilaterale organisaties als de NAVO (en de EU) zijn minder snel in staat beleidsmatig te
anticiperen op nieuwe ontwikkelingen. Wat dat betreft is de NAVO in bepaalde opzichten kwetsbaar,
zo stellen de AIV en de CAVV vast. Het ontbreken van beleidsmatige slagkracht bij de NAVO, dat wat
betreft technologische ontwikkeling sterk afhankelijk is van de individuele lidstaten, levert een gevaar
op voor de operationele slagkracht van het bondgenootschap, zo waarschuwen deskundigen.90
Daar komt bij dat de ontwikkeling van disruptieve technologieën, die een sterk dual use-karakter
hebben, vooral plaatsvindt in het commerciële domein. Dit betekent dat de technologie veelal
gebruikt kan worden voor zowel civiele als militaire doeleinden, maar ook ten goede en ten kwade.
Om het toezicht hierop van staatswege goed te organiseren is nauwe internationale samenwerking
vereist. De AIV en de CAVV adviseren de Nederlandse regering om in NAVO-verband en in
samenwerking met de Verenigde Staten, het Verenigd Koninkrijk en EU-partners te komen tot
een gezamenlijk screeningsbeleid voor de hightech-export en –investeringen, vooral voor dual-use
technologieën. Hiermee kan worden voorkomen dat landen als China en Rusland de fundamentele,
kwalitatieve leemtes in hun militaire capaciteiten (waaronder gedeeltelijk autonome wapensystemen)
kunnen dichten met Europese technologieën.
Vanwege de veelzijdige toepassing van nieuwe technologieën en goedkope commerciële
productieprocessen is het aannemelijk dat sommige technologieën ook in handen komen van
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                     29
</pre>

====================================================================== Einde pagina 30 =================================================================

<br><br>====================================================================== Pagina 31 ======================================================================

<pre>niet-statelijke actoren. Nadere regulering van het verwerven en ontwikkelen van autonome
wapensystemen en de naleving van het internationaal humanitair recht zou daarom van toepassing
moeten zijn op zowel statelijke als niet-statelijke actoren.91
De AIV en de CAVV adviseren de regering om zowel binnen de NAVO als binnen de EU in te zetten
op de instelling van een platform waar overheden, kennisinstellingen en het bedrijfsleven gezamenlijk
optrekken bij het onderzoeken van de industriële, juridische en ethische aspecten van autonome
wapensystemen.
      4.3 De positie van Nederland
Nederland heeft via het eigen Missie- en Topsectorenbeleid ingezet op de verdere ontwikkeling
van sleuteltechnologieën, met name voor de civiele wereld.92 De ambitie voor wat betreft de civiele
toepassing van deze technologieën, en dan specifiek kunstmatige intelligentie, werd in Nederland in
2019 uitgewerkt in het Strategische Actieplan AI en de oprichting van de Nationale AI Coalitie.93 Net
als in sommige andere EU-lidstaten, was er weinig aandacht voor het veiligheidsdomein. Het recent
gepubliceerde onderzoek over kunstmatige intelligentie door de Wetenschappelijke Raad voor het
Regeringsbeleid (WRR) laat zien hoe een brug gebouwd kan worden tussen de civiele toepassingen en
het veiligheidsdomein, waarbij hij ook aandacht vraagt voor de militaire toepassingen en de concrete
betekenis van nieuwe technologie voor het versterken van de nationale veiligheid.94
De AIV en de CAVV achten het vanuit geopolitiek oogpunt verstandig te wijzen op de meerwaarde
die investeringen in nieuwe technologieën hebben voor het veiligheidsdomein. De ontwikkelingen
wijzen immers op een toekomst waarbij het gebruik van drones voor defensieve taken, robotica en
kunstmatige intelligentie zoals verwerkt in hypersone systemen voor raketverdediging en data science
ten behoeve van inlichtingen, veeleer de standaard wordt.
Op het moment dat Nederland ten aanzien van deze technologische en militaire ontwikkelingen
niet meekomt staat het aan serieuze gevaren bloot, betogen sommige deskundigen.95 Voor Nederland
is het van belang dat het blijft meedoen op het gebied van kennis en innovatie. In de recent
gepubliceerde ‘Defensievisie 2035’ stelde het ministerie van Defensie een nieuw profiel op voor de
krijgsmacht: een technologisch hoogwaardige krijgsmacht die informatie-gestuurd kan optreden en
samenwerkt met partners. Hierbij zet Defensie in op snellere besluitvorming en een volledig integrale
commandovoering op alle niveaus. ‘Het gebruik van informatie om gestuurd heel het optreden
van de krijgsmacht vorm te geven vereist genetwerkte interoperabiliteit, intern en met al onze
(mogelijke) militaire en civiele partners’.96 In dat verband dient ook aandacht te worden besteed aan de
kwetsbaarheid van militaire besturingssystemen van gedeeltelijk autonome systemen voor cyber- of
hybride verstoringen.
Gedeeltelijk autonome wapensystemen brengen belangrijke militair-operationele voordelen mee. De
afgelopen jaren is gewerkt en geëxperimenteerd met gedeeltelijk autonome systemen in verschillende
domeinen zoals onderwaterdrones (de Remus), de MQ-9-done (de Reaper), het onbemande
grondvoertuig (de Milrem) of het close-in-weaponsystem (de Goalkeeper) dat als gedeeltelijk autonoom
afweergeschut dient op de fregatten van de Koninklijke Marine. Een klassiek voorbeeld van een
systeem waarin kunstmatige intelligentie een rol speelt, en dat al veel langer in gebruik is, is het
luchtverdedigingssysteem de Patriot.
Het meest recente voorbeeld van ingebruikname van een niet-letaal autonoom systeem is
de ingebruikname van een robothond door de Koninklijke Marechaussee. Deze hond (‘Spot’)
ondersteunt in de observatie- en surveillance-taken en kan zelfstandig doelen detecteren.97 Hoewel
het hierbij gaat om een gedeeltelijk autonoom systeem dat onbewapend wordt ingezet, kan niet
worden uitgesloten dat staten of niet-statelijke actoren (zoals terroristische groeperingen) dit systeem
in de toekomst alsnog gaan bewapenen.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                     30
</pre>

====================================================================== Einde pagina 31 =================================================================

<br><br>====================================================================== Pagina 32 ======================================================================

<pre>De Nederlandse krijgsmacht zal in de toekomst meer gebruik moeten maken van gedeeltelijk
autonome systemen. De AIV en de CAVV zijn overtuigd van het grote belang van nieuwe
technologieën voor de inrichting en het functioneren van moderne strijdkrachten. De ontwikkeling
van gedeeltelijk autonome systemen — van groot belang voor de ondersteuning en effectiviteit van
de krijgsmacht — maakt daar deel van uit. Er dienen daarom meer financiële middelen geïnvesteerd
te worden in de ontwikkeling van kunstmatige intelligentie, robotica, quantum computing en big
data. Daarbij gaat het om het vermogen te voorkomen dat het functioneren van de krijgsmacht wordt
ontregeld, maar ook om offensief gebruik van dergelijke technologie.
Tegelijkertijd wijzen de AIV en de CAVV de Nederlandse regering op een verhoogd risico op
internationale geweldsescalatie als gevolg van het ontbreken van gedegen internationale regulering.
Wetenschappers wijzen erop dat de combinatie van een aantal factoren vermoedelijk zullen leiden
tot grotere geopolitieke instabiliteit.98 Met name vanwege (1) de snelle ontwikkeling van dual use-
technologie; (2) het gegeven dat een niet-letaal wapensysteem relatief eenvoudig kan worden
omgebouwd tot een letaal wapensysteem; (3) er internationaal in toenemende mate gebruik wordt
gemaakt van gedeeltelijk autonome wapensystemen; (4) dat deze systemen relatief eenvoudig
verspreid worden (ook onder niet-statelijke actoren). Voor de Nederlandse regering ligt er een
belangrijke opdracht om te streven naar internationale regulering.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                31
</pre>

====================================================================== Einde pagina 32 =================================================================

<br><br>====================================================================== Pagina 33 ======================================================================

<pre>Hoofdstuk 5
Juridische en ethische
overwegingen
Staten hebben grote belangstelling voor de vervaardiging, aanschaf en het gebruik van verschillende
vormen van autonome wapensystemen.99 Inzet van dergelijke wapensystemen wordt voornamelijk
gereguleerd door het internationaal humanitair recht dat geldt tijdens gewapend conflict. Echter,
conflicten vinden steeds vaker plaats in een hybride vorm. Daarbij is niet altijd sprake van een
‘gewapend conflict’ in de traditionele zin. Dat roept vragen op met betrekking tot het toepasselijke
recht.
Uit de vorige hoofdstukken kwam naar voren dat technologische ontwikkelingen op het gebied van
robotica, kunstmatige intelligentie en het gebruik van big data met name gedreven worden door
de private sector. Deze ontwikkelingen zijn weliswaar gericht op civiele toepassingen, maar zijn
eveneens van groot belang voor het vervaardigen van autonome wapensystemen. Dit laatste roept
vragen op over het geldend juridisch regime dat van toepassing is op de ontwikkeling en het gebruik
van bepaalde wapensystemen.
Dit hoofdstuk gaat nader in op de vraag hoe de ontwikkeling en het gebruik van volledig autonome
wapensystemen zich verhoudt met de regels van het internationaal recht. Ook bespreekt het
de criteria die gelden voor rechtmatige ontwikkeling en gebruik van gedeeltelijk autonome
wapensystemen en de verschillende noties zoals betekenisvolle menselijke controle, mens-machine-
interactie, en ‘ethics by design’ zoals die vorm krijgen in het proces van ontwikkeling, aanschaf, en
de verschillende stadia van het zogenoemde ‘targeting-proces’. Verder worden verschillende vormen
van aansprakelijkheid besproken. Tot slot gaat het in op de vraag of het gezien de technologische en
geopolitieke ontwikkelingen mogelijk is om tot nieuwe internationale regelgeving te komen.
      5.1 Een juridisch en ethisch vraagstuk
De nadruk in dit hoofdstuk ligt op het juridische kader, en dan specifiek op de verenigbaarheid van
het gebruik van (gedeeltelijk autonome) wapensystemen met het internationaal humanitair recht.
Dit is het recht dat van toepassing is in gewapende conflicten, en wordt ook wel het ‘oorlogsrecht’
genoemd. Het juridische kader staat evenwel niet los van het ethische kader. De ontwikkeling, de
aanschaf en het gebruik van verschillende vormen van autonome wapensystemen leiden immers tot
belangrijke juridische, maar ook tot ethische vragen. In het publieke debat speelt vooral de ethische
kernvraag of de beslissing over leven en dood overgelaten mag worden aan een machine.
Er bestaat een interactie tussen het juridische en het ethische perspectief, waarbij de volgende
overwegingen relevant zijn:
1.    Ten eerste zijn de bestaande regels van het internationaal humanitair recht, bijvoorbeeld het
      verbod om burgers als militair doelwit te beschouwen, althans ten dele, een vorm van ‘gestolde
      ethiek’.
2.    Ten tweede zijn de kernregels van het internationaal humanitair recht algemeen van
      aard aangezien zij van toepassing (behoren te) zijn op diverse vormen van oorlogsvoering en
      wapengebruik. Ethische verfijning kan helpen bij de precieze inkleuring van juridische criteria.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                   32
</pre>

====================================================================== Einde pagina 33 =================================================================

<br><br>====================================================================== Pagina 34 ======================================================================

<pre>3.    Ten derde biedt de ethiek een extern aanvullend perspectief. Ethische beginselen kunnen ook
      de basis vormen voor de verdere ontwikkeling van het internationaal recht met betrekking tot
      ontwikkeling en gebruik van gedeeltelijk autonome wapensystemen.
      5.2 Het huidige juridische kader
Het geldend internationaal recht verbiedt niet expliciet de ontwikkeling en het gebruik van zowel
volledig als gedeeltelijk autonome wapensystemen. Wel bestaan er algemene regels, vooral in het
internationaal humanitair recht, die van belang zijn. Omdat het internationaal humanitair recht
alleen geldt tijdens situaties van gewapend conflict, wordt hieronder het onderscheid gemaakt tussen
vredestijd en een gewapend conflict.
Vredestijd
In situaties van ‘vredestijd’ waarbij ordehandhaving, strafrechtelijke interventies en schermutselingen
plaatsvinden die niet intensief genoeg zijn om te kwalificeren als ‘gewapend conflict’, geldt dat de
internationale mensenrechten van toepassing zijn. De mensenrechten die specifiek van toepassing
zijn op gebruik van gedeeltelijk autonome (letale) wapensystemen zijn het recht op leven en het recht
op privéleven.
Voor wat betreft het gebruik van geweld, inclusief het gebruik van autonome wapensystemen om
specifieke individuen uit te schakelen buiten een situatie van gevechtshandelingen — bijvoorbeeld
in het kader van rechtshandhaving door de politie, bij het handhaven van de openbare orde of door
een drone-aanval op een kopstuk van een terroristische organisatie buiten een gewapend conflict —
geldt dat dit vrijwel altijd in strijd is met het regime van de rechten van de mens. Onder dit regime is
het toepassen van dodelijk geweld alleen toegestaan in nauw omschreven situaties en aan vergaande
beperkingen onderworpen.100 De vraag is tevens of het daadwerkelijk een voordeel oplevert, of dat er
alternatieven zoals arrestaties voor de hand liggen.
Slechts in hoogst uitzonderlijke situaties mag dodelijk geweld in vredestijd worden uitgeoefend,
bijvoorbeeld bij een gewapende bankoverval of terroristische acties waarbij van overgave geen sprake
is en er gevaar bestaat voor omstanders en/of gijzelaars. Echter, indien het toepassen van dodelijk
geweld bij rechtshandhaving absoluut vereist en onvermijdelijk is, zou dit altijd onder menselijke
controle moeten staan. Dit is zo, vanwege de nog stringentere eisen die het regime van bescherming
van de mensenrechten stelt aan het toepassen van dodelijk geweld in vergelijking met het
internationaal humanitair recht en het feit dat het toepassen van deze criteria in hoge mate context-
specifiek is. In dergelijke situaties moet bovendien in het bijzonder rekening gehouden worden
met onschuldige burgers die zich vaak op, dan wel in de buurt van, de plaats van interventie zullen
bevinden. De risico’s voor de inzet van deze militaire systemen zijn in dat geval dus zeer groot.
Wat het recht op privéleven betreft, wijzen de AIV en de CAVV op het belang van adequate data
governance bij het gebruik van big data in systemen die opereren op kunstmatige intelligentie
(zie ook onder paragraaf 2.4).
Gewapend conflict
Anders dan in vredestijd is bij een internationaal of niet-internationaal gewapend conflict, naast
de mensenrechten, ook het internationaal humanitair recht van toepassing. Het internationaal
humanitair recht hanteert een aantal criteria voor het rechtmatige gebruik van alle soorten
wapensystemen. De belangrijkste criteria volgen uit het gewoonterecht, zoals neergelegd in de
artikelen 35, 51 en 57 van het Eerste Additionele Protocol bij de Geneefse Conventies van toepassing
op internationaal gewapend conflict. Deze schrijven voor dat bij gebruik van geweld door
wapensystemen er onderscheid gemaakt moet worden tussen combattanten en non-combattanten,
het geweld proportioneel moet zijn gezien het militaire doel, en dat het voorzorgsbeginsel in acht
moet worden genomen, wat betekent dat de burgerbevolking en burgerdoelen zoveel mogelijk
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                     33
</pre>

====================================================================== Einde pagina 34 =================================================================

<br><br>====================================================================== Pagina 35 ======================================================================

<pre>gespaard moeten blijven tijdens een aanval.
Naast bovenstaande regels die specifiek van toepassing zijn op internationaal gewapend conflict,
hebben de beginselen van onderscheid, proportionaliteit en voorzorg ook een gewoonterechtelijke
status, en zijn ze ook van toepassing in situaties van niet-internationaal gewapend conflict.
Naast de verdragsregels in de Geneefse Conventies is er nog een belangrijk gewoonterechtsbeginsel,
de zogenoemde Martens-clausule, die stelt dat in situaties die niet geregeld zijn in huidige verdragen,
burgers en combattanten de bescherming blijven genieten die gedicteerd worden door de beginselen
van humaniteit en het publiek geweten.101 Ook dit beginsel speelt een rol bij de beoordeling van het
rechtmatige gebruik van autonome wapensystemen tijdens internationaal en niet-internationaal
gewapend conflict.
De AIV en de CAVV zijn, net als in het advies uit 2015, van mening dat volledig autonome
wapensystemen de criteria van onderscheid en proportionaliteit (nog) niet zelfstandig kunnen
toepassen, met name ook gezien de fluïde en dynamische oorlogscontext waarin ze opereren.102
Deze volledig autonome systemen zijn niet in staat om doelstellingen zoals menselijkheid en
militaire noodzaak, de beginselen die de proportionaliteitsbalans van inzet van geweld bewaken,
adequaat tegen elkaar af te wegen.103 Een dergelijke afweging stoelt immers niet enkel op juridische
wetmatigheden maar vooral op een ethische afweging en is afhankelijk van de situationele context.
Het is onwaarschijnlijk dat algoritmen — zoals besproken in paragraaf 2.2 — in de toekomst daartoe
in staat zullen zijn. Volledig autonome wapensystemen die zelfstandig regels aanleren, doelen
selecteren en aanvallen, zonder dat er een menselijke intentie aan ten grondslag ligt of menselijk
ingrijpen mogelijk is, kunnen dan ook niet rechtmatig gebruikt worden.
Zoals eerder in het advies reeds is aangegeven, draait het bij besluitvorming om de vraag of er
betekenisvolle menselijke controle is op het besluit tot gebruik van het wapensysteem. Immers,
bij betekenisvolle menselijke controle dient een mens bewust een keuze te maken om een bepaald
wapensysteem in een bepaalde situatie, met een bepaald verwacht effect in te zetten, waarbij ook
een balans tussen menselijkheid en militaire noodzaak in de afweging meegenomen kan worden.
Betekenisvolle menselijke controle dient daarom het essentiële vereiste te zijn om op een ethische
wijze de naleving van de beginselen van onderscheid, proportionaliteit en voorzorg te kunnen
garanderen. Zoals gezegd, is daarvan bij volledig autonome wapensystemen geen sprake.
Anders dan volledig autonome wapensystemen, zou — conform deze argumentatie — het gebruik
van gedeeltelijk autonome wapensystemen dus wel rechtmatig kunnen zijn, mits er betekenisvolle
menselijke controle is op het gebruik waarmee op zorgvuldige wijze de criteria van onderscheid,
proportionaliteit en voorzorg gehanteerd kunnen worden. Indien aan alle voorwaarden is voldaan,
mogen deze systemen ook voor dodelijk geweld tegen individuen ingezet worden, maar uiteraard
alleen voor zover het gaat om combattanten of personen die rechtstreeks deelnemen aan de
vijandelijkheden.
De positie van de AIV en de CAVV wijkt af van die van het ICRC, dat zich uitspreekt tegen elk gebruik
van dodelijk geweld door autonome systemen tegen individuele personen, ook in oorlogstijd. 104
De AIV en de CAVV zijn van oordeel dat zich scenario’s kunnen voordoen waarin de risico’s voor
de burgerbevolking bijvoorbeeld minimaal zijn. Onder geen beding kunnen gedeeltelijk autonome
wapensystemen echter worden gebruikt tegen non-combattanten, zelfs niet indien deze personen
van ernstige misdrijven (inclusief oorlogsmisdrijven) worden verdacht. In de praktijk betekent
dit dat er een goede inschatting gemaakt moet kunnen worden van de omgeving waarin het
wapensysteem wordt ingezet en met name van de mogelijke aanwezigheid van non-combattanten.
Alle voorzorgsmaatregelen moeten worden genomen om civiele (menselijke) schade te voorkomen.
Dit betekent ook dat er bij de toepassing een verschil bestaat tussen gebruik van gedeeltelijk
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    34
</pre>

====================================================================== Einde pagina 35 =================================================================

<br><br>====================================================================== Pagina 36 ======================================================================

<pre>autonome wapensystemen enerzijds op zee, waar geen burgers aanwezig hoeven te zijn, en anderzijds
in een stedelijke omgeving waar strijders zich bevinden (of actief mengen) tussen burgers. Ook is de
capaciteit van de tegenstander om data-analyse te verstoren, waardoor een goede inschatting van de
situatie onmogelijk wordt, een belangrijke factor waarmee rekening gehouden moet worden.
Met betrekking tot de bestudering, ontwikkeling en aanschaf of invoering van nieuwe
wapensystemen, of een nieuwe methode van oorlogsvoering, legt het internationaal recht staten een
positieve verplichting op om, conform artikel 36 van het Eerste Additionele Protocol bij de Geneefse
Conventies, “vast te stellen of het gebruik daarvan, in bepaalde of in alle omstandigheden, door dit
Protocol of door enige andere regel van het (…) toepasselijke volkenrecht is verboden.” Staten moeten
daarom op basis van deze verplichting een zogenoemde ‘weapon review’ uitvoeren met betrekking tot
de naleving van het internationaal recht, inclusief de criteria van onderscheid, proportionaliteit en
voorzorg bij gebruik van het nieuwe wapensysteem.
Staten zijn niet verplicht de uitkomsten van deze reviews te delen met anderen. Het verdient
evenwel aanbeveling, aldus de AIV en de CAVV, dat zij toch op enige manier aan de internationale
gemeenschap inzicht verschaffen in hun beoordeling van de verenigbaarheid van bepaalde
(gedeeltelijk) autonome wapensystemen met het internationaal recht. Andere staten kunnen
daar immers van leren. Bovendien verhoogt transparantie het maatschappelijk draagvlak voor het
eventueel gebruik van autonome wapensystemen. Nederland geeft reeds het goede voorbeeld door de
adviezen van de ambtelijke Adviescommissie Internationaal Recht en Conventioneel Wapengebruik
(AIRCW) te publiceren op de website overheid.nl. Het verdient aanbeveling deze adviezen
toegankelijker aan te bieden, makkelijker vindbaar te maken (bijvoorbeeld via een eigen website) en
ook te publiceren in het Engels, zodat internationale partners er kennis van kunnen nemen.
      5.3 Operationalisering van ‘betekenisvolle menselijke controle’
In het advies uit 2015 werd het begrip ‘betekenisvolle menselijke controle’ gezien als een noodzakelijke
voorwaarde voor de ontwikkeling en het gebruik van gedeeltelijk autonome wapensystemen. In het
nieuwe advies willen de AIV en CAVV dit begrip verder concretiseren. In deze paragraaf werken zij dit
nader uit.
Aanvankelijk werd het idee van ‘betekenisvolle menselijke controle’ ontwikkeld en gepromoot door
een aantal non-gouvernementele organisaties; de laatste jaren wordt het ook steeds vaker gebruikt
door overheden. 105 We spreken hierbij van een vertaling van meaningful human control, waarbij het
eigenlijk gaat om een ruime opvatting over wat menselijke controle zou moeten zijn. Met dit begrip
bedoelen de AIV en CAVV ook dat de controle die wordt uitgeoefend op een wapensysteem effectief
en toereikend is. Het gaat dus feitelijk bij dit begrip ook om het oordeelvermogen van de mens bij de
inzet van een wapensysteem.
Internationaal gezien bestaat er consensus over het feit dat betekenisvolle menselijke controle
moet zijn gewaarborgd bij het gebruik van gedeeltelijk autonome wapensystemen. Over de precieze
invulling bestaan evenwel internationaal verschillen van inzicht. Dit geldt met name voor de vraag of
er betekenisvolle menselijke controle over het gehele wapensysteem als zodanig sprake moet zijn, of
dat deze betekenisvolle menselijke controle zich zou kunnen beperken tot bepaalde vitale functies,
zoals selectie van doelwit en daadwerkelijk gebruik. 106
Bij ‘betekenisvolle menselijke controle’ zou er in essentie sprake moeten zijn van voldoende en
adequate controle door personen die besluiten over het gebruik van een gedeeltelijk autonoom
wapen. Het is daartoe van belang dat er bij hen een minimaal cognitief begrip is van de informatie
die verwerkt moet worden en de context waarin het wapen wordt ingezet, zodat zij een
geïnformeerd besluit over rechtmatig gebruik kunnen nemen waarbij ze de criteria van onderscheid,
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                     35
</pre>

====================================================================== Einde pagina 36 =================================================================

<br><br>====================================================================== Pagina 37 ======================================================================

<pre>proportionaliteit en voorzorg betrekken. 107 De vraag is of het voldoende is als het individu de
mogelijkheid heeft om het door het systeem gesuggereerde gebruik van het wapen te blokkeren en/
of dat het noodzakelijk moet zijn dat het individu expliciet toestemming geeft voor een aanval tegen
specifieke doelen.108
Om die reden gaven de AIV en de CAVV in hoofdstuk 1 een brede definitie van het begrip ‘autonomie’,
waarbij werd verwezen naar het model van Noel Sharkey, Daniele Amoroso en Guglielmo Tamburrini.
Hiermee maken zij duidelijk dat voor de ontwikkeling en het gebruik van autonome wapensystemen
alternatieve vormen van autonomie te bedenken zijn, wat weer gevolgen heeft voor de mate van
menselijke controle. Niet alle wapensystemen hoeven even autonoom te zijn en kunnen verschillende
vormen van menselijke controle bevatten.
Ook op internationaal niveau is er discussie over de exacte invulling van het begrip ‘betekenisvolle
menselijke controle’, en worden er ook andere begrippen geïntroduceerd die als uitgangspunt zouden
moeten dienen. Binnen de CCW van de VN spreekt een speciale Group of Governmental Experts (GGE),
een groep van zeventig landen, sinds 2013 meerdere keren per jaar over autonome wapensystemen,
alsook over de juridische en normatieve uitgangspunten die van belang zijn bij besluiten over gebruik.
Door deze deelnemende landen zijn elf leidende principes — Guiding Principles — opgesteld (zie het
kader verderop in paragraaf 5.5) waarbij een aantal onder hen het (normatieve) standpunt hebben
ingenomen dat een zekere ‘kwaliteit en omvang van mens-machine-interactie’ nodig is om ervoor
te zorgen dat autonome wapensystemen kunnen worden gebruikt overeenkomstig internationaal
humanitair recht.109 Deze mens-machine-interactie zou, aldus de veronderstelling, staten de
mogelijkheid geven om de menselijke controle te waarborgen en te beschermen.
In het internationaal debat draait het steeds vaker om de relatie van het begrip ‘betekenisvolle
menselijke controle’ tot begrippen als mens-machine interactie en ‘ethics by design’. Bij mens-machine-
interactie gaat het vooral om de samenwerking tussen mens en machine, waarbij vereisten aan de
technologie worden gesteld die het mogelijk maken deze betrouwbaar en intuïtief te bedienen en
de werking te controleren.110 Hiertoe kan het nodig zijn dat er een technologische ‘mediation tool’
in het systeem wordt ingebouwd om geïnformeerde bediening mogelijk te maken. Hiermee zou
het probleem van ‘automation bias’, waarbij systeem-operators overmatig vertrouwen hebben in
de betrouwbaarheid van de gegevens die ze aangeleverd krijgen door het systeem, moeten worden
ondervangen. Daarmee wordt tevens voorkomen dat de betekenisvolle menselijke controle een loze
belofte wordt.
De geleidelijke verschuiving van het CCW-debat richting mens-machine-interactie kan worden
verklaard door een toegenomen erkenning dat technologische bemiddeling de menselijke
besluitvorming op vele manieren beïnvloedt. Dit betekent dat er op een andere manier moet worden
nagedacht over de te beleggen controle en verantwoordelijkheid.111
De AIV en de CAVV onderschrijven het belang van mens-machine-interactie om nader invulling
te kunnen geven aan het begrip betekenisvolle menselijke controle. Ze tekenen daarbij aan dat het
bovendien van belang is om verder te kijken dan enkel het moment dat besloten wordt tot gebruik
van het gedeeltelijk autonome wapensysteem, binnen de zogenaamde vitale functies. Er gaan immers
verschillende fasen van het targeting-proces aan vooraf. De AIV en de CAVV hanteren dan ook een
brede benadering en kijken naar het gehele proces van besluitvorming binnen de verschillende
organisaties die betrokken zijn bij ontwerp, aanschaf en gebruik van wapensystemen om de
betekenisvolle menselijke controle en de daaruit voortvloeiende verantwoordelijkheid te beoordelen.
Daarbij is het aannemelijk dat hoe autonomer het wapensysteem is, hoe meer de betekenisvolle
menselijke controle naar voren moet schuiven in het besluitvormingsproces.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    36
</pre>

====================================================================== Einde pagina 37 =================================================================

<br><br>====================================================================== Pagina 38 ======================================================================

<pre>Het is raadzaam betekenisvolle menselijke controle in verschillende fasen van het
besluitvormingsproces te beleggen.112 De betekenisvolle menselijke controle moet om te beginnen
nooit bij één persoon liggen, maar is een verantwoordelijkheid die door meerdere personen
verspreid binnen de gehele besluitvormingsketen, moet worden gedragen. Zo zijn er in de gehele
commandoketen diverse juridische, beleidsmatige en ethische keuzemomenten aan te wijzen.
Tijdens de hele levenscyclus van een gedeeltelijk autonoom systeem worden afwegingen gemaakt
die juridisch valide dienen te zijn. Dat geldt zowel voor het werk van de ontwikkelaar, de leverancier
als voor de besluitvormer en de operationeel commandant.113 Dat betekent dus ook dat als de
verantwoordelijkheid moet worden belegd men naar de bredere context moet kijken.
Bovendien worden er al vóór een besluit over het specifieke gebruik bij een aanval, besluiten genomen
door politieke bestuurders en verantwoordelijken over ontwikkeling, aanschaf en gebruik in algemene
zin van gedeeltelijk autonome wapensystemen in een bepaald conflict. Van belang is dan ook dat de
verantwoordelijken in de verschillende fasen zorgdragen voor relevante afspraken met fabrikanten
ten aanzien van de controleerbaarheid van een aantal cruciale criteria (zie hieronder).114
De ethische afwegingen en de juridische criteria dienen dus in de ontwerpfase van de wapensystemen
al vorm te krijgen. Daar kan worden bepaald welke randvoorwaarden een systeem meekrijgt, hoe de
software is opgebouwd, hoe het systeem technologisch in elkaar steekt en welke afwegingen het moet
kunnen maken.115 Bij het gebruik van nieuwe systemen kunnen zich ook ongunstige en onvoorziene
neveneffecten openbaren. Het is daarom van belang dat zowel de juridische criteria als de ongunstige
en onvoorziene neveneffecten zorgvuldig in kaart worden gebracht. 116 Hierbij zijn de beginselen
van het internationaal humanitair recht onverkort van toepassing, zoals de CAVV in het advies over
drones uit 2013 al benadrukte.117 Concreet kunnen deze overwegingen worden uitgewerkt in een
model, zoals het Asser Instituut dat heeft uitgewerkt in opdracht van de AIV en de CAVV.
Figuur 2 - Model met de uitwerking van ethische en juridische overwegingen. Asser Instituut.
    Ontwikkeling:                             Aanschaf/Inkoop:             Implementatie:
    -  Codering                               - Testen en certificeren     - Strategische en opera-
    -  Testen                                 - Wapenbeoordeling              tionele beslissingen
    -  Productie                                                              van commandanten
    -  Wapenbeoordeling                                                    - Tactisch gedrag van
       (i.g.v. de staat)                                                      de operators
    • De mens-machine                         • Mens-machine               • Oefenen van MHC
       interactie in het                         interactieontwerp dat
       ontwerp ingebouwd                         MHC garandeert            • Overrulen van functies
       garandeert MHC en
       menselijk handelen                     • Naleving en                • Voortdurende
                                                 aansprakelijkheid in         monitoring voor
    • Naleving en                                het ontwerp                  naleving en MHC
       aansprakelijkheid in                      vastgelegd
       het ontwerp                                                         • Onderhoud
       vastgelegd
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                   37
</pre>

====================================================================== Einde pagina 38 =================================================================

<br><br>====================================================================== Pagina 39 ======================================================================

<pre>In de fase van ontwikkeling en aanbesteding zullen ontwerpkeuzes een aanzienlijke invloed hebben
op de vraag of en hoe een gedeeltelijk autonoom wapensysteem rechtmatig kan worden ingezet
en onder betekenisvolle menselijke controle kan blijven. Het is in dit stadium dat ontwikkelaars
kunnen streven naar effectieve mens-machine-interactie, het verminderen van de zogenaamde
automatiseringsbias en het vastleggen van juridische beginselen en ethische overwegingen in het
systeem.
Naast de verantwoordelijkheid van de fabrikant, ligt er ook een verantwoordelijkheid bij de staat die
tot aanschaf besluit. Immers, conform artikel 36 van het Eerste Protocol bij de Geneefse Conventies,
heeft een staat een verplichting om te bepalen of het gebruik van een gedeeltelijk autonoom
wapensysteem in sommige of alle omstandigheden verboden zou zijn door dit Protocol of door enige
andere regel van internationaal recht. De staat dient dus toe te zien op het grondig testen van het
wapensysteem om te verifiëren dat aan de criteria met betrekking tot ontwerpkwaliteit wordt voldaan
en dat certificering correct verloopt.
Naast het belang van betekenisvolle menselijke controle voor de toetsing van de criteria uit het
internationaal humanitair recht, is het ook nodig dat — vanuit het oogpunt van legitimiteit en
politieke en publieke verantwoording — politiek bestuurders en verantwoordelijken kunnen
aangeven op welke wijze er een zorgvuldige en geïnformeerde besluitvorming plaatsvindt ten aanzien
van ontwikkeling, aanschaf en gebruik van gedeeltelijk autonome wapensystemen. Door vooraf een
zorgvuldig ethisch kader voor besluitvorming en verantwoording te ontwikkelen, en te verzekeren
dat dit ethisch kader een vertaling krijgt naar de organisaties die besluitvorming voorbereiden, is
het mogelijk om naast een juridisch verantwoord besluit ook tot een ethisch verantwoord besluit te
komen.
Onderdeel van de besluitvorming betreft bijvoorbeeld transparantie omtrent de afweging van voor-
en nadelen van gebruik van gedeeltelijk autonome wapensystemen. In navolging van het ICRC stellen
de AIV en de CAVV dat een aantal criteria gehanteerd kan worden waarmee in de verschillende fasen
van besluitvorming een risicoanalyse kan worden gemaakt. Bovendien stellen de AIV en de CAVV dat
de actoren die bij de verschillende fasen van besluitvorming betrokken zijn de juiste kennis moeten
hebben en training moeten hebben doorlopen om een geïnformeerde afweging te maken.
Uiteraard dient hierbij gekeken te worden of de beginselen van onderscheid, proportionaliteit
en voorzorg zijn gewaarborgd. Het gaat dan om het soort doelwitten, de afbakening in gebruik
ten aanzien van het geografisch bereik, de tijdsduur, en mate van geweldsgebruik, het gebruik in
gebieden waar zich burgers bevinden, en de mogelijkheid voor menselijke supervisie, interventie of
deactivering bij gebruik van het wapensysteem. Bij politieke besluitvorming over mogelijk gebruik
zou bijvoorbeeld aangegeven kunnen worden dat dit alleen mogelijk is op zee, of in niet-stedelijk
gebied, wel of niet tegen menselijke doelwitten of enkel in defensieve situaties.
In Nederland informeert de regering het parlement over de gewapende inzet van de krijgsmacht
(niet zijnde NAVO artikel-5 operaties) via de zogenoemde ‘artikel 100-brief’. Aangezien conflicten
veranderen en de kans zeer aannemelijk is dat een gewapende strijd op afstand wordt geleverd, zal
dit invloed hebben op de inzet van manschappen en materieel, waarbij een verschuiving van nadruk
van de eerste categorie naar de laatste zeer aannemelijk is. Essentieel daarvoor is de informatiepositie
van de politiek verantwoordelijken. Er dient een goede omgevingsinschatting en afweging gemaakt
te worden in hoeverre betekenisvolle menselijke controle aanwezig kan zijn bij de eventuele inzet
van wapensystemen. Dit alles zou ervoor pleiten in een artikel 100-brief meer aandacht te besteden
aan de eventuele inzet van bepaalde autonome wapensystemen in een specifiek conflict, waarbij
bovengenoemde criteria ook meegenomen kunnen worden.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                     38
</pre>

====================================================================== Einde pagina 39 =================================================================

<br><br>====================================================================== Pagina 40 ======================================================================

<pre>   Mogelijke criteria ten behoeve van regulering:
   -     Voor welk type doelwitten is het gebruik van gedeeltelijk autonome systemen beoogd?
         •    Verregaande autonomie kan acceptabel zijn in geval systemen uitsluitend defensieve
              functies vervullen en gericht zijn op het neutraliseren van inkomende projectielen,
              bijvoorbeeld het Israëlische Iron Dome systeem of systemen die schepen beschermen
              tegen inkomende raketten.
         •    Verregaande autonomie is minder vanzelfsprekend in geval van het gebruik van
              dodelijk geweld tegen personen. Voldoende menselijke controle moet worden belegd
              om fouten of technische malfuncties, met de gevolgen van dien, te voorkomen. In
              geen geval kan een gedeeltelijk autonoom systeem burgers of civiele objecten bewust
              als doelwit nemen (zij het dat civiele ‘nevenschade’ in bepaalde gevallen toelaatbaar is).
   -     Wat is de duur van het gebruik?
         •    Hoe langer gedeeltelijk autonome systemen worden ingezet, hoe groter de
              onvoorspelbaarheid. De omstandigheden in het operatiegebied kunnen immers
              veranderen: met name is de kans groter dat burgers het gebied betreden.
              Verregaande autonomie is dan ook slechts acceptabel indien de duur van de inzet
              beperkt in de tijd is.
   -     Wat is de geografische reikwijdte?
         •    Hoe groter de geografische reikwijdte van een operatie, hoe groter de
              onvoorspelbaarheid. Vergaande autonomie is slechts acceptabel indien het gebied
              waarin de operatie plaatsvindt, beperkt in omvang is en de geviseerde doelwitten
              duidelijk omschreven zijn.
   -     Wat zijn de omstandigheden?
         •    Autonomie dient te worden ingeperkt in geval een groot aantal burgers of civiele
              objecten aanwezig zijn in het gebied waarin de systemen worden ingezet. Het gevaar
              is immers reëel dat het systeem zich vergist in het doelwit dan wel dat het burgers treft
              die zich toevallig in de buurt van militaire doelwitten bevinden.
         •    Meer autonomie is acceptabel indien staten maatregelen nemen om te voorkomen dat
              burgers operatiegebieden betreden. Dat kan in beginsel bij alle types operaties
              (lucht, zee, land).
         •    Meer autonomie is acceptabel indien het systeem wordt ingezet in een omgeving
              waarin de tegenstander niet aanwezig is. In dat geval is het risico immers kleiner
              dat de tegenstander de geplande inzet van het systeem en de communicatie tussen
              mens en machine zal verstoren.
   -     Zijn de randvoorwaarden aanwezig voor een goede mens-machine interactie?
         •    De gebruiker van gedeeltelijk autonome systemen moet een goed begrip hebben van
              de gevolgen van de inzet van deze systemen.
         •    Ontwerpers moeten een autonoom systeem zo ontwerpen dat het wordt gedeactiveerd
              indien het niet langer adequaat functioneert dan wel indien het langer — of in een
              groter gebied — wordt gebruikt dan gepland.
         •    Het is raadzaam dat menselijke operatoren vanop afstand de operationele inzet van
              het gedeeltelijk autonome systeem (visueel) kunnen volgen en daarbij een overzicht
              hebben van de omgeving. Dit laat hen toe in te grijpen, met name wanneer het
              systeem potentieel dodelijk geweld gebruikt.
   Bronnen: ‘Position on Autonomous Weapon Systems’, ICRC, 12 mei 2021; ‘Limits of autonomy’,
   ICRC/SIPRI (2020); Amoroso en Tamburrini (2020).
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                     39
</pre>

====================================================================== Einde pagina 40 =================================================================

<br><br>====================================================================== Pagina 41 ======================================================================

<pre>      5.4 Aansprakelijkheidsvormen
Bij het ontwerpen, ontwikkelen en gebruiken van (volledig en) gedeeltelijk autonome wapensystemen
komt het heel nauw waar precies de verantwoordelijkheid wordt belegd voor het gebruik van deze
systemen. Verantwoordelijkheid behelst de verplichting om een actie van een persoon of systeem
achteraf uit te leggen en te verantwoorden. Juridische verantwoordelijkheid wordt doorgaans
aangeduid als ‘aansprakelijkheid’. Een persoon of entiteit kan in beginsel juridisch aansprakelijk zijn
voor onrechtmatige of schadeveroorzakende acties van een autonoom wapensysteem. Het systeem
zelf is (voorlopig althans) niet aansprakelijk, omdat het geen rechtspersoonlijkheid heeft. Deze
paragraaf bespreekt welke actoren in welke omstandigheden aansprakelijk zijn voor (de consequenties
van) het gebruik van een autonoom systeem. De nadruk ligt daarbij op het internationaal recht.
Krachtens algemeen internationaal recht kunnen staten aansprakelijk worden gehouden voor
de internationaal onrechtmatige acties van autonome systemen die ze gebruiken, bijvoorbeeld
wanneer deze systemen burgers onder vuur nemen zonder dat daarvoor een militaire noodzaak is.
Krachtens internationaal strafrecht kunnen ook individuen aansprakelijk worden gehouden die
waar ook in de levenscyclus een rol spelen in het gebruik en ontwikkeling van autonome systemen,
met name operatoren, commandanten en ontwikkelaars. Deze verschillende vormen en niveaus van
aansprakelijkheid kunnen complementair zijn, wat betekent dat verschillende actoren aansprakelijk
kunnen worden gehouden voor hetzelfde gedrag van een systeem. 118
Met name voor individuen hangt aansprakelijkheid nauw samen met menselijke controle. Normaal
zal een individu immers slechts aansprakelijk kunnen worden gesteld voor (de consequenties van) een
actie van een autonoom wapensysteem indien hij daarover enige controle had. De versterking van
betekenisvolle menselijke controle over autonome systemen verhoogt dan ook de kans dat individuen
aansprakelijk worden gehouden. Tegelijk kan het risico op aansprakelijkheid ervoor zorgen dat
menselijke controle over autonome systemen beter wordt belegd.
Staatsaansprakelijkheid
Krachtens internationaal recht zijn staten aansprakelijk voor handelingen en omissies die aan hen
kunnen worden toegerekend en die een schending van internationale verplichtingen opleveren. De
regels inzake staatsaansprakelijkheid zijn neergelegd in de door de VN-Commissie voor Internationaal
Recht opgestelde Articles on the Responsibility of States for Internationally Wrongful Acts (ARSIWA), die
grotendeels het internationaal gewoonterecht weerspiegelen.
Indien een staat een autonoom wapensysteem gebruikt, is hij in beginsel aansprakelijk indien bij
gebruik schendingen van het internationaal humanitair recht worden begaan. De staat kan echter ook
reeds aansprakelijk zijn in geval van schendingen van due diligence-verplichtingen: zorgplichten die de
staat heeft om alle maatregelen te nemen die binnen zijn macht liggen om een bepaald onwenselijk
resultaat te voorkomen. Aangezien het hierbij om een inspanningsverbintenis gaat, kan een staat
reeds aansprakelijk worden gesteld zodra hij zijn procedurele zorgverplichtingen niet heeft nageleefd,
zelfs als er nog geen schade is veroorzaakt. Due diligence-verplichtingen bestaan in het internationaal
humanitair recht alsook in het internationaal recht van de mensenrechten.119 Zij zijn dan ook relevant
in de context van het gebruik van autonome wapensystemen.
Concreet dienen staten ervoor te zorgen dat niet alleen het gebruik, maar ook het ontwerp en de
ontwikkeling en het gebruik van deze systemen in overeenstemming zijn met het internationaal
recht. In het stadium van inkoop van technologie of systemen bij derden (private partijen) heeft
de staat de plicht om te controleren of de kunstmatige intelligentie is ontworpen en ontwikkeld
in overeenstemming met het internationaal recht. Indien de staat systemen ontwikkelt (of laat
ontwikkelen) en deze gebruikt op een onrechtmatige manier, is de staat gehouden volledig
rechtsherstel te bieden voor schade die is veroorzaakt door het onrechtmatige gebruik van deze
systemen.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                      40
</pre>

====================================================================== Einde pagina 41 =================================================================

<br><br>====================================================================== Pagina 42 ======================================================================

<pre>Vanwege het relatief risicovolle karakter van het gebruik van autonome wapensystemen in
conflictsituaties, kan worden overwogen een principe van strikte staatsaansprakelijkheid (een vorm
van risicoaansprakelijkheid) in te voeren, met name in het geval van technische mankementen en
ontwerpfouten. Een dergelijke vorm van aansprakelijkheid is nog niet algemeen in het internationaal
recht neergelegd. Strikte aansprakelijkheid (strict liability) is uitsluitend gebaseerd op de veroorzaakte
schade. Het is daarbij niet relevant of de staat nalatig was of op enige wijze schuld treft; zelfs als de
staat aan zijn due diligence-verplichtingen heeft voldaan, kan hij nog steeds aansprakelijk zijn in een
regime van strikte aansprakelijkheid. Het is evenmin relevant of de schade al dan niet het gevolg is
van een formele schending van een internationaalrechtelijke verplichting.
Een regime van strikte aansprakelijkheid leent zich bij uitstek voor de regulering van autonome
wapensystemen. Deze vorm van aansprakelijkheid is een ethisch geschikte manier om het risico
op technische storingen, ongevallen en ontwerpfouten, en de daaruit voortvloeiende schade, bij de
staat te beleggen. Deze aansprakelijkheid kan staten stimuleren reeds in de ontwikkelingsfase hoge
kwaliteitsnormen te eisen. Niet elk gebruik van een autonoom wapensysteem geeft echter aanleiding
tot strikte aansprakelijkheid. Indien een staat een dergelijk systeem op rechtmatige wijze gebruikt
tegen militaire doelen, met volledige inachtneming van het internationaal humanitair recht, is de
staat niet aansprakelijk voor het veroorzaakte nadeel.
Een aantal verdragen, bijvoorbeeld in het recht betreffende de ruimtevaart, voorziet reeds in
strikte aansprakelijkheid van staten voor schade veroorzaakt door bepaalde — op zich geoorloofde
— activiteiten.121 Strikte staatsaansprakelijkheid voor schade veroorzaakt door autonome
wapensystemen zal een nieuw verdrag vereisen.
Procedureel kan een staat in bepaalde gevallen en onder bepaalde voorwaarden aansprakelijk worden
gesteld voor internationale hoven, bijvoorbeeld het Internationaal Gerechtshof, het Europees Hof
voor de Rechten van de Mens, dan wel een internationaal hof dat specifiek voor het gebruik van
autonome wapensystemen in het leven wordt geroepen. In sommige landen, zoals Nederland, kan
een staat ook voor zijn eigen rechtbanken aansprakelijk worden gesteld (vergelijk de Srebrenica-
procedure tegen de Nederlandse staat voor Nederlandse rechtbanken).
Staatsaansprakelijkheid heeft drie voordelen ten opzichte van individuele aansprakelijkheid.
Ten eerste hebben staten meer financiële middelen dan individuen en zullen zij slachtoffers dus
makkelijker kunnen compenseren. Ten tweede zorgt de dreiging van staatsaansprakelijkheid ervoor
dat staten zorgvuldiger te werk gaan in de verschillende fasen van ontwikkeling, aankoop, integratie
en gebruik van autonome wapensystemen; staatsaansprakelijkheid leidt dus tot meer systemische
verandering dan individuele aansprakelijkheid.122 Ten derde — zoals wordt uitgelegd in het volgende
onderdeel — is het lastig om een individu aansprakelijk te stellen voor onrechtmatige daden begaan
door het gebruik van autonome systemen, omdat het individu doorgaans niet de intentie heeft om
deze daden te (doen) plegen. Om een staat aansprakelijk te houden, is het daarentegen niet nodig om
intentie te bewijzen.
Individuele strafrechtelijke aansprakelijkheid: de operator
Naast staten kunnen in beginsel ook individuen aansprakelijk worden gehouden voor schendingen
van het internationaal recht veroorzaakt door autonome wapensystemen. Dat gebeurt met name
op basis van het internationaal strafrecht. Het is evenwel niet vanzelfsprekend om een individu
strafrechtelijk aansprakelijk te stellen voor de gevolgen van het gebruik van autonome systemen,
omdat hij deze gevolgen mogelijk niet gewild of aanvaard heeft en hem dus geen schuld treft. Aan
het vereiste van mentale gerichtheid (mens rea) is in dat geval niet voldaan. Mens rea wordt gevormd
door (1) opzet in relatie tot de gevolgen of (2) een besef van de gevolgen. In het geval van militaire
operatoren die autonome wapensystemen bedienen en aanvallen uitvoeren, maar slechts beperkte
menselijke controle uitoefenen in de eindfase van de geweldstoepassing, is het de vraag of opzet kan
worden bewezen.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                       41
</pre>

====================================================================== Einde pagina 42 =================================================================

<br><br>====================================================================== Pagina 43 ======================================================================

<pre>Er valt niettemin wat voor te zeggen dat de mens rea-eis niet alleen vervuld is in geval van opzet in
de strikte zin, maar ook wanneer een persoon bewust risicovol of ‘roekeloos’ handelt en daardoor
onbedoelde schadelijke gevolgen veroorzaakt (dolus eventualis). Deze aanpak maakt het mogelijk
menselijke operatoren aansprakelijk te stellen die bij het gebruik van autonome wapensystemen ‘het
risico van aanvallen op burgers overwegen en accepteren’. Operatoren zijn evenwel niet aansprakelijk
voor aanvallen tegen militaire doelwitten die burgerslachtoffers met zich meebrengen, voor zover
dit verlies van leven proportioneel is ten opzichte van het verwachte militaire voordeel. Dergelijke
aanvallen vormen immers geen oorlogsmisdrijven.123 Men kan beargumenteren dat dolus eventualis
reeds deel uitmaakt van het huidige internationaal strafrecht.124
Verder kan men overwegen een operator niet alleen aansprakelijk te houden in geval van intentioneel
of bewust risicovol handelen, dan wel roekeloosheid, maar ook in geval van (grove) nalatigheid. Op
die manier zal dan binnen de hele militaire besluitvormingsketen wellicht meer aandacht uitgaan
naar de risico’s die gepaard gaan met het gebruik van autonome systemen. De op nalatigheid
gebaseerde aansprakelijkheidsstandaard is vooralsnog niet aanvaard in het internationaal strafrecht,
al wordt hij wel gebruikt in sommige nationale strafwetboeken.125 Ook in het Nederlandse strafrecht
bestaat een op nalatigheid gebaseerde schuldvorm, aangeduid als culpa, bijvoorbeeld in geval van
dood door schuld.126
In gevallen waarin de actie van een gedeeltelijk autonoom systeem evenwel onvoorzienbaar blijkt te
zijn, als gevolg van bijvoorbeeld een technische storing, zal de menselijke operator niet aansprakelijk
zijn. De operator heeft dan immers niet opzettelijk of roekeloos gehandeld, noch is hij/zij nalatig
geweest. Het is moreel niet verdedigbaar om een operator in een dergelijk geval strafrechtelijk
aansprakelijk te houden.127
Individuele strafrechtelijke aansprakelijkheid: de commandant
Het internationaal strafrecht houdt commandanten verantwoordelijk indien zij (1) tijdens militair
optreden als meerdere effectieve controle hadden over de handelingen van hun ondergeschikten
(en er dus een afhankelijkheidsrelatie bestond), (2) kennis van de handelingen van ondergeschikten
hadden; en (3) desondanks het plegen van het strafbare feit niet voorkwamen of bestraften. Militair
superieuren kunnen volgens de doctrine van bevelsverantwoordelijkheid gestraft worden voor hun
rol bij het niet plaatsen van passende grenzen aan het gebruik van autonome wapensystemen indien
deze leidt tot onrechtmatige daden.128
Onder dergelijke omstandigheden kan de nalatigheid van commandanten liggen in het te weinig
actief verkrijgen van informatie en kennis over de prestaties van het systeem en over de gevolgen
van het gebruik ervan door de operatoren. Verder kunnen commandanten, net als operatoren,
ook aansprakelijk worden gesteld voor roekeloos gedrag, het willens en wetens besluiten om
een onvoorspelbaar autonoom systeem te activeren waarbij hij/zij de gevolgen niet overziet.129
Commandanten zijn evenwel niet strafrechtelijk aansprakelijk — direct of indirect — indien zij of
hun ondergeschikten niet de intentie hadden om een misdrijf te plegen en zich evenmin roekeloos
gedroegen. Zij zijn dan ook niet aansprakelijk in het geval van onvoorzienbare technische storingen
van autonome systemen. Voor zover het targeting-proces dus voldoende waarborgen biedt en
commandanten toezien op zorgvuldige toepassing, zullen zij derhalve niet aansprakelijk zijn voor
onrechtmatige daden begaan door ondergeschikten.
Niettemin blijven commandanten onder militair recht steeds verantwoordelijk, zij het niet per
se strafrechtelijk aansprakelijk, voor alle ‘acties op het slagveld’, met inbegrip van het gebruik van
autonome systemen. Het maakt daarbij niet uit of ondergeschikten fouten begaan, machines
onverwachte acties ondernemen, dan wel of een onvoorzienbaar incident plaatsvindt.130 De overheid
kan ook in deze gevallen disciplinaire of bestuurlijke sancties treffen tegen verantwoordelijke
commandanten.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    42
</pre>

====================================================================== Einde pagina 43 =================================================================

<br><br>====================================================================== Pagina 44 ======================================================================

<pre>Aansprakelijkheid van de ontwikkelaar
Of ontwikkelaars, zij het individuen dan wel bedrijven, strafrechtelijk aansprakelijk kunnen en
moeten worden gehouden, is een controversieel vraagstuk. Een ontwikkelaar of programmeur die een
autonoom wapen zo programmeert dat het in strijd met het internationaal humanitair recht opereert
kan aansprakelijk zijn voor medeplichtigheid.131 Ook al heeft deze programmeur schendingen als
zodanig niet gewild, kan hij/zij, net als de operator, toch aansprakelijk worden gehouden indien hij
zich roekeloos heeft gedragen, bewust risico’s heeft genomen, of ernstig nalatig is geweest.
De problemen van een verkeerd uitvoerend autonoom systeem komen echter veelal voort uit
de combinatie van ontwerpkeuze, menselijke fouten en operationele omstandigheden. Ook al
omdat het systeem – als het goed is – al uitvoerig getest is, kan de verantwoordelijkheid voor
een onverwacht verkeerd handelend autonoom wapensysteem in de praktijk moeilijk gelegd
worden bij de ontwikkelaar. Bovendien zit hij/zij zo ver verwijderd van de operationele omgeving,
namelijk helemaal in de beginfase van de hele levenscyclus van een systeem, dat het toedichten van
aansprakelijkheid moeilijk verdedigbaar is.132
Mogelijk biedt het (nationale) civiele recht, dat niet per se opzet vereist, maar eerder nalatigheid
(in zelfs lichtere vormen), mogelijkheden om ontwikkelaars civiel aansprakelijk te stellen
voor onrechtmatige daden die het gevolg zijn van het gebruik van autonome systemen
(productaansprakelijkheid).133 Een ontwikkelaar zal echter in beginsel niet aansprakelijk kunnen
worden gesteld indien een actie van een dergelijk systeem onvoorzienbaar is, tenzij een regime van
strikte aansprakelijkheid wordt ingevoerd.134
Maatschappelijke verantwoordelijkheid van bedrijven
Nog afgezien van de mogelijke juridische aansprakelijkheid van bedrijven voor onrechtmatige daden
als gevolg van het gebruik van autonome systemen, hebben bedrijven op zijn minst een morele
verantwoordelijkheid om autonome wapensystemen te ontwikkelen waarvan het latere gebruik
verenigbaar is met het internationaal humanitair recht en de mensenrechten. Dit past ook bij de
uitgangspunten die horen bij ‘verantwoord ondernemen’.
Overeenkomstig internationaal recht ligt de verantwoordelijkheid om het gebruik van autonome
wapensystemen te reguleren echter primair bij staten. Staten hebben daarbij de plicht nationale
wetgeving vast te stellen en/of te handhaven en dienen toezicht te houden op activiteiten van
bedrijven. Daarom dient de verantwoordelijkheid van bedrijven met betrekking tot autonome
wapensystemen in de eerste plaats gehandhaafd te worden op grond van het nationale recht. De
regering zou de nationale privaatrechtelijke en strafrechtelijke regelgeving nog eens tegen het licht
kunnen houden om na te gaan of enige verscherping van de regels en aansprakelijkheden naar
nationaal recht opportuun is.
Naar een versterkt regime van verantwoordelijkheid en aansprakelijkheid
Het is goed mogelijk dat uiteindelijk geen enkel individu juridisch aansprakelijk kan worden
gehouden voor de schadelijke uitkomst van het gebruik van autonome systemen, omdat elk individu
de specifieke rol die hem was toebedeeld, adequaat vervulde.135 Niettemin kunnen staten aansprakelijk
worden gesteld, eventueel op basis van een regime van strikte aansprakelijkheid. Om te vermijden dat
de staat aansprakelijkheid oploopt, is het in ieder geval raadzaam de menselijke controle op autonome
wapensystemen te versterken op verschillende (sociaal-)technische en bestuurlijke niveaus. 136
Het is aan te bevelen dat de overheid, in overleg met het bedrijfsleven, een cultuur van ‘gedeelde
verantwoordelijkheid’ bevordert binnen de hele keten van besluitvorming, waarbij een al te grote
‘versnippering’ van vertegenwoordigers of besluitvormers dient te worden vermeden. Naleving
van de juiste regels in de fase voorafgaand aan de feitelijke implementatie, moet dat kunnen
voorkomen. Daarvoor moet de overheid concrete richtlijnen evenals verificatietools en certificeringen
ontwikkelen.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                  43
</pre>

====================================================================== Einde pagina 44 =================================================================

<br><br>====================================================================== Pagina 45 ======================================================================

<pre>      5.5 Nadere regulering volledig en gedeeltelijk autonome wapensystemen
Zowel in de elf Guiding Principles, zoals opgesteld door de GGE van de CCW van de VN, als in de
resolutie van het Europees Parlement van 20 januari 2021, wordt gesproken over de menselijke
controle en verantwoordelijkheden over de gehele levensduur van een systeem.137
De AIV en de CAVV constateren dat de huidige elf principes van de VN nog te ruim zijn geformuleerd.
De principes vormen op zichzelf geen normatief raamwerk en ze adresseren geen centrale norm voor
menselijke controle noch bevatten ze echte regels. Wel geven ze staten een duidelijke boodschap
mee over welke waarden de internationale gemeenschap in ieder geval gewaarborgd wil zien bij de
ontwikkeling van autonome wapensystemen. Eveneens geeft het richting voor de nadere conceptuele
uitwerking van mens-machine interactie en misschien zelfs human-machine teaming.138
Net zoals de AIV en de CAVV is ook SIPRI van mening dat de richtlijn van elf principes weliswaar
enkele handvatten geeft, maar juridisch niet afdoende is. Veel zaken blijven onduidelijk. Zo is het niet
helder wat het internationaal humanitair recht precies vereist, toestaat of juist verbiedt bij de
   De elf leidende principes van de VN:
   1.    Het internationaal oorlogsrecht is in alle omstandigheden bepalend voor de ontwikkeling
         en het gebruik van wapensystemen, ook voor de eventuele ontwikkeling van LAWS.
   2. De menselijke controle en verantwoordelijkheid moet altijd zijn gewaarborgd.
   3. De interactie tussen mens en machine kan verschillende vormen aannemen, maar moet
         altijd ten behoeve staan van de kwaliteit van optreden in een operationele context en in
         overeenstemming zijn met internationaal recht, in het bijzonder het oorlogsrecht.
   4. Duidelijk moet zijn wie verantwoording draagt voor het gebruik van geweld.
   5. Het mitigeren van risico’s moet onderdeel zijn van het ontwerp, de ontwikkeling, het testen
         en gebruik van Emerging Disruptive Technologies (EDT) binnen een wapensysteem.
   6. Het gebruik van EDT moet in lijn zijn met het vigerend internationaal humanitair recht.
   7. De menselijke verantwoordelijkheid kan niet worden overgelaten aan een machine.
         De verantwoordelijkheid (en waar deze belegd is) is van essentieel belang.
   8. Landen dienen altijd een weapon review te kunnen garanderen.
   9. Vanwege het risico op directe fysieke of niet-fysieke (hybride) bedreigingen,
         dual use- gebruik en het gebruik van EDT door terroristische groeperingen moet het
         gevaar van proliferatie in overweging worden genomen.
   10. Aan LAWS mogen geen menselijke eigenschappen worden toegedicht
         (‘anthropomorphized’ ofwel vermenselijkt).
   11. De multilaterale debatten en discussies binnen de CCW over LAWS mogen de ontwikkeling
         van vreedzame intelligente autonome technologie niet in de weg staan of vertragen.
   Bron: Guiding Principles, GGE LAWS CCW UN 2019. https://dig.watch/sites/default/files/inline-images/
   GGE-LAWS.png
ontwikkeling of het gebruik van autonome wapensystemen. Dit terwijl de CCW juist bij uitstek het
gremium zou moeten zijn waar bepaald moet worden op welke manier de mens-machine interactie
geheel conform internationaal humanitair recht kan plaatsvinden.139
Zoals uit bovenstaande paragrafen is gebleken, is de enkele koppeling van rechtmatig gebruik van
gedeeltelijk autonome wapensystemen aan de aanwezigheid van betekenisvolle menselijke controle
onvoldoende specifiek om in de praktijk te kunnen bepalen of hier ook daadwerkelijk sprake van is.
Bovendien is er internationaal ook nog geen consensus over de exacte betekenis van betekenisvolle
menselijke controle.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                     44
</pre>

====================================================================== Einde pagina 45 =================================================================

<br><br>====================================================================== Pagina 46 ======================================================================

<pre>Eerder werd duidelijk dat in het internationaal recht op dit moment geen absoluut verbod bestaat
op ontwikkeling en gebruik, maar dat gebruik wel geconditioneerd is. Gezien de kans op misbruik
door bepaalde staten en niet-statelijke actoren, de snelheid van de technologische ontwikkelingen
en het feit dat private ondernemingen bij gebrek aan door staten opgelegde normen anders een
steeds belangrijkere rol gaan spelen in normering, menen de AIV en de CAVV echter dat het
noodzakelijk is om tot nadere regulering te komen omtrent ontwikkeling, aanschaf en gebruik van
volledig en gedeeltelijk autonome wapensystemen en de verantwoordelijkheden die de actoren in de
verschillende fasen dragen. Zij vinden dan ook dat de Guiding Principles onvoldoende concreet zijn om
rechtmatig gebruik van gedeeltelijk autonome wapensystemen met in achtneming van betekenisvolle
menselijke controle te kunnen garanderen.
Dit standpunt krijgt ook in wetenschappelijke kringen steeds meer steun. Zo adviseert SIPRI aan
landen gedragsnormen en gedragscodes op te stellen voor de gebruikers van de systemen waarmee
deze kunnen voorzien of de werking, prestaties en effecten van het autonome systeem rechtmatig
zijn. Daarbij dienen de gevolgen van het gebruik van een autonoom systeem herleidbaar te zijn naar
de handelswijze van een persoon en/of een staat. Verder adviseert SIPRI om de wettelijke en ethische
grondslagen voor mens-machine-interactie verder uit te werken met betrekking tot naleving van het
internationaal humanitair recht.140
De AIV en de CAVV benadrukken dat er verschillende opties zijn om tot nadere regulering te komen
voor zowel volledig autonome als gedeeltelijk autonome wapensystemen. Het gaat hierbij niet
primair om het ontwikkelen van geheel nieuwe rechtsregels, maar om een concretisering van de
eerder in dit hoofdstuk uiteengezette rechtsregels.
De AIV en de CAVV zien mogelijkheden in het opstellen van een Additioneel Protocol bij de CCW
of een nieuw Protocol bij de Geneefse Conventies. Dit protocol zou expliciet kunnen codificeren dat
ontwikkeling en gebruik van volledig autonome wapensystemen verboden is (zelfs al volgt dit verbod
impliciet reeds uit de overweging dat volledig autonome wapensystemen niet in staat zijn zelfstandig
de humanitair-rechtelijke beginselen van onderscheid, proportionaliteit en voorzorg toe te passen).
Wat betreft de ontwikkeling, aanschaf en het gebruik van gedeeltelijk autonome wapensystemen,
zou dit protocol ook de wijze kunnen concretiseren waarop betekenisvolle menselijke controle
gegarandeerd dient te worden in de verschillende fasen van besluitvorming. Eerder in dit hoofdstuk
gaven de AIV en de CAVV reeds aan hoe deze concretisering vorm kan krijgen. Tevens zou dit
protocol voor de verschillende vormen van aansprakelijkheid nadere regels kunnen vaststellen.
Te denken valt daarbij aan de in het kader van staatsaansprakelijkheid genoemde strict liability,
en in het kader van individuele strafrechtelijke aansprakelijkheid genoemde (grove) ‘nalatigheid’.
Verder kan, naast de verkenning betreffende de haalbaarheid voor steun voor een Additioneel
Protocol, worden ingezet op een uitwisseling van best practices onder het bestaande artikel 36 van het
Aanvullend Protocol I van de Verdragen van Genève. Ook kan worden gestart met de ontwikkeling
van codes of conduct voor de verschillende actoren, inclusief actoren uit de private sector, die op enig
moment te maken hebben met ontwikkelen of gebruik van autonome wapensystemen.
De AIV en de CAVV zien, net als Kamerlid Belhaj, een noodzaak voor de Nederlandse regering zich
internationaal in te zetten voor het omzetten van artikel 36 van het Aanvullend Protocol I van de
Verdragen van Genève in nationale wetgeving. Dit zou dan gelden voor gedeeltelijk autonome
wapensystemen of de onderliggende technologie, aangezien de AIV en de CAVV aandringen op het
reguleren van een verbod op ontwikkeling en gebruik van volledig autonome wapensystemen.
Verder moeten staten zich inspannen om de naleving van hun verplichtingen te bevorderen en
te waarborgen in de ontwikkelings- of aanbestedingsfasen, nog vóór de implementatie. Om dit
te vergemakkelijken, zou het nuttig zijn om op internationaal niveau een interpretative guide
te ontwikkelen met een uitwerking van de operationalisering van betekenisvolle menselijke
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                     45
</pre>

====================================================================== Einde pagina 46 =================================================================

<br><br>====================================================================== Pagina 47 ======================================================================

<pre>controle in de verschillende ontwikkelings-, en aanbestedingsfasen, en bij gebruik in verschillende
situaties. Hiermee krijgen staten en bedrijven meer inzicht in de juridische implicaties en de
verantwoordelijkheden die bepaalde innovaties met zich meebrengen.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                46
</pre>

====================================================================== Einde pagina 47 =================================================================

<br><br>====================================================================== Pagina 48 ======================================================================

<pre>Hoofdstuk 6
Synthese en conclusie
Het samenkomen van twee sporen
Het advies van de AIV en de CAVV volgt twee sporen. Aan de ene kant wijst het advies erop dat de
technologische en geopolitieke ontwikkelingen van de afgelopen jaren bijdragen aan groeiende
zorgen omtrent misbruik en de uitholling van juridische en ethische kaders. Het advies noemt enkele
evidente bezwaren van autonome wapensystemen zoals de verlaging van de drempel voor inzet van
geweld, de onduidelijkheid over wie de controle en verantwoordelijkheid draagt bij de inzet van
een autonoom wapensysteem, maar ook de groeiende onduidelijkheid over de juridische kaders. De
noodzaak om meer duidelijkheid te scheppen over de toepassing van het geldend juridisch kader
op de verschillende vormen van gedeeltelijk autonome wapensystemen neemt toe. Tevens dient het
verbod op volledig autonome wapensystemen, zoals dat voortvloeit uit het bestaande internationaal
humanitair recht, door de regering actiever te worden uitgedragen en dient te worden ingezet op een
expliciet verbod.
Aan de andere kant achten de AIV en de CAVV het vanuit veiligheidsperspectief noodzakelijk — juist
vanwege diezelfde alarmerende technologische en geopolitieke ontwikkelingen — dat de Nederlandse
regering meer investeert in nieuwe technologieën en de ontwikkeling, aanschaf en gebruik van
gedeeltelijk autonome wapensystemen, mits deze beter worden gereguleerd. Nederland dient daarbij
intensief samen te werken met internationale partners, onderzoeksinstanties, het bedrijfsleven en
niet-gouvernementele organisaties.
I. De noodzaak van reguleren
Het Nederlandse parlement heeft een aantal keren terechte zorgen geuit over de ontwikkeling en het
gebruik van autonome wapensystemen. Kamerleden adresseren een belangwekkend probleem: het
gebrek aan expliciete regels voor het gebruik van autonome wapensystemen. Dit is ook waar
wetenschappers en non-gouvernementele organisaties de Nederlandse regering voor waarschuwen
als zij wijzen op de gevaren van letale autonome wapensystemen waarbij de mens niet langer de
controle heeft en het systeem zelf kan bepalen over leven of dood. Het hedendaags internationaal
humanitair recht bevat te generieke regels die weinig concrete kaders bieden voor de regulering van
nieuwe wapensystemen.
Om deze alarmerende berichten te adresseren hebben de AIV en de CAVV in dit advies nauwkeurig
onderscheid gemaakt — meer dan zij deden in het advies uit 2015 — tussen enerzijds gedeeltelijk
autonome wapensystemen (PALWS) waarbij een bepaalde mate van menselijke controle aanwezig is,
en anderzijds volledig autonome wapensystemen waarbij deze controle afwezig is (LAWS).
Het internationaal humanitair recht schrijft voor dat bij de inzet van wapensystemen altijd de
beginselen van onderscheid, proportionaliteit en voorzorg gerespecteerd dienen te worden. Omdat er
bij de inzet van volledig autonome wapensystemen geen sprake is van menselijke controle — en
omdat volledig autonome wapensystemen de beginselen van onderscheid, proportionaliteit en
voorzorg niet zelfstandig kunnen toepassen — wijzen de AIV en de CAVV de inzet van deze
wapensystemen af. De AIV en de CAVV roepen de Nederlandse regering op een duidelijker standpunt
in te nemen tegen de ontwikkeling en het gebruik van volledig autonome wapensystemen.
Met betrekking tot gedeeltelijk autonome wapensystemen, stellen de AIV en de CAVV dat
ontwikkeling, aanschaf en gebruik in conflictsituaties toegestaan is, op voorwaarde dat er
betekenisvolle menselijke controle bestaat die garandeert dat de internationaal humanitaire recht
beginselen van onderscheid, proportionaliteit en voorzorg worden gerespecteerd.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                47
</pre>

====================================================================== Einde pagina 48 =================================================================

<br><br>====================================================================== Pagina 49 ======================================================================

<pre>In dit advies richten de AIV en de CAVV zich in beginsel op de vraag hoe en wanneer betekenisvolle
menselijke controle wordt uitgeoefend bij gedeeltelijk autonome wapensystemen. Om te kunnen
begrijpen op welke wijze menselijke controle kan worden geborgd is een bredere definitie van
‘autonomie’ noodzakelijk. Daarom zetten de AIV en de CAVV een model van Noel Sharkey, zoals
nader uitgewerkt door Daniele Amoroso en Guglielmo Tamburrini, centraal. In dit model worden vijf
niveaus van autonomie in een wapensysteem onderscheiden, afhankelijk van de operationele context.
Feitelijk bevat de schaal alle vormen van autonomie die tegenwoordig denkbaar zijn voor de
ontwikkeling en inzet van autonome wapensystemen.
De AIV en de CAVV adviseren om het begrip betekenisvolle menselijke controle in verschillende fasen
van het besluitvormingsproces te benoemen. Zo zijn er in de gehele commandoketen diverse
juridische, beleidsmatige, ethische keuzemomenten aan te wijzen. Bovendien worden er nog vóór een
besluit over het specifieke gebruik bij een aanval, besluiten genomen door de politieke
verantwoordelijken over de ontwikkeling, de aanschaf en het gebruik in algemene zin van gedeeltelijk
autonome wapensystemen in een bepaald conflict.
Naast het belang van betekenisvolle menselijke controle als waarborg voor de naleving van de criteria
van het internationaal humanitair recht, is het ook vanuit het oogpunt van legitimiteit en politieke en
publieke verantwoording nodig dat politieke bestuurders en verantwoordelijken kunnen aangeven op
welke wijze er een zorgvuldige en geïnformeerde besluitvorming plaatsvindt ten aanzien van
ontwikkeling, aanschaf en gebruik van gedeeltelijk autonome wapensystemen.
De AIV en de CAVV zijn van oordeel dat de Nederlandse regering zich nadrukkelijker dient in te
zetten om het verbod op volledig autonome wapensystemen, zoals dat voortvloeit uit het bestaande
internationaal humanitair recht, te expliciteren. Tegelijk zal de regering zich moeten inspannen om te
komen tot nadere ethische en internationale regels en/of richtlijnen voor gedeeltelijk autonome
wapensystemen.
Op internationaal, maar ook op nationaal niveau, dient overleg hierover tussen overheid,
bedrijfsleven, maatschappelijke instellingen en onderzoeksinstanties te worden geïntensiveerd. De
Nederlandse opstelling moet breed en open worden voorbereid. Hiertoe zou gestructureerd overleg
tussen overheid, bedrijfsleven, maatschappelijke instellingen en onderzoeksinstanties dienen te
worden opgezet. Centraal punt daarin moet zijn dat de ontwikkeling tot gedeeltelijk autonome
wapensystemen wordt beperkt.
Naast de vragen naar de rechtmatigheid van het gebruik van gedeeltelijk autonome wapensystemen,
is het van belang zorgvuldig in kaart te brengen hoe de verantwoordelijkheid voor onrechtmatig
gebruik is belegd. Verschillende vormen en niveaus van aansprakelijkheid kunnen complementair
zijn, wat betekent dat verschillende actoren aansprakelijk kunnen worden gehouden voor hetzelfde
gedrag van een systeem.
Krachtens algemeen internationaal recht kunnen staten aansprakelijk worden gehouden voor de
internationaal onrechtmatige acties van autonome systemen, waarvan het gebruik aan hen kan
worden toegerekend. Staten kunnen tevens aansprakelijkheid oplopen indien zij hun zorgplicht niet
nakomen, door met name systemen te (laten) ontwikkelen waarvan het gebruik onrechtmatig is. De
staat is gehouden volledig rechtsherstel te bieden voor schade die is veroorzaakt door het
onrechtmatige gebruik van deze systemen. Vanwege het relatief risicovolle karakter van het gebruiken
van autonome wapensystemen in conflictsituaties, kan worden overwogen een principe van strikte
staatsaansprakelijkheid te hanteren, met name in geval van technische mankementen. Strikte
aansprakelijkheid (strict liability) is uitsluitend gebaseerd op de veroorzaakte schade en vereist geen
schuld of onrechtmatigheid.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    48
</pre>

====================================================================== Einde pagina 49 =================================================================

<br><br>====================================================================== Pagina 50 ======================================================================

<pre>Naast staten kunnen in beginsel ook individuen en bedrijven straf- dan wel civielrechtelijk
aansprakelijk worden gehouden voor schendingen van het internationaal recht veroorzaakt door
autonome wapensystemen. Daarbij kan vooral naar de rol van de operator, de commandant of de
ontwikkelaar worden gekeken. Het is evenwel niet vanzelfsprekend deze personen strafrechtelijk
aansprakelijk te stellen voor de gevolgen van het gebruik van autonome systemen wanneer zij deze
gevolgen niet gewild of aanvaard hebben en hen dus geen schuld treft.
Gezien de kans op misbruik door bepaalde staten en niet-statelijke entiteiten, de snelheid van de
technologische ontwikkelingen en het feit dat private ondernemingen een steeds belangrijkere rol
gaan spelen in normering, menen de AIV en de CAVV dat het noodzakelijk is om tot nadere regulering
te komen, die verder gaat dan de Guiding Principles van de CCW. Het gaat dan om regulering met
betrekking tot ontwikkeling, aanschaf en gebruik van volledig en gedeeltelijk autonome
wapensystemen en de verantwoordelijkheden die de actoren in de verschillende fasen dragen.
Een moratorium op volledig of gedeeltelijk autonome wapensystemen, zoals door sommige landen
binnen de CCW wordt bepleit, kan momenteel op onvoldoende internationaal draagvlak rekenen.
Een moratorium is een politiek middel om staten te dwingen geen autonome wapensystemen te
ontwikkelen of gebruiken. Het probleem hierbij is dat technologische ontwikkelingen een sterk
civiele component bevatten. Het is ingewikkeld om technologische ontwikkelingen binnen het civiele
domein stil te leggen om de militaire toepassing ervan te voorkomen. Inzet op een moratorium wordt
derhalve niet opportuun geacht.
De AIV en de CAVV benadrukken dat er verschillende opties zijn om tot nadere regulering te komen
voor zowel volledig autonome als gedeeltelijk autonome wapensystemen. Het gaat hierbij niet om het
ontwikkelen van geheel nieuwe rechtsregels, maar om een concrete vertaling van de eerder in dit
hoofdstuk uiteengezette rechtsregels. De AIV en de CAVV zien mogelijkheden in het opstellen van
een Additioneel Protocol bij de CCW. Dit protocol zou expliciet kunnen codificeren dat ontwikkeling
en gebruik van volledig autonome wapensystemen verboden is (zelfs al volgt dit verbod impliciet
reeds uit de overweging dat volledig autonome wapensystemen niet de humanitair-rechtelijke
beginselen van onderscheid, proportionaliteit en voorzorg zelfstandig kunnen toepassen).
Tevens kan worden ingezet op een uitwisseling van best practices onder het bestaande artikel 36 van
het Aanvullend Protocol I van de Verdragen van Genève. Hierbij kan worden ingezet op de
ontwikkeling van codes of conduct voor de verschillende actoren, inclusief actoren uit de private
sector, die op enig moment te maken hebben met het ontwikkelen of het gebruik van autonome
wapensystemen.
II. De noodzaak van investeren
De AIV en de CAVV constateren dat sinds het uitbrengen van het vorige advies in 2015 er een
aanzienlijke uitbreiding van geopolitieke en technologische activiteiten en investeringen heeft
plaatsgevonden. Op meerdere plaatsen in de wereld wordt door een veelheid van statelijke en niet-
statelijke actoren op ongecoördineerde wijze gewerkt aan de ontwikkeling van gedeeltelijk autonome
wapensystemen. Het is van groot belang dat Nederland constant en intensief op politiek, diplomatiek,
technisch en financieel gebied aandacht besteedt aan deze ontwikkelingen.
De AIV en de CAVV kijken naar de technologische ontwikkelingen en geopolitieke dreigingen en
zien een verschuiving van conflictvoering optreden. Technologie zal het karakter van oorlogsvoering
steeds meer gaan beïnvloeden, zo is de verwachting. Volgens de NAVO zal dit met name gebeuren
door de ontwikkeling van (big) data, robotica, kunstmatige intelligentie, biotechnologie,
nanotechnologie en quantum computing.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                 49
</pre>

====================================================================== Einde pagina 50 =================================================================

<br><br>====================================================================== Pagina 51 ======================================================================

<pre>Essentieel voor de bouw van autonome wapensystemen is de toepassing van kunstmatige intelligentie
en robotica. Kunstmatige intelligentie bestaat uit algoritmen (de software). Dit zijn wiskundige
formules en rekenmodellen die — zodra ze gevoed zijn door beschikbare data — een systeem
laten functioneren. Robotica (de hardware) is het lichamelijke element van een machine en is
daadwerkelijk in staat fysiek te reageren. In interactie met de software en de omgeving waarin deze
opereert, kan een robot complexe bewegingen simuleren. Naast kunstmatige intelligentie zullen
quantum computing en data als nieuwe technologieën vermoedelijk een bepalende rol spelen bij de
ontwikkeling van gedeeltelijk autonome wapensystemen.
Vooralsnog blijken kunstmatige intelligentie en robotica vooral bruikbaar in een gecontroleerde
omgeving, waarbij algoritmen zich hebben kunnen trainen met zeer grote hoeveelheden data.
Voor het operationele domein blijkt de toepassing van kunstmatige intelligentie en robotica nog
ingewikkeld. Het landdomein is voor de ontwikkeling van intelligente robots verreweg het meest
complex omdat daar de grote hoeveelheid variabelen en het simuleren van bewegingen, door de
chaotische omgeving, voor technische belemmeringen zorgt. Omdat het luchtruim een relatief
voorspelbare omgeving is gaan de ontwikkelingen daar het snelst. Autonoom optreden in het
onderwaterdomein en het cyberdomein blijft vooralsnog een grote uitdaging.
Voor de controle op de inzet van autonome wapensystemen is een onderscheid van belang tussen
autonomie bij het nemen van een besluit, en autonomie bij de uitvoering van dat besluit. Centraal
daarbij staat ‘mens-machine-interactie’: het uitgangspunt dat mens en machine elkaars context,
behoeften, capaciteiten en beperkingen begrijpen en daarop inspelen. Om gedeeltelijk autonome
wapensystemen te ontwikkelen waarbij een intensieve interactie optreedt tussen mens en machine
kan er worden nagedacht over de toepassing van concepten als machine ethics en transfer of control.
De AIV en de CAVV adviseren om bij het ontwikkelen van gedeeltelijk autonome wapensystemen het
concept van explainable AI als uitgangspunt te nemen. Dat betekent dat de kunstmatige intelligentie,
en de wiskundige modellen en data die daaraan ten grondslag liggen, te allen tijde uitlegbaar moet
zijn. Tevens dient duidelijk te worden waar in de hele keten van besluitvorming de betekenisvolle
menselijke controle is belegd en welke verantwoordelijkheden dit met zich meedraagt. De
Nederlandse krijgsmacht moet getraind worden om hiermee te werken.
Meer nog dan in 2015 — ten tijde van het vorige advies — lijkt er een internationale concurrentiestrijd
om technologische suprematie gaande. Qua investeringen zijn de Verenigde Staten, China en
Rusland toonaangevend. Zij investeren tientallen miljarden euro’s in de ontwikkeling van disruptieve
technologie voor militair gebruik. Tussen staten bestaat een toenemende onderlinge argwaan, en
verminderde bereidwilligheid zich neer te leggen bij internationale regulering. Ondertussen bouwen
veel staten zo snel mogelijk een eigen genetwerkte, gedeeltelijk autonome militaire capaciteit uit.
Naast de drie genoemde machtsblokken zijn er kleinere landen die weliswaar minder volume
opbrengen, maar wel vooroplopen qua technologische ontwikkeling. Te denken valt hierbij
bijvoorbeeld aan Zuid-Korea en Israël die beide qua investeringen en inrichting van een
hoogtechnologisch innovatieklimaat hoge ogen werpen. Ook de rol van Turkije, bezig met een
opmerkelijke opmars op het gebied van autonome wapensystemen, verdient aandacht. Verder houden
ook niet-statelijke actoren, zoals terroristische groeperingen, zich bezig met de ontwikkeling van
autonome systemen.
De EU-lidstaten hebben gezamenlijk — na de VS — het hoogste defensiebudget ter wereld te
besteden en de kennis en capaciteit om hoogstaande hardware voor autonome wapensystemen te
ontwikkelen. De EU heeft evenwel als probleem dat het intern te verdeeld is. Bovendien zijn veel
investeringen ten aanzien van sleuteltechnologieën vooral gericht op het civiele domein. De EU zal
een duidelijkere rol moeten aannemen betreffende investeringen in kennis en kunde ten aanzien
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    50
</pre>

====================================================================== Einde pagina 51 =================================================================

<br><br>====================================================================== Pagina 52 ======================================================================

<pre>van het militaire domein, maar ook in het formuleren van juridische en ethische normering en het
nastreven van wapenbeheersing. De NAVO is actiever in het stellen van normkaders en het reguleren
van verantwoordelijk gebruik. Daarnaast werkt de NAVO aan een ethisch raamwerk ten behoeve
van het gebruik van kunstmatige intelligentie in militaire systemen, waarmee zowel individuele
verantwoordelijkheid als ook staatsverantwoordelijkheid kan worden gewaarborgd. Nederland moet
hieraan een belangrijke bijdrage leveren.
Voor Nederland is het van belang dat het blijft meedoen op het gebied van kennis en innovatie.
Vanwege de terugkeer van een harde competitie tussen grootmachten, meer dan in 2015, is het van
belang dat Nederland niet achterblijft. Het gebruik van gedeeltelijk autonome wapensystemen
brengt belangrijke militair-operationele voordelen mee. De afgelopen jaren heeft de Nederlandse
krijgsmacht dan ook gewerkt en geëxperimenteerd met gedeeltelijk autonome systemen op
verschillende domeinen. Het is niet alleen noodzakelijk dat Nederland zelf kan beschikken over dit
soort systemen — en dus ook wil investeren met financiële middelen — maar dat het zich tevens
inzet via een ambitieus innovatieprogramma om hoogstaande technologische kennis uit te wisselen
met NAVO-bondgenoten en EU-partners. Wel benadrukken de AIV en de CAVV dat de investeringen
een duidelijke sturing en richting moeten meekrijgen. Dat kan door de investeringen te koppelen aan
overheidstoezicht.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                51
</pre>

====================================================================== Einde pagina 52 =================================================================

<br><br>====================================================================== Pagina 53 ======================================================================

<pre>AIV | Autonome wapensystemen: Het belang van reguleren en investeren 52</pre>

====================================================================== Einde pagina 53 =================================================================

<br><br>====================================================================== Pagina 54 ======================================================================

<pre>Eindnoten
1
     Adviesaanvraag inzake actualisering advies autonome wapensystemen, minister
     van Buitenlandse Zaken en minister van Defensie, 30 juni 2020.
     https://www.adviesraadinternationalevraagstukken.nl/adviestrajecten/documenten/
     adviesaanvragen/2020/06/30/adviesaanvraag-actualisering-advies-autonome-wapensystemen
     De regering vraagt om een actualisering van het in 2015 uitgebrachte advies over dit
     onderwerp. Zie voor het advies uit 2015: AIV/CAVV, ‘Autonome wapensystemen. De noodzaak
     van betekenisvolle menselijke controle’, Nr. 97 AIV / Nr. 26 CAVV, oktober 2015.
     https://www.adviesraadinternationalevraagstukken.nl/onderwerpen/autonome-wapens/
     documenten/publicaties/2015/10/02/autonome-wapensystemen
2
     Verenigde Naties, Convention on Certain Conventional Weapons (CCW),
     annex III MSP/2019/9, 13 december 2019: CCW/MSP/2019/9 (undocs.org)
3
     Eyal Press, ‘The wounds of the Drone warrior’, The New York Times, 13 juni 2018.
     https://www.nytimes.com/2018/06/13/magazine/veterans-ptsd-drone-warrior-wounds.html
4
     AIV/CAVV, ‘Autonome wapensystemen. De noodzaak van betekenisvolle menselijke controle’,
     Nr. 97 AIV / Nr. 26 CAVV, oktober 2015. https://www.adviesraadinternationalevraagstukken.nl/
     onderwerpen/autonome-wapens/documenten/publicaties/2015/10/02/autonome-wapensystemen
     Ministerie van Defensie, Verenigde Staten (2012), ‘Autonomy in Weapons Systems’, Directive
     3000.09, pp. 13-14. https://www.esd.whs.mil/portals/54/documents/dd/issuances/dodd/300009p.
     pdf Sharkey, Noel, ‘Staying in the loop: Human supervisory control of weapons’, in Nehal Bhuta,
     Susanne Beck, Robin Geis (red.), Autonomous Weapons Systems (Cambridge 2016) pp. 23–38, 23.
5
     Zie voor een nadere juridische uitwerking hiervan ook: Linell A Letendre, ‘Lethal Autonomous
     Weapon Systems: Translating Geek Speak for Lawyers’, International Law Studies, vol. 96 (2020),
     pp. 278-282. https://digital-commons.usnwc.edu/cgi/viewcontent.cgi?article=2925&context=ils
     Berenice Boutin, ‘Legal Questions Related to the Use of Autonomous Weapon Systems’. Paper
     prepared for the AIV/CAVV Combined Advisory Committee on updating the Advice on
     Autonomous Weapons (CAAW). Asser Instituut, juni 2021.
6
     Jean-Baptiste Jeangène Vilmer, ‘A French opinion on the Ethics of Autonomous Weapons’, War
     on the Rocks, 2 juni 2021. https://warontherocks.com/2021/06/the-french-defense-ethics-
     committees-opinion-on-autonomous-weapons/
7
     Peter Lee, ‘Flying killer robots? Drones will soon decide who to kill’, Asia Times, 14 april 2018.
     https://asiatimes.com/2018/04/weekend-place-check-drones-will-soon-decide-kill/
     Tara McKelvey, ‘Could we trust killer robots?’, The Wall Street Journal, 19 mei 2012.
     https://www.wsj.com/articles/SB10001424052702303448404577410032825529656
8
     ICRC position on Autonomous Weapon Systems, International Committee of the Red Cross, 12
     mei 2021. https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems
9
     Mark H. Lee, How to grow a robot. Developing Human-Friendly, Social AI (Cambridge (Ma)
     en Londen) 2020) pp. 5-6.
10
     Pieter Elands en Leon Kester, ‘Lethal Autonomous Weapon Systems (LAWS) — hoe houden we ze
     in de hand?’, TNO Defense, Safety & Security. Notitie voor de militaire deskundigenbijeenkomst
     van de commissie AIV/CAVV, 17 februari 2021.
11
     Elands en Kester (2021).
12
     Jürgen Altmann en Frank Sauer, ‘Autonomous Weapon Systems and Strategic Stability’,
     Global Politics and Strategy, vol. 59 (2017) iss. 5, pp. 117-142, aldaar 118-119. https://www.
     tandfonline.com/doi/full/10.1080/00396338.2017.1375263?scroll=top&needAccess=true
13
     Daniele Amoroso en Guglielmo Tamburrini, ‘Autonomous Weapons Systems and Meaningful
     Human Control: Ethical and Legal Issues’, Current Robotics Reports, vol. 1 (2020), pp. 187-194.
     https://www.researchgate.net/publication/343844421_Autonomous_Weapons_Systems_and_
     Meaningful_Human_Control_Ethical_and_Legal_Issues
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    53
</pre>

====================================================================== Einde pagina 54 =================================================================

<br><br>====================================================================== Pagina 55 ======================================================================

<pre>14
     Motie van het lid Koopmans c.s. Kamerstuk 33694, nr. 43, 24 april 2019.
15
     Salima Belhaj, Initiatiefnota Autonome wapensystemen. Politieke maatregelen voor beheersing
     van (volledig) autonome wapensystemen. Vergaderjaar 2020-2021. Kamerstuk 35848-1, 31 mei 2021.
16
     ‘Slippery Slope. The Arms Industry and Increasiny Autonomous Weapons’, Pax for Peace,
     november 2019. https://paxforpeace.nl/media/download/pax-report-slippery-slope.pdf
17
     Kabinetsreactie op de initiatiefnota van het lid Belhaj over Autonome Wapensystemen.
     Kamerstuk 35848-2, 28 juni 2021. https://www.tweedekamer.nl/kamerstukken/brieven_regering/
     detail?id=2021Z12029&did=2021D26013
18
     Merel Ekelhof, ‘Moving Beyond Semantics on Autonomous Weapons: Meaningful Human
     Control in Operation’, Global Policy, vol. 10, iss. 3, september 2019. https://onlinelibrary.wiley.
     com/doi/pdf/10.1111/1758-5899.12665 F. Santoni de Sio en M. J. van den Hoven, ‘Meaningful
     Human Control over Autonomous Systems: A Philosophical Account’, Frontiers in Robotics and
     AI, vol. 5, iss. 15, 2018. https://www.frontiersin.org/articles/10.3389/frobt.2018.00015/full
     M. Roorda, ‘NATO’s Targeting Process: Ensuring Human Control over (and Lawful Use of)
     ‘Autonomous’ Weapons’, in A. P. Williams en P. D. Scharre (red.), Autonomous Systems:
     Issues for Defence Policymakers (Norfolk 2015), pp. 152-168.
     https://pure.uva.nl/ws/files/2566151/167993_Roorda_NATO_s_Targeting_Process_Ensuring_
     Human_Control_Over_and_Lawful_Use_of_Autonomous_Weapons_October_2015_.pdf
19
     Frank Bekkers en Sanne Maas, ‘Kansrijke integratie mens-technologie binnen Defensie’, HCSS
     en PWC, februari 2021. https://hcss.nl/wp-content/uploads/2021/03/Kansrijke-Integratie-Mens-
     Technologie-HCSS-PwC-2102.pdf
20
     Heather M. Roff en Richard Moyes, ‘Lethal Autonomous Weapons, Artificial Intelligence and
     Meaningful Human Control’. Briefing paper prepared for the Informal Meeting of Experts on
     Lethal Autonomous Weapons Systems, UN Convention on Certain Conventional Weapons, April
     2016. https://article36.org/wp-content/uploads/2016/04/MHC-AI-and-AWS-FINAL.pdf
21
     Raphael S. Cohen, Nathan Chandler, Shira Efron (e.a.), ‘The Future of Warfare in 2030. Project
     Overview and Conclusions’, RAND, 2020. https://doi.org/10.7249/RR2849.1
22
     Amitai Etzioni en Oren Etzioni, ‘Pros and Cons of Autonomous Weapons Systems’, Military
     Review, mei-juni 2017, pp. 72-81. https://www.armyupress.army.mil/Portals/7/military-review/
     Archives/English/pros-and-cons-of-autonomous-weapons-systems.pdf
     Ronald C. Arkin, ‘The Case for Ethical Autonomy in Unmanned Systems’, Journal of Military
     Ethics, 9, no. 4 (2010), pp. 332-341. https://doi.org/10.1080/15027570.2010.536402
23
     Michael O’Hanlon, ‘Forecasting Change in Military Technology, 2020-2040’, Brookings Institute,
     2018. https://www.brookings.edu/research/forecasting change-in-military-technology-2020-2040/
24
     Samual Gibbs, ‘Elon Musk leads 116 experts calling for outright ban of killer robots’, The Guardian,
     20 augustus 2017. https://amp.theguardian.com/technology/2017/aug/20/elon-musk-killer-
     robots-experts-outright-ban-lethal-autonomous-weapons-war
25
     Forrest E. Morgan, Benjamin Boudreaux en Andrew J. Lohn (red.), Military Applications of
     Artificial Intelligence: Ethical Concerns in an Uncertain World, RAND Research Report (Santa
     Monica 2020). https://www.rand.org/pubs/research_reports/RR3139-1.html
26
     Esther Barbé en Diego Badell, ‘The European Union and Lethal Autonomous Weapons
     Systems: United in Diversity?’, in: E. Johansson-Nogués, M. Vlaskamp, E. Barbé (red.), European
     Union Contested. Foreign Policy in a New Global Context (Cham 2020), pp. 133-152.
     https://doi.org/10.1007/978-3-030-33238-9_8 Eugenio V. Garcia, ‘AI & Global Governance:
     When Autonomous Weapons Meet Diplomacy’, AI & Global Governance Articles & Insights,
     21 augustus 2019. United Nations University, Center for Policy Research.
     AI-Global-Governance-When-Autonomous-Weapons-Meet-Diplomacy.pdf (researchgate.net)
     Ángel Gómez de Ágreda, ‘Ethics of autonomous weapons systems and its applicability to any AI
     systems’, Telecommunications Policy, vol. 44, iss. 6, juli 2020. https://www.sciencedirect.com/
     science/article/pii/S0308596120300458
27
     NAVO, ‘NATO Science & Technology Organization, Science & Technology Trends 2020-2040.
     Exploring the S&T Edge’, Brussel 2020. https://www.nato.int/nato_static_fl2014/assets/
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                      54
</pre>

====================================================================== Einde pagina 55 =================================================================

<br><br>====================================================================== Pagina 56 ======================================================================

<pre>     pdf/2020/4/pdf/190422-ST_Tech_Trends_Report_2020-2040.pdf
28
     Global Strategic Trends. The Future Starts Today. Sixth Edition. Development, Concepts and
     Doctrine Centre (DCDC), ministerie van Defensie Groot-Brittannië (2018), pp. 125-149.
     https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/
     file/771309/Global_Strategic_Trends_-_The_Future_Starts_Today.pdf
29
     Ian G.R Shaw, ‘Robot Wars: US Empire and Geopolitis in the Robotic Age’, Security Dialogue, vol.
     48, iss. 5, 2017, pp. 451-470 https://doi.org/10.1177/0967010617713157
     D. Sukman, ‘Lethal Autonomous Systems and the Future of Warfare’, Canadian Military Journal,
     vol. 16 (2015) iss. 1, pp. 44-53. http://www.journal.forces.gc.ca/vol16/no1/PDF/CMJ161Ep44.pdf
30
     Kunstmatige intelligentie wordt door de Wetenschappelijke Raad voor het Regeringsbeleid (WRR)
     omschreven als een ‘systeemtechnologie’ met een brede maatschappelijke impact die vergelijkbaar
     is met de vroegere ontdekking van de stoommachine, de verbrandingsmotor en, met name,
     elektriciteit. Zie: Opgave AI. De nieuwe systeemtechnologie, WRR-rapport, Den Haag,
     11 november 2021. https://www.wrr.nl/binaries/wrr/documenten/rapporten/2021/11/11/opgave-
     ai-de-nieuwe-systeemtechnologie/WRRRapport_+Opgave+AI_De+nieuwe+systeemtechnologie_
     NR105WRR.pdf
31
     Michael C. Horowitz, ‘Artificial Intelligence, International Competition, and the Balance
     of Power’, Texas National Security Review, 3/1 (2018), 37–57. https://tnsr.org/2018/05/artificial-
     intelligence-international-competition-and-the-balance-of-power/
32
     Een gedeeltelijk autonoom grondvoertuig (ontwikkeld door commerciële partijen) dat
     succesvol wordt gebruikt is de Packbot. Dit voertuig — dat voor zover bekend nog niet in een
     militaire gevechtscontext wordt gebruik — kan taken uitvoeren als search- en rescue-operaties
     in aardbevingsgebieden of inspectiemissies tijdens een nucleaire opruimingsoperatie. Ook
     kan het explosieven onschadelijk maken. Zie: Mark H. Lee, Developing Human-Friendly,
     Social AI (Cambridge (Ma) en Londen 2020) 18-33.
33
     David Axe, ‘Don’t Panic, But Russia Is Training Its Robot Tanks To Understand Human Speech’,
     Forbes, 30 juni 2020. https://www.forbes.com/sites/davidaxe/2020/06/30/dont-panic-but-
     russia-is-training-its-robot-tanks-to-understand-human-speech/?sh=139187bf14f2
34
     Philip Inglesant, Marina Jirotka en Mark Hartswood, ‘Responsible Innovation in Quantum
     Technologies applied to Defence and National Security’, Networked Quantum Information
     Technologies (NQIT), Oxford University, november 2018. https://nqit.ox.ac.uk/sites/www.
     nqit.ox.ac.uk/files/2018-11/Responsible%20Innovation%20in%20Quantum%20Technologies%20
     applied%20to%20Defence%20and%20National%20Security%20PDFNov18.pdf
35
     IISS, ‘Quantum computing and defence’, The Military Balance, februari 2019, 18-20.
     https://www.iiss.org/publications/the-military-balance/the-military-balance-2019/quantum-
     computing-and-defence
36
     Jason Bloomberg, ‘This is why quantum computing is more dangerous than you realize’, Forbes,
     11 augustus 2017. https://www.forbes.com/sites/jasonbloomberg/2017/08/11/this-is-why-
     quantum-computing-is-more-dangerous-than-you-realize/
37
     ‘National Strategic Overview for Quantum Information Science’, National Science
     and Technology Council (US), september 2018. https://www.quantum.gov/wp-content/
     uploads/2020/10/2018_NSTC_National_Strategic_Overview_QIS.pdf
38
     Paul Scharre, ‘Killer Apps. The real dangers of an AI Arms Race’, Foreign Affairs, vol. 98 (2019),
     iss. 3, 135-144. https://www.foreignaffairs.com/articles/2019-04-16/killer-apps
39
     Arthur Holland Michel, ‘Known Unknows. Data Issues and Military Autonomous Systems’,
     UNIDIR, Genève, 2021. https://unidir.org/known-unknowns
40
     ‘Data Strategy. Unleashing Data to Advance the National Defense Strategy’, Ministerie van
     Defensie, Verenigde Staten, 30 september 2020. https://media.defense.gov/2020/
     Oct/08/2002514180/-1/-1/0/DOD-DATA-STRATEGY.PDF
41
     Defensievisie 2035: Vechten voor een veilige toekomst. Ministerie van Defensie (2020).
     https://www.defensie.nl/binaries/defensie/documenten/publicaties/2020/10/15/
     defensievisie-2035/Defensievisie+2035.pdf
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                    55
</pre>

====================================================================== Einde pagina 56 =================================================================

<br><br>====================================================================== Pagina 57 ======================================================================

<pre>42
     Michael Kearns en Aaron Roth, The Ethical Algoritm. The Science of Socially Aware Algorithm
     Design (Oxford 2020).
43
     Matthias Leese en Marijn Hoijtink, ‘How (not) to talk about technology. International Relations
     and the Question of Agency’, in: Marijn Hoijtink en Matthias Leese (red.), Technology and
     Agency in International Relations (Londen en New York 2019) 1-23.
44
     Definitie Explainable AI, IBM. https://www.ibm.com/nl-en/watson/explainable-ai
     Zie ook: Derek Doran, Sarah Schulz en Tarek R. Besold, ‘What Does Explainable AI Really Mean?
     A New Conceptualization of Perspectives’ (2017). https://arxiv.org/pdf/1710.00794.pdf
45
     Jolle Demmers en Lauren Gould, ‘The Remote Warfare Paradox: Democracies, Risk Aversion
     and Military Engagement’, E-International Relations, 20 juni 2020.
     https://www.e-ir.info/pdf/85426
46
     De AIV en de CAVV volgen in deze paragraaf gedeeltelijk de volgorde van de landenanalyse zoals
     gedaan in: Justin Haner en Denise Garcia, ‘The Artificial Intelligence Arms Race: Trends and
     World Leaders in Autonomous Weapons Development’, Global Policy, vol. 10, iss. 3, september
     2019, pp. 331-337. https://onlinelibrary.wiley.com/doi/10.1111/1758-5899.12713 Zie ook: Shaw,
     ‘Robot Wars’ (2017).
47
     National Security Commission on Artificial Intelligence, Final Report, 19 maart 2021.
     Full-Report-Digital-1.pdf (nscai.gov)
48
     Jessica Purkiss en Jack Serle, ‘Obama’s covert drone war in numbers. Ten times more strikes
     than Bush’, The Bureau of investigative Journalism, 17 januari 2017.
     https://www.thebureauinvestigates.com/stories/2017-01-17/obamas-covert-drone-war-in-
     numbers-ten-times-more-strikes-than-bush Daniel Klaidman, ‘Drones: The Silent Killers’,
     Newsweek 28 mei 2012. https://www.newsweek.com/drones-silent-killers-64909
49
     Haner en Garcia, ‘The Artificial Intelligence Arms Race’, pp. 331-337.
     D. Gettinger, ‘Summary of Drone Spending in the FY 2019 Defense Budget Request’. Center for
     the Study of the Drone, Bard College, 2018. https://dronecenter.bard.edu/files/2018/04/
     CSD-Drone-Spending-FY19-Web-1.pdf
     Global Drone Spending by Country, via: https://www.statista.com/
50
     Lu Tiange, Hu Yajun, Wu Meng, Military-Use Robots Forging Ahead in a Period of Favorable
     Development, Liberation Army Daily, 2 december, 2015. In: ‘China’s Industrial and Military
     Robotics Development’, Rapport DGI Center for Intelligence and Analysis, namens de US –
     China Economic and Security Review Commission, 2016. https://www.uscc.gov/sites/default/
     files/Research/DGI_China’s%20Industrial%20and%20Military%20Robotics%20Development.pdf
51
     Wesley Morgan, ‘How the war in Afghanistan revealed an evolving drone fleet’s mettle – and
     shortcomings’, Popular Science, 29 mei 2021; Shaw, ‘Robot Wars’ (2017); Ian Shaw, Predator
     Empire: Drone Warfare and Full-Spectrum Dominance (Minneapolis 2016); Lu Tiange, Hu Yajun,
     Wu Meng, Military-Use Robots Forging Ahead in a Period of Favorable Development, Liberation
     Army Daily, 2 december, 2015. In: ‘China’s Industrial and Military Robotics Development’,
     Rapport DGI Center for Intelligence and Analysis, US – China Economic and Security Review
     Commission, 2016. https://www.uscc.gov/sites/default/files/Research/DGI_China’s%20
     Industrial%20and%20Military%20Robotics%20Development.pdf
52
     Qiang Dong, Tang Xianping, and Zhao Jiang, ‘Overview of Technology Development and System
     Design of UUVs’, Torpedo Technology 22, no. 6 (December 2014) 401-414; ‘China’s Industrial and
     Military Robotics Development’, Rapport DGI Center for Intelligence and Analysis, namens de
     US – China Economic and Security Review Commission, 2016.
53
     Syed Qamar Afzal Rizvi, ‘Legacy of illegal US drone strikes?’, Daily Times, 9 juni 2021.
     https://dailytimes.com.pk/769457/legacy-of-illegal-us-drone-strikes/
54
     US Central Command statement on counterterrorism strike on ISIS-K planner, 27 augustus 2021
     https://www.centcom.mil/MEDIA/STATEMENTS/Statements-View/Article/2755890/us-central-
     command-statement-on-counterterrorism-strike-on-isis-k-planner/utm_source/hootsuite/
55
     Seth J. Frantzman, Drone Wars Pioneers, Killing Machines, Artifical Intelligence, and the Battle
     for the Future (New York en Nashville 2021); David Hambling, ‘The Legacy of Afghanistan
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                  56
</pre>

====================================================================== Einde pagina 57 =================================================================

<br><br>====================================================================== Pagina 58 ======================================================================

<pre>     is a future of drone wars’, Forbes, 17 augustus 2021. https://www.forbes.com/sites/
     davidhambling/2021/08/17/the-legacy-of-afghanistan-is-a-future-of-drone-wars/
56
     Justin Haner en Denise Garcia, ‘The Artificial Intelligence Arms Race: Trends and World Leaders
     in Autonomous Weapons Development’, Global Policy, vol. 10, iss. 3, september 2019, pp. 331-337.
     https://doi.org/10.1111/1758-5899.12713
57
     ‘China’s Industrial and Military Robotics Development’, Rapport DGI Center for Intelligence and
     Analysis, namens de US – China Economic and Security Review Commission, 2016.
58
     ‘China’s Algorithms of Repression. Reverse Engineering a Xinjiang Police Mass surveillance App’,
     Rapport Human Rights Watch, 9 december 2020. https://www.hrw.org/sites/default/files/report_
     pdf/china0519_web5.pdf
59
     Zie de Chinese Nationale Strategie: http://english.www.gov.cn/archive/white_paper/2015/05/27/
     content_281475115610833.htm Voor meer informatie over de nationale militaire strategie van
     China zie: https://warontherocks.com/2019/06/jaw-jaw-a-look-at-the-plas-history-of-planning-
     for-war-with-taylor-fravel/ Voor een nadere uitleg over de verandering van China’s militaire
     strategie tussen 2004 en 2014/15: https://jamestown.org/program/chinas-new-military-strategy-
     winning-informationized-local-wars/
60
     Rathenau Instituut, ‘De opkomst van China als R&D-supermacht’, 15 juli 2021. https://www.
     rathenau.nl/nl/wetenschap-cijfers/de-opkomst-van-china-als-rd-supermacht?utm_
     medium=email
61
     Gregory C. Allen, Understanding China’s AI Strategy: Clues to Chinese Strategic Thinking on
     Artificial Intelligence and National Security. Rapport CNAS (Center for a New American Security),
      februari 2019. http://www.globalhha.com/doclib/data/upload/doc_con/5e50c522eeb91.pdf
     ‘China’s Industrial and Military Robotics Development’, Rapport DGI Center for Intelligence
     and Analysis, namens de US – China Economic and Security Review Commission, 2016.
62
     Ibidem.
63
     AIVD/MIVD/NCTV, Dreigingsbeeld statelijke actoren, 3 februari 2021, pp. 24.
64
     Ibidem, p. 26.
65
     Haner en Garcia, ‘The Artificial Intelligence Arms Race’ (2019).
66
     David Hambling, ‘Israel use world’s first AI-guided combat drone swarm in Gaza attacks’,
     New Scientist, 30 juni 2021;
67
     Amos Harel, ‘Iran’s Drone Revolution Takes off’, Haaretz, 16 juli 2021. https://www.haaretz.com/
     middle-east-news/iran/.premium.HIGHLIGHT-iran-s-drone-revolution-takes-off-1.10004158
68
     ‘Armed low-cost drones, made by Turkey, Reshape Battlefields and Geopolitics’,
     The Wall Street Journal, 3 juni 2021.
69
     In juni 2021 diende de Nederlandse regering bij de AIV een formele adviesaanvraag in over
     de veranderende internationale rol van Turkije. Dit advies zal in 2022 worden gepubliceerd.
70
     Gerhard Hegmann, ‘Warum die türkische Killer-Drohne zum Exportschlager wird’,
     Die Welt, 9 juni 2021. https://www.welt.de/wirtschaft/article231640723/Killer-Drohne-der-
     Tuerkei-Die-Bayraktar-TB2-wird-zum-Exportschlager.html
71
     Neville Teller, ‘War by remote control. ‘Drone wars’ book review’, Jerusalem Post, 11 augustus 2011.
72
     Haner en Garcia, ‘The Artificial Intelligence Arms Race’ (2019).
73
     Esther Barbé en Diego Badell, ‘The European Union and Lethal Autonomous Weapons Systems
     United in Diversity?’, in: E. Johansson-Nogués, M. Vlaskamp, E. Barbé (red.), European Union
     Contested. Norm Research in International Relations. Foreign Policy in a New Global Context
     (Cham 2020) pp. 133-152. https://link.springer.com/chapter/10.1007%2F978-3-030-33238-9_8
74
     Ulrike Esther Franke, ‘Not smart enough: The poverty of European Military Thinking on Artificial
     Intelligence’, Policy Brief, European Council on Foreign Relations, december 2019.
     https://ecfr.eu/wp-content/uploads/Ulrike_Franke_not_smart_enough_AI.pdf
     AIV-advies, ‘Europese veiligheid: tijd voor nieuwe stappen’, no. 112, 19 juni 2020.
     https://www.adviesraadinternationalevraagstukken.nl/documenten/publicaties/2020/06/19/
     europese-veiligheid-tijd-voor-nieuwe-stappen
75
     Europese Commissie, ‘Coordinated Plan on Artificial Intelligence 2021 Review’, Policy and
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                      57
</pre>

====================================================================== Einde pagina 58 =================================================================

<br><br>====================================================================== Pagina 59 ======================================================================

<pre>     Legislation, 21 april 2021. https://digital-strategy.ec.europa.eu/en/library/coordinated-plan-
     artificial-intelligence-2021-review
76
     Europese Commissie, ‘Europe fit for the Digital Age: Commission proposes new rules and actions
     for excellence and trust in Artificial Intelligence’, 21 april 2021. https://ec.europa.eu/commission/
     presscorner/detail/en/IP_21_1682
77
     Zoals het voorstel van de EU-Raad op 10 mei 2021: een verbod voor de export van sensitieve
     technologie die gebruikt kan worden in autonome wapensystemen die worden ingezet op een
     wijze die onverenigbaar is met juridische en ethische beginselen.
78
     Richard N. Haass en Charles A. Kupchan, ‘The New Concert of Powers. How to Prevent
     Catastrophe and Promote Stability in a Multipolar World’, Foreign Affairs, 23 maart 2021.
     https://www.foreignaffairs.com/articles/world/2021-03-23/new-concert-powers
79
     Vincent Boulanin, Netta Goussac, Laura Bruun en Luke Richards, ‘Responsible Military use of
     Artificial Intelligence. Can the European Union Lead the Way in Developing Best Practice?’,
     SIPRI, rapport, november 2020. https://www.sipri.org/sites/default/files/2020-11/responsible_
     military_use_of_artificial_intelligence.pdf
80
     Zie: AIV, ‘Europese veiligheid: Tijd voor nieuwe stappen’, Advies nr. 112 AIV, 19 juni 2020.
     https://www.adviesraadinternationalevraagstukken.nl/documenten/publicaties/2020/06/19/
     europese-veiligheid-tijd-voor-nieuwe-stappen
81
     Luuk van Middelaar, ‘Aukus: schoffering van Frankrijk raakt ook Nederland’,
     NRC, 22 september 2021. https://www.nrc.nl/nieuws/2021/09/22/aukus-schoffering-van-
     frankrijk-raakt-ook-nederland-a4059157
82
     Saskia M. van Genugten, ‘After Afghanistan: Western militaries and the rise of new strategic
     threats’, Middle East Institute, 26 juli 2021. https://www.mei.edu/publications/after-
     afghanistan-western-militaries-and-rise-new-strategic-threats
83
     NAVO, ‘NATO Science & Technology Organization, Science & Technology Trends 2020-2040.
     Exploring the S&T Edge’, Brussel 2020.
84
     Melissa Heikkilä, ‘NATO wants to set AI standards. If only its members agreed on the basics’,
     Politico, 29 maart 2021. https://www.politico.eu/article/nato-ai-artificial-intelligence-standards-
     priorities/
85
     NAVO, ‘NATO releases first-ever strategy for Artificial Intelligence’, 22 oktober 2021.
     https://www.nato.int/cps/en/natohq/news_187934.htm
86
     NAVO, ‘Summary of the NATO Artificial Intelligence Strategy’, 22 oktober 2021.
     https://www.nato.int/cps/en/natohq/official_texts_187617.htm
87
     NAVO, ‘New focus on emerging and disruptive technologies helps prepare NATO for the future’,
     3 maart 2021. https://www.nato.int/cps/en/natohq/news_181901.htm
     Melissa Heikkilä, ‘NATO wants to set AI standards. If only its members agreed on the basics’,
     Politico, 29 maart 2021. https://www.politico.eu/article/nato-ai-artificial-intelligence-standards-
     priorities/
88
     Science & Technology Trends 2020-2040. Exploring the S&T Edge. NATO Science & Technology
     Organization, Brussel 2020.
89
     NATO Advisory Group on Emerging and Disruptive Technologies. Annual Report 2020.
90
     Graham Allison en Eric Schmidt, ‘Is China beating the U.S. to AI supremacy?’ Belfer Center for
     Science and International Affairs, Paper, augustus 2020. https://www.belfercenter.org/sites/
     default/files/2020-08/AISupremacy.pdf
     Helen Warrell, ‘Nato allies need to speed up Defence AI co-operation’, Financial Times,
     8 juni 2021. https://www.ft.com/content/61c1945c-d153-4d58-b9c5-dffd99a6919e
91
     Nederlandse Rode Kruis, Brief inzake actualisering advies over autonome wapensystemen,
     5 mei 2020 [2021].
92
     Kamerbrief Tweede Kamer ‘Missiegedreven Topsectoren- en Innovatiebeleid’,
     26 april 2019, pp. 8-9.
93
     Strategisch Actieplan voor Artificiële intelligentie, 8 oktober 2019. https://www.rijksoverheid.nl/
     binaries/rijksoverheid/documenten/beleidsnotas/2019/10/08/strategisch-actieplan-
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                       58
</pre>

====================================================================== Einde pagina 59 =================================================================

<br><br>====================================================================== Pagina 60 ======================================================================

<pre>     voor-artificiele-intelligentie/Rapport+SAPAI.pdf
94
     Opgave AI. De nieuwe systeemtechnologie, WRR-rapport, Den Haag, 11 november 2021, pp.
     360-390. https://www.wrr.nl/binaries/wrr/documenten/rapporten/2021/11/11/opgave-
     ai-de-nieuwe-systeemtechnologie/WRRRapport_+Opgave+AI_De+nieuwe+
     systeemtechnologie_NR105WRR.pdf
95
     Jurgen Oppel en Aaron Arends, ‘De wereldwijde wedloop om AI en de Nederlandse belangen’,
     Clingendael, 26 november 2018. https://www.clingendael.org/nl/publicatie/ai-en-de-
     nederlandse-belangen
96
     Defensievisie 2035: https://www.defensie.nl/onderwerpen/defensievisie-2035/downloads/
     publicaties/2020/10/15/defensievisie-2035
97
     Charlotte Snel, ‘Trouwe viervoeter met potentie’, Defensiekrant 29, nr. 01, 2021.
     https://magazines.defensie.nl/defensiekrant/2021/29/01_robothond-spot_29
98
     Jürgen Altmann en Frank Sauer, ‘Autonomous Weapon Systems and Strategic Stability’,
     Global Politics and Strategy, vol. 59 (2017) iss. 5, pp. 117-142.
     http://dx.doi.org/10.1080/00396338.2017.1375263
99
     Dit hoofdstuk baseert zich op het paper van dr. Berenice Boutin dat zij, met behulp van Klaudia
     Klonowska, voorbereidde in opdracht van de AIV en de CAVV. De AIV en de CAVV zijn dr. Boutin
     zeer erkentelijk voor haar werk. Berenice Boutin, ‘Legal Questions Related to the Use of
     Autonomous Weapon Systems’. Paper prepared for the AIV/CAVV Combined Advisory
     Committee on updating the Advice on Autonomous Weapons (CAAW). Asser Instituut, juni 2021.
100
     Artikel 6(1) Internationaal Convenant inzake Burger en Politieke Rechten; Artikel 2 Europees
     Verdrag voor de Rechten van de Mens.
101
     De Martens Clausule was voor het eerst opgenomen in de Haagse Conventies van 1899 en 1907,
     en later ook in de 1977 Additionele Protocollen bij de Geneefse Conventies. De Martens Clausule
     is opgenomen in de preambule van het Tweede Additionele Protocol en in artikel 1 (2) van het
     Eerste Additionele Protocol: “In cases not covered by this Protocol or by any other international
     agreements, civilians and combatants remain under the protection and authority of the
     principles of international law derived from established custom, from the principles of
     humanity and from dictates of public conscience.”
102
     Zie: AIV/CAVV advies 2015, p. 37.
103
     Zie: E. Winter, ‘The Compatibility of Autonomous Weapons with the Principle of Distinction
     in the Law of Armed Conflict’, 69 International and Comparative Law Quarterly 845–876 (2020).
104
     ICRC position on autonomous weapons, p. 9.
105
     Artikel 36, ‘Killer Robots: UK Government Policy on Fully Autonomous Weapons’ (2013),
     www.article36.org/wp- content/uploads/2013/04/Policy_Paper1.pdf; Human Rights Watch
     en Harvard Law School’s International Human Rights Clinic, ‘Killer Robots and the Concept
     of Meaningful Human Control’ (2016), https://www.hrw.org/news/2016/04/11/killer-robots-and-
     concept-meaningful-human-control
106
     Vincent Boulanin, Laura Bruun en Netta Goussac, Autonomous Weapon Systems and
     International Humanitarian Law: Identifying Limits and the Required Type and Degree of
     Human-Machine Interaction, SIPRI (Stockholm International Peace Research Institute),
     rapport, juni 2021. https://www.sipri.org/sites/default/files/2021-06/2106_aws_and_ihl_0.pdf
     Daniele Amoroso en Guglielmo Tamburrini, ‘What Makes Human Control over Weapons
     “Meaningful”, ICRAC rapport, 2019. https://www.researchgate.net/publication/335224146_
     WHAT_MAKES_HUMAN_CONTROL_OVER_WEAPON_SYSTEMS_MEANINGFUL
     Rebecca Crootof, ‘A Meaningful Floor for “Meaningful Human Control”’, Temple International
     and Comparative Law Journal, vol. 30 (2016), pp. 53-62. https://papers.ssrn.com/sol3/Delivery.
     cfm/SSRN_ID2888674_code1640196.pdf?abstractid=2705560&mirid=1&type=2
     Merel Ekelhof, ‘Autonomous Weapons: Operationalizing Meaningful Human Control’ (2018)
     ICRC-blog. https://blogs.icrc.org/law-and-policy/2018/08/15/autonomous-weapons-
     operationalizing-meaningful-human-control/
     Michael C Horowitz and Paul Scharre, ‘Meaningful Human Control in Weapon Systems: A
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                   59
</pre>

====================================================================== Einde pagina 60 =================================================================

<br><br>====================================================================== Pagina 61 ======================================================================

<pre>     Primer’, CNAS Working Paper, 2015. https://s3.us-east-1.amazonaws.com/files.cnas.org/
     documents/Ethical_Autonomy_Working_Paper_031315.pdf?mtime=20160906082316&focal=
     none Thilo Marauhn, ‘Meaningful Human Control — and the Politics of International Law’, in:
     Wolff Heintschel von Heinegg, Robert Frau en Tassilo Singer (red.), Dehumanization of Warfare:
     Legal Implications of New Weapon Technologies (New York 2018), pp. 207-218; UNIDIR,
     The Weaponization of Increasingly Autonomous Technologies: Considering how Meaningful
     Human Control might move the discussion forward (2014), p. 2; Article 36, ‘Meaningful Human
     Control, Artificial Intelligence and Autonomous Weapons’ (2016), p. 2. https://article36.org/wp-
     content/uploads/2016/04/MHC-AI-and- AWS-FINAL.pdf
107
      Article 36, ‘Meaningful Human Control, Artificial Intelligence and Autonomous Weapons’ (2016)
     https://article36.org/wp-content/uploads/2016/04/MHC-AI-and-AWS-FINAL.pdf; Rebecca
     Crootof, ‘A Meaningful Floor for “Meaningful Human Control”’ (2016) 30 Temple International
     and Comparative Law Journal 53; Merel Ekelhof, ‘Autonomous Weapons: Operationalizing
     Meaningful Human Control’ (2018) ICRC Blog.
108
      United Kingdom Expert paper, ‘The human role in autonomous warfare’, 18 November 2020.
     UN Doc CCW/GGE.1/2020/WP.6. https://undocs.org/pdf?symbol=en/CCW/GGE.1/2020/WP.6
109
      Rapport van de bijeenkomst van de Group of Governmental Experts on Emerging Technologies
     in the Area of Lethal Autonomous Weapons Systems (25 September 2019) UN Doc CCW/
     GGE.1/2019/3, Annex IV, Guiding Principle (c); United Kingdom Expert paper: The human role
     in autonomous warfare (18 November 2020) UN Doc CCW/GGE.1/2020/WP.6. Zie ook:
     Annex III van CCW-document MSP/2019/9 van 13 december 2019: https://www.
     unog.ch/80256EDD006B8954/(httpAssets)/4F3F92951E0022D9C12584F50034C2F4/$file/
     CCW+MSP+2019+9.pdf
110
      Het begrip mens-machine-interactie is verwant is aan het idee van ‘mens-machine-teaming’,
     maar is niet hetzelfde. ‘Teaming’ gaat net een stap verder dan ‘interactie’. Mens-machine-teaming
     heeft tot strategisch doel om mens- en machinecapaciteiten verregaand te combineren en te
     integreren. Feitelijk wordt daarmee gedoeld op een soort hybride mens-machine, inclusief
     cognitieve capaciteiten: een soort augmented militair, half mens/half machine, bijvoorbeeld een
     persoon met geïmplanteerde elektroden. Zie ook: Paul Scharre, ‘Centaur Warfighting: The False
     Choice of Humans vs. Automation’, Temple International and Comparative Law Journal 154
     (2016), p. 151. https://sites.temple.edu/ticlj/files/2017/02/30.1.Scharre-TICLJ.pdf
     Margarita Konaev (e.a.), ‘U.S. Military Investments in Autonomy and AI: Costs, Benefits, and
     Strategic Effects’, Report Center for Security and Emerging Technology, oktober 2020, p. 25.
     https://cset.georgetown.edu/publication/u-s-military-investments-in-autonomy-and-ai-a-
     strategic-assessment/ Jacob Parakilas, ‘Are Augmented Humans the Future of War?’,
     The Diplomat, 5 mei 2021. https://thediplomat.com/2021/05/are-augmented-humans-the-future-
     of-war
111
      Peter-Paul Verbeek, ‘Toward a Theory of Technological Mediation: A Program for
     Postphenomenological Research’, in: Jan Kyrre Berg O. Friis and Robert P. Crease, Technoscience
     and Postphenomenology: The Manhattan Papers, November 2015, 189-204.
     https://www.researchgate.net/publication/283894302_Technoscience_and_
     Postphenomenology_The_Manhattan_Papers
112
     R. Bartels, J.C. van den Boogaard, P.A.L. Ducheine, E. Pouw, J. Voetelink (red.),
     Military operations and the notion of control under international law. Liber Amicorum Terry
     D. Gill (Den Haag 2021); M.A.C. Ekelhof, The Distributed Conduct of War. Reframing Debates
     on Autonomous Weapons, Human Control and Legal Compliance in Targeting. Dissertatie Vrije
     Universiteit, 2019. https://research.vu.nl/ws/portalfiles/portal/90547665/complete+dissertation.
     pdf
113
     P.J.M. Elands, A.G. Huizing, L.J.H.M. Kester, M.M.M. Peeters and S. Oggero, ‘Governing Ethical
     and Effective Behaviour of Intelligent Systems’, Militaire Spectator, vol. 188, no. 6, 2019.
     https://www.militairespectator.nl/thema/operaties-ethiek/artikel/governing-ethical-and-
     effective-behaviour-intelligent-systems
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                   60
</pre>

====================================================================== Einde pagina 61 =================================================================

<br><br>====================================================================== Pagina 62 ======================================================================

<pre>     Bart Wernaart, ‘Developing a roadmap for the moral programming of smart technology’,
     Technology in Society, vol. 64, februari 2021. https://www.sciencedirect.com/science/article/pii/
     S0160791X20312690
114
     Esther Chavannes, Klaudia Klonowska, Tim Sweijs, ‘Governing Autonomous Weapon Systems:
     Expanding the Solution Space, from Scoping to Applying’, The Hague Centre for Strategic
     Studies, februari 2020. https://hcss.nl/wp-content/uploads/2021/01/HCSS-Governing-AWS-final.
     pdf
115
     F. Santoni de Sio en M. J. van den Hoven, ‘Meaningful Human Control over Autonomous
     Systems: A Philosophical Account’, Frontiers in Robotics and AI, vol. 5, iss. 15, 2018.
     https://www.frontiersin.org/articles/10.3389/frobt.2018.00015/full
     S. Umbrello,M. Capasso, M. Balistreri (e.a.), ‘Value Sensitive Design to Achieve the UN SDGs
     with AI: A Case of Elderly Care Robots’, Minds & Machines, 31 mei 2021. https://doi.org/10.1007/
     s11023-021-09561-y
116
     Austin Choi-Fitzpatrick, The Good Drone: How Social Movements Democratize Surveillance
     (Cambridge Ma en Londen 2020) pp. 41-84.
117
      ‘Advies inzake bewapende drones’. Commissie van Advies inzake Volkenrechtelijke Vraagstukken,
     adviesnr. Den Haag, 23, juli 2013, p. 23. https://www.adviescommissievolkenrecht.nl/binaries/
     cavv/documenten/adviezen/2013/07/05/bewapende-drones/Bewapende_drones_CAVV-
     advies-23_201307.pdf
118
     Daarnaast bestaat er nog de zogenoemde nationale strafrechtelijke aansprakelijkheid.
119
     M. Longobardo, ‘The Relevance of the Concept of Due Diligence for International Humanitarian
     Law’, 37 Wisconsin International Law Journal 44-87 (2020). https://papers.ssrn.com/sol3/papers.
     cfm?abstract_id=3570423 Zie met name artikel 1 van de Geneefse Conventies, dat verwijst naar
     een ‘duty to ensure respect’ voor internationaal humanitair recht. Medes Malaihollo, ‘Due
     Diligence in International Environmental Law and International Human Rights Law:
     A Comparative Legal Study of the Nationally Determined Contributions under the Paris
     Agreement and Positive Obligations under the European Convention on Human Rights’,
     Netherlands International Law Review, vol. 68 (2021), pp 121-155. https://link.springer.com/
     article/10.1007/s40802-021-00188-5
120
     Nadisha-Marie Aliman, Hybrid Cognitive-Affective Strategies for AI Safety. Dissertatie
     Universiteit van Utrecht, 2020.
121
     Artikel VII Convention on Principles Governing the Activities of States in the Exploration and
     Use of Outer Space, including the Moon and other Celestial Bodies (1967). http://dspace.library.
     uu.nl/handle/1874/400100
122
     Rebecca Crootof, ‘War Torts: Accountability for Autonomous Weapons’, Pennsylvania Legal
     Review, vol. 164 (2016), iss. 6, pp. 1347-1402, aldaar 1390. https://scholarship.law.upenn.edu/cgi/
     viewcontent.cgi?article=9528&context=penn_law_review
123
     Artikel 8(2)(b)(iv) Statuut van Rome inzake het Internationaal Strafhof.
124
     Marta Bo, ‘Autonomous Weapons and the Responsibility Gap in light of the Mens Rea of the
     War Crime of Attacking Civilians in the ICC Statute’, Journal of International Criminal Justice,
     23 maart 2021, p. 21. https://doi.org/10.1093/jicj/mqab005
125
     Zie voor het Amerikaanse recht ter zake: Charles J. Dunlap Jr., ‘Accountability and Autonomous
     Weapons: Much Ado About Nothing?’, Temple International & Comparative Law Journal,
     vol. 30 (2016), pp. 63-76, aldaar 71,72. https://scholarship.law.duke.edu/faculty_scholarship/3592
126
     Artikel 307(1) Wetboek van Strafrecht.
127
     Crootof (2016), p. 1384.
128
     Neha Jain, ‘Autonomous Weapons Systems: New Frameworks for Individual Responsibility,’
     in Nehal Bhuta et al. (eds) Autonomous Weapons Systems (Cambridge University Press, 2016),
     pp. 312-313; Marcus Schulzke, ‘Autonomous Weapons and Distributed Responsibility’,
     Philosophy & Technology, 26 (2013), 203-219, p. 203.
129
     Neil Davison, ‘A legal perspective: Autonomous weapon systems under international
     humanitarian law’, UNODA Occasional Papers, no. 30, 30 november 2017, p. 17.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                     61
</pre>

====================================================================== Einde pagina 62 =================================================================

<br><br>====================================================================== Pagina 63 ======================================================================

<pre>     https://www.un.org/disarmament/publications/occasionalpapers/unoda-occasional-papers-
     no-30-november-2017/
130
     James Kraska, ‘Command Accountability for AI Weapon Systems in the Law of Armed Conflict’,
     International Law Studies, vol. 97 (2021), pp. 406-447, aldaar pp. 407 en 445.
     https://digital-commons.usnwc.edu/cgi/viewcontent.cgi?article=2958&context=ils
131
     Jain (2016), pp. 321-322.
132
     Zie: Kenneth Anderson en Matthew C. Waxman, ‘Debating Autonomous Weapon Systems,
     their Ethics, and their Regulation under International Law’, in: Roger Brownsword,
     Eloise Scotford, and Karen Yeung (red.), The Oxford Handbook of Law, Regulation and
     Technology (OUP 2017), p. 13 (e-book).
133
     Davison (2017), p. 17.
134
     Jain (2016), pp. 322-324.
135
     Hin-Yan Liu, ‘Refining responsibility: differentiating two types of responsibility issues raised
     by autonomous weapons systems’, in: Nehal Bhuta et al. (red.), Autonomous Weapons Systems
     (Cambridge 2018), pp. 325-344, aldaar p. 339.
136
     Ilse Verdiesen, Filippo Santoni de Sio en Virginia Dignum, ‘Accountability and Control Over
     Autonomous Weapon Systems: A Framework for Comprehensive Human Oversight’, Minds
     and Machines. Journal for artificial intelligence, philosophy and cognitive sciences, 31 (1), 137-163.
     https://repository.tudelft.nl/islandora/object/uuid%3Ad5fbb237-4df6-450d-a6a1-cff1c12d534d
137
     Resolutie Europees Parlement, 20 januari 2021 (2020/2013(INI). https://www.europarl.europa.
     eu/doceo/document/TA-9-2021-01-20_EN.html#sdocta4
138
     Anja Dahlmann, Elisabeth Hoffberger-Pippan, Lydia Wachs, ‘Autonome Waffensysteme und
     menschliche Kontrolle. Konsens über das Konzept, Unklarheit über die Operationalisierung’,
     Stiftung Wissenschaft und Politik, SWP-Aktuell 2021/A 31, April 2021. https://www.swp-berlin.
     org/publications/products/aktuell/2021A31_AutonomeWaffensysteme.pdf
139
     Vincent Boulanin, Laura Bruun en Netta Goussac, ‘Autonomous Weapon Systems and
     International Humanitarian Law: Identifying Limits and the Required Type and Degree of
     Human-Machine Interaction’, SIPRI (Stockholm International Peace Research Institute),
     rapport, juni 2021. https://www.sipri.org/sites/default/files/2021-06/2106_aws_and_ihl_0.pdf
140
     Ibidem.
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                        62
</pre>

====================================================================== Einde pagina 63 =================================================================

<br><br>====================================================================== Pagina 64 ======================================================================

<pre>     Bijlage I
     Adviesaanvraag
AIV | Autonome wapensystemen: Het belang van reguleren en investeren 63
</pre>

====================================================================== Einde pagina 64 =================================================================

<br><br>====================================================================== Pagina 65 ======================================================================

<pre>AIV | Autonome wapensystemen: Het belang van reguleren en investeren 64</pre>

====================================================================== Einde pagina 65 =================================================================

<br><br>====================================================================== Pagina 66 ======================================================================

<pre>AIV | Autonome wapensystemen: Het belang van reguleren en investeren 65</pre>

====================================================================== Einde pagina 66 =================================================================

<br><br>====================================================================== Pagina 67 ======================================================================

<pre>      Bijlage II
      Geraadpleegde personen
Ter voorbereiding van het advies is gesproken met een aantal externe deskundigen.
De AIV en de CAVV zijn hen erkentelijk voor hun inzichten en inbreng.
-     Dr. Hans Boddens Hosang - Ministerie van Defensie
-     Drs. Patrick Bolder - Hague Centre for Strategic Studies
-     Dr. Berenice Boutin - Asser Instituut
-     Prof. dr. Philip Brey - Universiteit Twente
-     Anja Dahlmann, MA - German Institute for International and Security Affairs
-     Dr. Jurriaan van Diggelen - TNO
-     Prof. dr. Paul Ducheine - Universiteit van Amsterdam / Nederlandse Defensieacademie
-     Dr. Merel Ekelhof - op persoonlijke titel
-     Ir. Pieter Elands - TNO
-     Daan Kayser, MA - Pax for Peace
-     Drs. Geert Kuiper - Ministerie van Defensie
-     Prof. dr. Frans Osinga - Universiteit van Leiden / Nederlandse Defensieacademie
-     Max van Rij, MA - Ministerie van Buitenlandse Zaken
-     Dr. Jiří Šedivý - EU/EDA
-     Gen-maj. André Steur - Ministerie van Defensie
-     Prof. Dr. Ir. Stefano Stramigioli - Universiteit Twente
-     Dr. Rogier Verberk - TNO
-     Mr. David van Weel - NAVO
-     Analist Landsystemen - MIVD
-     Specialist Militaire Techniek - MIVD
-     Teamleider Militaire Techniek - MIVD
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                      66
</pre>

====================================================================== Einde pagina 67 =================================================================

<br><br>====================================================================== Pagina 68 ======================================================================

<pre>     Bijlage III
     Lijst met afkortingen en begrippen
AI                          Kunstmatige intelligentie (Artificial Intelligence)
AIV                         Adviesraad Internationale Vraagstukken
AIVD                        Algemene Inlichtingen- en Veiligheidsdienst
ARSIWA                      Articles on the Responsibility of States for Internationally Wrongful Acts
ASML                        ASML Holding N.V. (Nederlands Hightechbedrijf)
AUKUS                       Veiligheidspact tussen Australië, het Verenigd Koninkrijk
                            en de Verenigde Staten
CAAW                        Commissie Advies Autonome Wapensystemen
CAVV                        Commissie van Advies inzake Volkenrechtelijke Vraagstukken
CCW                         Convention on Certain Conventional Weapons
CSDB                        Amerikaanse bommen die zelfstandig doelen detecteren
D66                         Democraten 66
EDT                         Emerging Disruptive Technologies
EU                          Europese Unie
GGE                         Group of Governmental Experts
Ghost Swimmer               Onbemand watersysteem
Goalkeeper                  Gedeeltelijk autonoom afweergeschut op een fregat
                            (close-in-weaponsystem)
HARPY                       Israëlische zelfsturende munitie die autonoom doelen detecteert en aanvalt
Hellfire-raketten           Amerikaanse raketten die vanaf drones kunnen worden gelanceerd
IBM                         International Business Machines Corporation (Tech- en IT-multinational)
ICRAC                       International Committee for Robot Arms Control
ICRC                        International Committee of the Red Cross
IISS                        International Institute for Strategic Studies
Knifefish                   Onbemand watersysteem
LAWS                         Lethal Autonomous Weapon System
MHC                         Meaningful Human Control
Milrem                      Onbemand grondvoertuig
MIVD                        Militaire Inlichtingen- en Veiligheidsdienst
MQ9 Reaper                  Onbemand vliegtuig
NAVO                        Noord-Atlantische Verdragsorganisatie
NCTV                        Nationaal Coördinator Terrorismebestrijding en Veiligheid
NXP                         NXP Semiconductors N.V. (Nederlands Hightechbedrijf)
OODA                        Observe–Orient–Decide–Act
Operation Haymaker          Amerikaanse drone-missie in Afghanistan
Packbot                     Gedeeltelijk autonoom grondvoertuig
PALWS                       Partially Autonomous Lethal Weapon System
Patriot                     Onbemand luchtverdedigingssysteem
PAX                         Pax for Peace
Remus                       Onbemande onderwaterdrone
Remus-600                   Onbemand watersysteem
Samsung SGR-A1              Zuid-Koreaans gedeeltelijk autonoom robotgeweer
SEA HUNTER                  Amerikaans onbemand oorlogsschip
SIPRI                       Stockholm International Peace Research Institute
SkyStriker                  Israëlische zelfsturende munitie die autonoom doelen detecteert en aanvalt
STM KARGU-2                 Turkse zelf-navigerende drone met roterende vleugels
UAV                         Unmanned aerial vehicle (drone)
UNIDIR                      United Nations Institute for Disarmament Research
UNODA                       United Nations Office for Disarmament Affairs
Uran-9                      Russische onbemande tank
VN                          Verenigde Naties
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                                   67
</pre>

====================================================================== Einde pagina 68 =================================================================

<br><br>====================================================================== Pagina 69 ======================================================================

<pre>VS                          Verenigde Staten
VVD                         Volkspartij voor Vrijheid en Democratie
WRR                         Wetenschappelijke Raad voor het Regeringsbeleid
AIV | Autonome wapensystemen: Het belang van reguleren en investeren        68
</pre>

====================================================================== Einde pagina 69 =================================================================

<br><br>====================================================================== Pagina 70 ======================================================================

<pre>     Bijlage IV
     Lijst van figuren
Figuur 1 -     OODA-loop.                                                             14
Figuur 2 -     Model met de uitwerking van ethische en juridische overwegingen.       37
Foto 1 -       Sibsky2016, Shutterstock. Onbemande drone gewapend met
               Hellfire raketten.                                                     Cover
Foto 2 -       SAPhotog, Shutterstock. De internationale besprekingen over regulering
               van autonome wapensystemen vinden plaats binnen de Convention
               on Certain Conventional Weapons van de Verenigde Naties in Genève.     7
Foto 3 -       Robothond ‘Spot’, ontwikkeld door Boston Dynamics en in gebruik
               door de Koninklijke Marechaussee. Foto: sergeant-majoor Gerben van Es,
               Ministerie van Defensie, KMAR-magazine 07.                             52
AIV | Autonome wapensystemen: Het belang van reguleren en investeren                        69
</pre>

====================================================================== Einde pagina 70 =================================================================

<br><br>