<b>Bijsluiter</b>. De hyperlink naar het originele document werkt niet meer. Daarom laat Woogle de tekst zien die in dat document stond. Deze tekst kan vreemde foutieve woorden of zinnen bevatten en de opmaak kan verdwenen of veranderd zijn. Dit komt door het zwartlakken van vertrouwelijke informatie of doordat de tekst niet digitaal beschikbaar was en dus ingescand en vervolgens via OCR weer ingelezen is. Voor het originele document, neem contact op met de Woo-contactpersoon van het bestuursorgaan.<br><br>====================================================================== Pagina 1 ======================================================================

<pre></pre>

====================================================================== Einde pagina 1 =================================================================

<br><br>====================================================================== Pagina 2 ======================================================================

<pre>Leden Adviesraad Internationale Vraagstukken
Voorzitter		      Prof.mr. J.G. de Hoop Scheffer
Vicevoorzitter 		 Prof.dr. A. van Staden
Leden   		        Mw. prof.mr. C.P.M. Cleiren			
			               Mw. prof.dr. J. Gupta
			               Prof.dr. E.M.H. Hirsch Ballin			
			               Mw. dr. P.C. Plooij-van Gorsel
			               Mw. prof.dr. M.E.H. van Reisen
			               LGen b.d. M.L.M. Urlings
			               Prof.dr.ir. J.J.C. Voorhoeve
Secretaris 		     Drs. T.D.J. Oostenbrink
Commissie van Advies inzake Volkenrechtelijke Vraagstukken
Voorzitter 		     Prof.dr. W.G. Werner
Vicevoorzitter		  Mw. prof.dr. L.J. van den Herik
Leden			          Mw. dr. C.M. Brölmann
                  Dr. G.R. den Dekker
                  Dr. A.G. Oude Elferink
                  Prof.dr. T.D. Gill
                  Mw. prof.dr. N.M.C.P. Jägers
                  Prof.dr. J.G. Lammers
                  Prof.dr. R.A. Wessel
Secretarissen		   Mr. D. Klaasen LL.M
                  Mw. mr.drs. E.M. van Rijssen
</pre>

====================================================================== Einde pagina 2 =================================================================

<br><br>====================================================================== Pagina 3 ======================================================================

<pre>Leden Gecombineerde Commissie Autonome Wapensystemen
Voorzitter		             LGen b.d.   M.L.M. Urlings
Leden vanuit de AIV		    Mw. prof.dr. I. Duyvesteyn
		                       Mw. mr.dr. B.T. van Ginkel
		                       Mw. prof.dr. M.E.H. van Reisen
Leden vanuit de CAVV		   Prof.dr. T.D. Gill
		                       Mw. prof.dr. L.J. van den Herik
		                       Prof.dr. J.G. Lammers
		                       Prof.dr. W.G. Werner
Corresponderend adviseur Gen-maj. der mariniers b.d. mr.drs. C. Homan
Secretarissen		          Mw.  mr.drs. E.M. van Rijssen (CAVV)
		                       Drs. J. Smallenbroek (AIV)
</pre>

====================================================================== Einde pagina 3 =================================================================

<br><br>====================================================================== Pagina 4 ======================================================================

<pre>Inhoudsopgave
Woord vooraf
I      Autonome wapensystemen   8
       I.1      Wat is een autonoom wapen?    8
       I.2      Militaire voordelen en beperkingen van (wapens met)
		              autonome functies   11
       I.3      Mogelijke toekomstige inzet van autonome wapensystemen    12
       I.4      Mogelijke ontwikkelingen op langere termijn: volledig
		              autonome wapensystemen   16
II     Het juridische kader voor de toelaatbaarheid en inzet
       van autonome wapens   18
       II.1     Rechtsbases voor het gebruik van interstatelijk geweld en
		              autonome wapens   18
       II.2     Toepasselijke rechtsregimes bij geweldgebruik en
		              autonome wapens   19
       II.3     Zijn autonome wapens per se onrechtmatige wapens onder
		              het humanitair oorlogsrecht?   21
       II.4     Legitieme doelen: onderscheid, proportionaliteit en voorzorg    23
       II.5     De inzet van autonome wapens voor doelselectie en
		
                doelbestrijding in het kader van het humanitair oorlogsrecht    25
III    Vragen van aansprakelijkheid   28
       III.1    Inleiding   28
       III.2    Verschuiving van aansprakelijkheid in plaats van
		een accountability gap   28
       III.3    Vormen van strafrechtelijke aansprakelijkheid    29
       III.4    Aansprakelijkheid van staten   32
IV     Betekenisvolle menselijke controle   33
       IV.1     Een omschrijving   33
       IV.2     Elementen van betekenisvolle menselijke controle    35
       IV.3     Betekenisvolle menselijke controle tijdens het
		targetingproces   38
       IV.4     De (verre) toekomst   39
V      Ethiek en autonome wapens    41
</pre>

====================================================================== Einde pagina 4 =================================================================

<br><br>====================================================================== Pagina 5 ======================================================================

<pre>VI       Een moratorium?   45
         VI.1   Is een moratorium wenselijk?    46
         VI.2   Is een moratorium haalbaar en uitvoerbaar?    47
VII      Samenvatting, conclusies en aanbevelingen    50
         VII.1  Samenvatting en conclusies   50
         VII.2  Aanbevelingen   55
Bijlage I       Adviesaanvraag
Bijlage II      Schema targetingproces en humanitair oorlogsrecht
Bijlage III     Lijst van gebruikte afkortingen
</pre>

====================================================================== Einde pagina 5 =================================================================

<br><br>====================================================================== Pagina 6 ======================================================================

<pre>Woord vooraf
In april 2015 vroegen de ministers van Buitenlandse zaken en Defensie de
Adviesraad Internationale Vraagstukken (AIV) en de Commissie van Advies inzake
Volkenrechtelijke Vraagstukken (CAVV) te adviseren over autonome wapensystemen
(zie bijlage I). In de adviesaanvraag merkt de regering op dat het niet langer
denkbeeldig is dat op langere termijn volledig autonome wapensystemen met
kunstmatige intelligentie worden ontwikkeld met functies zoals doelselectie en
toepassing van (dodelijk) geweld, zonder tussenkomst van menselijk handelen. Er
is internationaal een debat ontstaan over de juridische, ethische en beleidsmatige
vragen met betrekking tot volledig autonome wapensystemen. De regering legt
daarom de volgende vragen voor aan de AIV en de CAVV:
1. Welke rol ziet u nu en in de toekomst weggelegd voor autonome (functies van)
    wapensystemen in het militaire optreden?
2. Voorziet u veranderingen bij het afleggen van verantwoording over het gebruik
    van (volledig) autonome wapensystemen in relatie tot daarmee samenhangende
    ethische vragen? Welke rol kan de notie van ‘betekenisvolle menselijke
    interventie’ hierbij volgens u spelen en zijn er nog andere noties die hierbij
    behulpzaam kunnen zijn?
3. In haar eerdere advies heeft de CAVV gesteld dat de inzet van ieder
    wapensysteem, of het (vrijwel) autonoom is of niet, onderworpen is aan hetzelfde
    juridische kader. Wat de CAVV betreft is er geen reden om aan te nemen dat
    het internationaalrechtelijke kader ontoereikend is om de inzet van bewapende
    drones te reguleren. Is er in het licht van de discussie over (volledig) autonome
    wapensystemen reden om dit advies aan te vullen of bij te stellen?
4. Hoe beoordeelt u de oproep van de Speciaal Rapporteur van de VN om een
    moratorium op de ontwikkeling van volledig autonome wapensystemen?
5. Hoe kan Nederland het beste bijdragen aan de internationale discussie hierover?
Om huidige en toekomstige dreigingen het hoofd te kunnen bieden, moet de
krijgsmacht zich voortdurend vernieuwen. Defensie maakt daarom gebruik van de
modernste technologieën. De ontwikkeling van civiele dual use technologie gaat
doorgaans vooraf aan militaire toepassingen.1 Zogenaamde emerging technologies
(vooral nanotechnologie, cognitieve wetenschap en kunstmatige intelligentie) spelen
een belangrijke rol bij de ontwikkeling en het gebruik van wapensystemen.
Defensie maakt al jaren gebruik van wapensystemen die in belangrijke mate
geautomatiseerd zijn en een zekere mate van autonomie hebben, zoals de Goalkeeper
aan boord van schepen en de Patriot grond-luchtdoelraketten. Deze defensieve
systemen staan onder controle van bedienaars, maar kunnen ook zelfstandig doelen
selecteren en aanvallen. Vanwege de snelle ontwikkelingen op het gebied van met
name robotica en kunstmatige intelligentie vrezen sommigen dat wapensystemen op
een bepaald moment zonder enige menselijke controle zouden kunnen functioneren
en worden ingezet.
1   K. Anderson, D. Reisner en M. Waxman, Adapting the Law of Armed Conflict to Autonomous Weapon Systems,
    2014, p. 391. Zie: <https://www.usnwc.edu/getattachment/a2ce46e7-1c81-4956-a2f3-c8190837afa4/
    dapting-the-Law-of-Armed-Conflict-to-Autonomous-We.aspx> en <http://www.unidir.org/files/publications/
    pdfs/framing-discussions-on-the-weaponization-of-increasingly-autonomous-technologies-en-606.pdf>.
</pre>

====================================================================== Einde pagina 6 =================================================================

<br><br>====================================================================== Pagina 7 ======================================================================

<pre>Deze vrees heeft aanleiding gegeven tot het hiervoor genoemde internationaal debat
over de juridische, ethische, technische en beleidsmatige vragen die met de mogelijke
toekomstige ontwikkeling en inzet van (volledig) autonome wapensystemen gepaard
gaan. Sinds 2013 hebben verschillende non-gouvernementele organisaties (NGO’s)
zich verenigd in de internationale campagne Stop Killer Robots. Deze NGO’s menen
dat een morele grens wordt overschreden als machines beslissen over leven en dood
en dat de invoering van autonome wapens ook andere negatieve gevolgen heeft.2
In datzelfde jaar presenteerde de Special Rapporteur on Extrajudicial, Summary or
Arbitrary Executions, Christof Heyns, zijn rapport over Lethal Autonomous Robotics
in de VN Mensenrechtenraad.3 Heyns meent dat wapens die zelf doelen selecteren en
aanvallen, de menselijke waardigheid aantasten. Hij bepleit een moratorium zodat
een internationale regeling tot stand kan komen over de toekomst van deze wapens.
Op 28 juli 2015 publiceerden ruim duizend wetenschappers en ondernemers een
open brief waarin zij opriepen tot een verbod op offensieve autonome wapen-
systemen die niet onder betekenisvolle menselijke controle staan.4 Sindsdien hebben
velen zich bij dit initiatief aangesloten.
In mei 2014 en in april 2015 heeft een groot aantal deskundigen gediscussieerd
over autonome wapensystemen in het kader van de Conventie voor bepaalde
Conventionele Wapens (CCW) van de Verenigde Naties (VN). Duidelijk werd dat
er geen consensus is over belangrijke vragen, zelfs niet over definities, zoals
wat moet worden verstaan onder autonome wapens. Er zijn wel belangrijke
vraagpunten op tafel gelegd die in ieder geval een grote rol zullen spelen in het
voortgaande debat over autonome wapensystemen. Dit betreft vooral de vraag
of het huidige volkenrechtelijke kader volstaat, vragen van aansprakelijkheid,
ethische vragen en de vraag naar de betekenis van het concept betekenisvolle
menselijke controle. Deze vragen staan ook centraal bij deze adviesaanvraag.
Omdat het gaat om ontwikkelingen op het gebied van emerging technologies die
snel kunnen gaan en de discussies over autonome wapensystemen in internationaal
verband nog volop plaatsvinden, acht de AIV/CAVV het zinvol om bij de
beantwoording van de adviesvragen de aandacht vooral te richten op de komende
tien jaar. Dit laat onverlet dat ook een blik op de verdere toekomst wordt geworpen.
Omdat definities belangrijk zijn voor een heldere discussie over dit complexe
onderwerp zal in het eerste hoofdstuk eerst worden ingegaan op het begrip
autonome wapensystemen. Daarna worden de militaire voordelen en beperkingen
van autonome wapensystemen beschreven en wordt ingegaan op de mogelijke
toekomstige inzet van deze wapensystemen. Daarbij komt ook het targetingproces
aan de orde, dat een belangrijke rol speelt in dit advies. Vervolgens worden
mogelijke ontwikkelingen op langere termijn aan de orde gesteld.
In het tweede hoofdstuk wordt het juridische kader voor de toelaatbaarheid
en inzet van autonome wapens in kaart gebracht. Met name wordt ingegaan op
2  Zie: <http://www.stopkillerrobots.org/the-problem/>. Geconsulteerd op 6 mei 2015.
3  C. Heyns, Special Rapporteur on Extrajudicial, Summary or Arbitrary Executions; Report Human Rights
   Council to the UN General Assembly, UN Doc. A/HRC/23/47.
4  Zie: <http://futureoflife.org/AI/open_letter_autonomous_weapons>. Geconsulteerd op 29 juli 2015.
</pre>

====================================================================== Einde pagina 7 =================================================================

<br><br>====================================================================== Pagina 8 ======================================================================

<pre>de toepasselijke rechtsregimes voor de inzet van autonome wapens en de (on)
rechtmatigheid van autonome wapens.
In het derde hoofdstuk komen vragen van juridische aansprakelijkheid aan de
orde. Daarbij worden onder andere verschillende vormen van aansprakelijkheid
besproken, zoals aansprakelijkheid van militaire commandanten en van staten.
In het vierde hoofdstuk wordt het concept betekenisvolle menselijke controle
besproken en de rol die dit begrip kan spelen in de discussie over autonome
wapens.
In het vijfde hoofdstuk wordt ingegaan op ethische aspecten.
In het zesde hoofdstuk komt de vraag aan de orde of een moratorium op de
ontwikkeling van autonome wapens wenselijk en haalbaar is.
Het advies wordt afgesloten met een samenvatting, conclusies en aanbevelingen in
het zevende hoofdstuk.
Het advies is opgesteld door een gecombineerde commissie van de AIV en de CAVV
onder voorzitterschap van LGen b.d. M.L.M. Urlings (AIV/CVV). De leden waren mw.
prof.dr. I. Duyvesteyn (AIV/CVV), prof.dr. T.D. Gill (CAVV), mw. mr.dr. B.T. van Ginkel
(AIV/CVV), mw. prof.dr. L.J. van den Herik (CAVV), prof.dr. J.G. Lammers (CAVV)
mw. prof.dr. M.E.H. van Reisen (AIV/COS) en prof.dr. W.G. Werner (CAVV). Gen.-maj.
der mariniers b.d. mr.drs. C. Homan (AIV/CVV) was corresponderend adviseur. Het
secretariaat werd gevoerd door drs. J. Smallenbroek (AIV) en mw. mr.drs. E.M. van
Rijssen (CAVV), bijgestaan de stagiaires mw. E.J.M. Smit en mw. T.J.E. van Rens. De
ambtelijke contactpersonen waren ir. M. Reubzaet, drs. M. Valstar, mr.dr. J. Gutter
(allen Ministerie van Buitenlandse Zaken), drs. J.M.D. van Leeuwe en maj. mr. M.
Antzoulatos (beiden Ministerie van Defensie).
De commissie sprak met de volgende deskundigen:
Prof.dr. M.J. van den Hoven, hoogleraar ethiek & filosofie van de techniek,
Technische Universiteit Delft;
Dr. L.J.H.M. Kester, Senior Research Scientist bij de groep Distributed Sensor
Systems, Nederlandse Organisatie voor toegepast-natuurwetenschappelijk
onderzoek (TNO);
Prof.dr. M.M. Louwerse, hoogleraar Cognitieve Psychologie en Artificiële
Intelligentie, Universiteit van Tilburg;
Mw. M. Struyk, Teamleider Veiligheid en Ontwapening bij PAX.
Daarnaast heeft de commissie een beroep kunnen doen op de promovendi mw.
M.A.C. Ekelhof LL.M en dhr. D.R. Saxon LL.M die als toehoorder bij de vergaderingen
van de commissie aanwezig waren.
De AIV en de CAVV zijn hen zeer erkentelijk voor het delen van hun inzichten.
De AIV heeft dit advies vastgesteld op 2 oktober 2015.
De CAVV heeft dit advies vastgesteld op 12 oktober 2015.
</pre>

====================================================================== Einde pagina 8 =================================================================

<br><br>====================================================================== Pagina 9 ======================================================================

<pre>I         Autonome wapensystemen 5
I.1       Wat is een autonoom wapen?
De ontwikkeling naar autonome functies in wapens is niet nieuw. Reeds in de Tweede
Wereldoorlog gebruikten de Duitsers Wren torpedo’s die hun koers aanpasten aan de plaats
waar het bewegende doel zich bevond. De torpedo’s legden na lancering 400 meter af,
waarna microfoons werden ingeschakeld. Op basis van het geluid van de scheepsschroef
corrigeerde de torpedo zijn koers, zodat het doel met grotere precisie kon worden geraakt.
Zo bezien past de ontwikkeling van autonome wapens in een langere trend van voortgaande
technologische ontwikkeling waarbij mensen steeds minder een rol lijken te spelen in
beslissingen over de selectie en het aanvallen van doelen. Dit is met name vanuit juridisch
en ethisch perspectief het element dat vragen oproept; vragen of het internationaal
humanitair recht dergelijke wapens toestaat en of deze ethisch toelaatbaar zijn.
Een wapen kan deels autonoom functioneren, terwijl bij de uitvoering van andere taken of
functies mensen betrokken zijn. Onder andere het United Nations Institute for Disarmament
Research (UNIDIR) en het International Committee of the Red Cross (ICRC) maken in dit
verband onderscheid tussen kritische functies van wapens en andere functies.6 Kritische
functies hebben betrekking op het gebruik van geweld en betreffen het ‘selecteren van
doelen’ en ‘aanvallen van doelen’. Zo is bijvoorbeeld autonoom bijtanken in de lucht geen
kritische functie. Alleen wapens waarbij de kritische functies autonoom worden vervuld – dus
door het wapen in plaats van door mensen – zijn autonome wapens.
In de meeste publicaties over autonome wapens worden drie categorieën wapens
onderscheiden, namelijk wapens waarbij de mens respectievelijk in the loop, on the loop of
out of the loop is.7 De eerste categorie wapens wordt gevormd door wapens met een human
in the loop voor de selectie van en aanval op specifieke doelen. Dit zijn wapensystemen
die autonoom individuele doelen of specifieke categorieën van doelen aanvallen, die door
een mens zijn geselecteerd. Daartoe behoren onder andere verschillende soorten geleide
munitie die al decennia worden gebruikt. Soms kan het doel tijdens de vlucht worden
aangepast, zoals bij de laatste versie van de Tomahawk land-attack cruise missile. Bij andere
soorten geleide munitie zoals de zogenaamde fire and forget wapens, kan dit weer niet. De
wapens die tot deze categorie (human in the loop) behoren zijn semi-autonome wapens.
De tweede categorie wordt gevormd door wapens met een human on the loop voor de
selectie van en aanval op specifieke doelen, nadat het wapen is geactiveerd. Dit zijn
wapensystemen die autonoom individuele doelen selecteren en aanvallen, die niet
zijn geselecteerd door een mens, maar mensen weten wel welk soort doel zal worden
5   Ook andere namen worden gebruikt, zoals: Lethal Autonomous Weapon Systems (LAWS), robotwapens,
    LAWs (Lethal Autonomous Weapons), LARs (Lethal Autonomous Robots), FAWs (Fully Autonomous Weapon
    systems), Killer Robots en WUS (Weaponized Unmanned Systems). In dit advies worden de begrippen
    autonome wapensystemen en autonome wapens naast elkaar gebruikt.
6   UNIDIR, Framing disussions on the weaponization of increasingly autonomous technologies, UNIDIR
    resources no. 1, 2014, pp. 3-4 en ICRC, autonomous weapon systems: technical, military, legal and
    humanitarian aspects, expert meeting 26 to 28 March 2014, Geneva, background paper p. 62.
7   Zie Appendix A bij: P. Scharre en M.C. Horowitz, an introduction to autonomy in weapon systems,
    working paper February 2015, Center for a New American Security.
                                                      8
</pre>

====================================================================== Einde pagina 9 =================================================================

<br><br>====================================================================== Pagina 10 ======================================================================

<pre>aangevallen en kunnen interveniëren als dat wenselijk is. Dit zijn autonome wapensystemen
onder menselijk toezicht. Bestaande wapens in deze categorie hebben in de praktijk een
defensieve taak en worden ingezet in relatief overzichtelijke omgevingen. Dergelijke wapens
zijn in de meeste gevallen vast gemonteerd (bijvoorbeeld de Goalkeeper op een fregat) of
statisch opgesteld (bijvoorbeeld de Patriot). Vanwege de korte vluchttijd van de projectielen is
ingrijpen niet altijd mogelijk als een onbedoelde confrontatie met een object dreigt.8 Wel kan
de bedienaar van het wapen verder functioneren van het systeem beletten en ook kan hij
ingrijpen bij disfunctionerende software of bij een cyberaanval. Het belangrijkste verschil met
wapens met een mens in the loop (de eerste categorie) is dat wapens met een mens on the
loop wel zelf individuele doelen selecteren.
De derde categorie wordt gevormd door wapens met een human out of the loop voor de
selectie van en aanval op individuele doelen, nadat het wapen is geactiveerd, en waarbij een
mens niet kan ingrijpen om de aanval te stoppen. Dit zijn wapensystemen die autonoom
individuele doelen selecteren en aanvallen in een vooraf geprogrammeerd geografisch gebied
gedurende een bepaalde tijd volgens vooraf geprogrammeerde regels. De bedienaar van het
wapen weet niet welk individueel doel zal worden aangevallen, maar het soort doel is wel
vooraf geprogrammeerd. Het wapen valt daarom alleen doelen aan met de geprogrammeerde
kenmerken. Dit zijn autonome wapens. Er zijn thans slechts enkele voorbeelden van
operationele wapensystemen die deze kenmerken hebben, zoals de Israëlische Harpy,
gericht tegen radardoelen. Dit wapen kan over een gebied vliegen en is geprogrammeerd om
vijandelijke radarinstallaties binnen dat (vooraf bepaalde) gebied aan te vallen als het doel
aan bepaalde parameters voldoet. De mens weet dus niet welk individueel doel zal worden
aangevallen; hij weet alleen dat een bepaald soort doelen in een geografisch omlijnd gebied
gedurende een vastgestelde tijdsperiode wordt gezocht en zo mogelijk wordt aangevallen.
Andere voorbeelden van wapensystemen die genoemde kenmerken in belangrijke mate
hebben, zijn sensor fuzed weapons en de Brimstone, een lucht-grondraket tegen onder meer
vijandelijke tanks.9 Het belangrijkste verschil met wapens met een mens on the loop is dat
de mens niet meer kan ingrijpen om de aanval te stoppen nadat het wapen is geactiveerd.
Bij deze definities plaatst de AIV/CAVV twee kanttekeningen. In de eerste plaats is
het van belang te omschrijven wat met de loop wordt bedoeld. Met de loop wordt het
besluitvormingsproces bedoeld ten aanzien van de selectie en het aanvallen van doelen.
Dit begrip kan betrekking hebben op de kritische processen (doelselectie en aanval
op het doel) die het wapen autonoom uitvoert (de loop ‘in enge zin’), maar ook op het
bredere targetingproces waarbij de mens een beslissende rol vervult. Voorafgaand aan
het proces dat het wapen uitvoert om een individueel doel te selecteren en aan te vallen,
hebben immers mensen het besluit genomen het wapen in te zetten. Dit besluit maakt
deel uit van het zogeheten targetingproces, waaronder ook elementen als het formuleren
van doelstellingen, doelselectie, wapenselectie en uitvoeringsplanning vallen.10 Daarbij
worden ook de mogelijke gevolgen voor de burgerbevolking meegewogen. Binnen de Noord-
8   P. Scharre en M.C. Horowitz, an introduction to autonomy in weapon systems, Center for a New American
    Security, working paper February 2015.
9   Article 36, Key areas for debate on autonomous weapons systems, briefing paper, mei 2014.
10 M. Roorda, NATO’s targeting process: ensuring human control over and lawful use of autonomous’
    weapons. Zie: <http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2593697>. Geconsulteerd op
    26 mei 2015. Deze cyclus kent de volgende 6 fasen: (1) End State and Commander’s Objectives, (2)
    Target Development and Prioritization, (3) Capabilities Analysis, (4) Commander’s Decision and Force
    Assignment, (5) Mission Planning and Force Execution, (6) Assessment.
                                                        9
</pre>

====================================================================== Einde pagina 10 =================================================================

<br><br>====================================================================== Pagina 11 ======================================================================

<pre>Atlantische Verdragsorganisatie (NAVO) verloopt dit proces volgens vaste procedures.
De AIV/CAVV is van mening dat dit proces ook moet worden gerekend tot de loop, de
zogenaamde wider loop.
Een tweede kanttekening betreft de menselijke betrokkenheid bij de selectie van doelen.
Een wapen met autonome kritische functies (selectie en aanvallen van doelen) is zodanig
geprogrammeerd, dat het bepaalde soorten doelen, en alleen die, zal aanvallen. Men kan
daarbij denken aan vijandelijke vliegtuigen, tanks of inkomende raketten. Als het wapen wordt
ingezet, bepaalt het programma op grond van algoritmes (instructies, softwareprogramma’s)
welk individueel doel (dat behoort tot het geprogrammeerde soort doel), wordt geselecteerd
en aangevallen. Daarnaast kent het programma van het wapen ook beperkingen ten aanzien
van de duur van inzet en de omvang van het geografische gebied. Deze beperkingen
ten aanzien van het soort doelen, de tijd en de ruimte zijn het resultaat van menselijke
beslissingen. Deze beslissingen kunnen in verregaande mate de effectiviteit, rechtmatigheid
en legitimiteit van de inzet bepalen. Het wapen maakt feitelijk geen keuze, maar voert
bepaalde acties uit op grond van de door mensen geprogrammeerde regels en naar
aanleiding van de signalen die de sensoren van het wapensysteem hebben waargenomen. In
die zin is er dus wel degelijk sprake van menselijke betrokkenheid bij wapens waarbij de mens
out of the loop in enge zin is, nadat het wapen is geactiveerd. In de wider loop neemt de mens
zelfs een cruciale plaats in. Als de mens niet meer betrokken zou zijn bij het targetingproces
(in de wider loop), dan zou de mens beyond the wider loop zijn.11 In hoofdstuk IV wordt nader
ingegaan op de rol van de mens bij de inzet van autonome wapens.
Autonome wapens selecteren individuele doelen en vallen deze aan op basis van
voorgeprogrammeerde kenmerken. Mensen hebben daardoor minder controle over de
acties van een autonoom wapen nadat het wapen is geactiveerd, in vergelijking met
wapens die voortdurend door mensen worden bediend zoals bij de geweerschutter of de
gevechtspiloot tijdens een luchtgevecht. Dit heeft als belangrijk gevolg dat het zwaartepunt
van de besluitvorming over het gebruik van geweld verschuift naar een eerder moment
in het besluitvormingsproces. De definitieve beslissing over geweldsgebruik wordt niet
meer genomen vlak voor de aanval op het doel door degene die het wapen bedient, maar
eerder, namelijk op het moment dat besloten wordt het autonome wapen in te zetten en te
activeren.
De commandant die daartoe besluit moet daarom beschikken over gedegen kennis van
de risico’s van inzet. Hierbij ligt de nadruk op de beoordeling of het wapen in de gegeven
context kan opereren binnen de kaders van het internationaal recht en ethische beginselen.
De commandant moet bijvoorbeeld begrijpen hoe groot de kans is dat de waarnemingen van
de sensors verkeerd worden geïnterpreteerd door het systeem en of de parameters van de
software ruimte laten om verkeerde doelen aan te vallen. Dat veronderstelt dat de acties van
het autonome wapen en de gevolgen voldoende voorzienbaar zijn. Dit stelt hoge eisen aan
onder meer het ontwerp van het systeem, de beproeving ervan in verschillende inzetsituaties
en de opleiding en training van commandanten en bedienaars. Een commandant moet weten
in welke situaties of omstandigheden onzekerheid bestaat over de acties die het wapen
zal ondernemen nadat het is geactiveerd. Dat is vooral afhankelijk van de context waarin
inzet van het wapen plaatsvindt. In een omgeving waarin alleen militaire doelen aanwezig
zijn, is onzekerheid over de acties die het autonome wapen mogelijk zal uitvoeren minder
11 S. Welsh, Machines with guns: debating the future of autonomous weapons systems, The Conversation
    12 april 2015. Zie: <https://theconversation.com/machines-with-guns-debating-the-future-of-autonomous-
    weapons-systems-39795>. Geconsulteerd op 27 augustus 2015.
                                                    10
</pre>

====================================================================== Einde pagina 11 =================================================================

<br><br>====================================================================== Pagina 12 ======================================================================

<pre>problematisch dan in een omgeving waarin zich ook burgers bevinden. Als een autonoom
wapen niet geschikt is voor een specifieke situatie, dan zou een commandant moeten afzien
van inzet. Als de commandant het wapen toch inzet, dan kan hij daarvoor aansprakelijk
worden gesteld. Dit aspect komt aan de orde in hoofdstuk III.
Definitie autonoom wapen
In dit advies wordt met een autonoom wapen bedoeld:
Een wapen dat zelfstandig doelen, die voldoen aan voorgeprogrammeerde kenmerken,
selecteert en aanvalt, nadat mensen hebben besloten het wapen in te zetten en waarbij een
mens niet meer kan ingrijpen om de aanval te stoppen.12
Het gaat dus om wapensystemen met autonome functies voor de selectie van en aanval op
individuele doelen, zonder menselijke betrokkenheid in de loop in enge zin. Van de hiervoor
genoemde categorieën wapens valt alleen de derde categorie (human out of the loop) binnen
deze definitie van autonome wapens. Deze definitie van autonome wapens omvat wapens
die geschikt zijn voor inzet op de zee, onder water, op het land, in de lucht of in de ruimte.
Het genoemde bredere targetingproces, de wider loop, komt verder aan de orde in hoofdstuk
IV over betekenisvolle menselijke controle.
I.2       Militaire voordelen en beperkingen van (wapens met) autonome functies13
Voor de partij die wapens met autonome functies inzet, kan dit diverse voordelen hebben.
Elektronische apparatuur kan sneller dan mensen gegevens verzamelen en verwerken. Soms
is snelheid van handelen essentieel. Een schip kan zich niet tegen inkomende raketten
verdedigen zonder een autonoom systeem dat zelfstandig vijandelijke raketten detecteert
en uitschakelt, zoals de Goalkeeper doet. Ook kunnen systemen met autonome functies
opereren waar mensen dat niet of moeilijk kunnen of alleen met groot gevaar voor eigen
leven. Een voorbeeld is de ruimte of diep onder water, waar mensen alleen aanwezig kunnen
zijn met diverse voorzieningen vanwege de hoge druk en het gebrek aan zuurstof. Autonome
wapens kunnen ook opereren in omgevingen waar communicatie moeilijk of onmogelijk is.
Het wapen kan dan toch een taak uitvoeren, zonder nadere instructies te ontvangen. Voorts
maakt inzet van autonome wapens inzet van militairen in zeer risicovolle omstandigheden
deels overbodig. Zo lopen eigen militairen minder risico. Inzet van autonome wapensystemen
kan het aantal slachtoffers onder eigen troepen en onder de burgerbevolking beperken.
Het gebruik van precisie geleide munitie in combinatie met automatisch werkende doel-
identificatieradars en andere autonome functies heeft de mens grotere controle gegeven
over het gebruik van geweld tijdens conflicten (precisie inzet in plaats van carpet bombing).14
Human Rights Watch heeft zelfs gesuggereerd dat het niet gebruiken van dit type munitie in
12 Hoewel er (nog) geen internationale overeenstemming over definities is, weerspiegelt deze omschrijving
    de definities die gebruikt worden door verschillende internationale organisaties waaronder Human
    Right Watch, ICRC, de Special Rapporteur on Extrajudicial, Summary or Arbitrary Executions en het U.S.
    Department of Defense. Zie ook: P. Scharre en M.C. Horowitz, an introduction to autonomy in weapon
    systems, working paper February 2015, Center for a New American Security, Appendix A.
13 ICRC, Autonomous weapon systems: technical, military, legal and humanitarian aspects, expert meeting,
    Geneva, Switzerland, 26-28 March 2014, pp. 17-18 en pp. 69-71.
14 Koplow, Death by Moderation: The U.S. Military’s Quest for Useable Weapons. Cambridge, New York, 2010.
                                                      11
</pre>

====================================================================== Einde pagina 12 =================================================================

<br><br>====================================================================== Pagina 13 ======================================================================

<pre>bewoonde gebieden een oorlogsmisdaad zou kunnen zijn.15
De mens beschikt evenwel over vaardigheden die autonome systemen (nog) niet bezitten.
Het is daarom niet altijd effectiever of efficiënter om taken te laten vervullen door systemen
met autonome functies. Soms is het mogelijk systemen geheel zelfstandig te laten opereren,
maar zijn de gevolgen van eventuele fouten te groot om het systeem zo te ontwerpen.
Bradshaw c.s.16 noemen het voorbeeld van de Mars-verkenner. Deze had ontworpen kunnen
worden als een autonoom systeem, maar als er iets fout zou gaan, dan zou de hele kostbare
missie zijn mislukt. Daarom werd gekozen voor een systeem dat door mensen bij te sturen is.
Bradshaw c.s. bespreken de beperkingen van autonome systemen, deels op basis
van de ervaringen met geautomatiseerde systemen. Vaak wordt verondersteld dat
een geautomatiseerd systeem een apparaat is dat zonder meer kan worden ingezet.
Automatisering of invoering van autonome functies heeft echter vaak vergaande gevolgen
voor de organisatie. Een autonoom systeem kan goed functioneren in een bepaalde
context, maar niet in een andere. Als mensen de beperkingen van het systeem onvoldoende
doorgronden, dan is de effectiviteit van de inzet van het systeem suboptimaal. Autonome
systemen hebben bepaalde voordelen, maar mensen ook. Mensen hebben een rijk begrip
van hun omgeving en kunnen menselijk gedrag begrijpen en inschatten. Dat verschil zal in
de nabije toekomst blijven bestaan. Een goed ontwerp van een (semi-)autonoom systeem
combineert de voordelen van autonome functies met de specifieke vaardigheden van de
mens. Meer autonome functies is niet zonder meer beter.17
Inzet van autonome systemen leidt ook tot veranderingen in de taken van mensen. Dat
vraagt andere vaardigheden. Als een commandant moet beslissen over de inzet van een
autonoom wapen, dan moet hij goed begrijpen welke acties het wapen kan uitvoeren in de
gegeven situatie. Hij moet dus goed opgeleid en getraind zijn en voldoende kennis hebben
van het systeem en de interactie met de omgeving waarin het wordt ingezet. Autonome
functies leiden bovendien niet zonder meer tot minder werk, omdat vaak nieuwe taken
mogelijk worden. Er ontstaan nieuwe capaciteiten en er ontstaat nieuw werk. Er is dan vaak
ook behoefte aan mensen met nieuwe of andere vaardigheden.
Autonome systemen worden vrijwel altijd ingezet in samenhang met andere systemen en
mensen die van elkaar afhankelijk zijn. Dat vereist coördinatie tussen al deze spelers.
Bradshaw c.s. concluderen dan ook dat de grote uitdaging niet is gelegen in het verbeteren
van de autonome functies van systemen, maar in het mogelijk maken van samenwerking
tussen enerzijds autonome systemen en anderzijds andere systemen en mensen. Daarover
bestaat nog weinig kennis en inzicht.
I.3       Mogelijke toekomstige inzet van autonome wapensystemen
Het is nog niet duidelijk welke taken autonome wapens in de toekomst zouden kunnen
vervullen. De bestaande wapensystemen met autonome functies geven echter een indicatie
15 Human Rights Watch, Ukraine: Unguided rockets Killing Civilians, 24 juli 2014. Zie: <www.hrw.org/
    news/2014/07/24/ukraine-unguided-rockets-killing-civilians>.
16 J.M. Bradshaw, R.R. Hoffman, M. Johnson. D.D. Woods, The seven deadly myths of ‘autonomous
    systems’, IEEE Intelligent Systems 2013, Vol. 28, Issue No. 03 May-June, pp. 54-61.
17 Zie bijvoorbeeld: United States Air Force, Autonomous Horizons: System Autonomy in the Air Force – A
    Path to the Future (Volume I: Human-Autonomy Teaming), June 2015.
                                                     12
</pre>

====================================================================== Einde pagina 13 =================================================================

<br><br>====================================================================== Pagina 14 ======================================================================

<pre>welke soorten taken zij het meest waarschijnlijk zouden kunnen verrichten. Ook geeft
de stand van zaken ten aanzien van de ontwikkeling van kunstmatige intelligentie een
indicatie van de mogelijkheden die de invoering van autonome wapens zou bieden en welke
beperkingen aan de invoering van nieuwe generaties autonome wapens zouden kleven.
Echter, gezien de relatief snelle ontwikkeling in de technologie blijven zulke voorspellingen
speculatief en moeten deze met de nodige voorzichtigheid worden gedaan, als men verder
dan tien jaar in de toekomst kijkt.
Het is zeer onwaarschijnlijk dat autonome wapensystemen de rol van de mens op het slagveld
volledig of substantieel zullen overnemen. De aard van moderne conflicten compliceert de
inzet van deze wapensystemen. Het gaat immers steeds vaker om conflicten waarbij militaire
doelen zich bevinden in gebieden met veel burgers en waarbij partijen bij het conflict zich vaak
opzettelijk niet duidelijk onderscheiden van hen die niet aan de strijd deelnemen. Inzet van
autonome wapens is dan meestal problematisch. Als het winnen van de hearts and minds van
de bevolking het doel is, zullen autonome wapens naar verwachting eveneens een geringe rol
spelen. Autonome wapensystemen zullen waarschijnlijk worden ontwikkeld en ingezet voor
het verrichten van specifieke taken en naast militairen en bestaande wapensystemen en
andere militaire en civiele technologie worden ingezet. Dit was en is het geval met eerdere
ontwikkelingen in de militaire technologie en er is op voorhand geen reden om aan te nemen
dat dit voor autonome wapens anders zou zijn. De invoering van het luchtwapen heeft immers
de rol van grondtroepen niet vervangen. De intrede van onbemande luchtvaartuigen (drones)
heeft niet geleid tot het afschaffen van bemande gevechtsvliegtuigen en helikopters en lijkt
dat voor de komende decennia ook nog niet te zullen doen.
Diverse militaire wapensystemen beschikken over autonome functies, maar zijn geen
autonome wapens. De bestaande wapensystemen met autonome functies zijn vooral
geschikt voor het verrichten van specifieke en vooraf bepaalde taken binnen een redelijk
overzichtelijke omgeving. Systemen zoals een Close in Weapons System (onder meer de
Goalkeeper) en het Israëlische Iron Dome Mobile Air Defence System zijn ontworpen om
specifieke soorten dreigingen te neutraliseren en worden ingezet in situaties waar de
kans op onvoorspelbare ontwikkelingen en ongewenste neveneffecten minimaal tot vrijwel
uitgesloten is. Ze zijn gericht op het neutraliseren van vijandelijke projectielen en raketten.
Een ander voorbeeld is de Zuid Koreaanse Samsung SGR A1 Sentry Robot, die mensen
kan uitschakelen. Het systeem heeft een volautomatische modus en wordt ingezet in de
Gedemilitariseerde Zone tussen Noord-Korea en Zuid-Korea, waar het zoekt naar indringers.
Dit grensgebied tussen beide landen is afgesloten voor burgers. Het systeem kan dieren
van mensen onderscheiden en kan herkennen wanneer een indringer zich overgeeft (armen
omhoog) en vuurt dan niet. Het systeem kent ook een – doorgaans gebruikte – modus
waarbij een mens volledig in controle blijft over het gebruik van geweld.
Grondsystemen zoals de Israëlische Guardium Autonomous Unmanned Ground Vehicle kunnen
zowel in automatische als op afstand bediende modus opereren. Dit systeem is uitgerust
met diverse sensoren en is bewapend met zowel dodelijke als niet-dodelijke wapens en
wordt al enige jaren gebruikt door de Israëlische krijgsmacht en paramilitaire grenspolitie
voor grenspatrouille en perimeterverdediging. Vergelijkbare systemen worden ontwikkeld
door een aantal andere landen en zijn bestemd voor diverse taken, waaronder opruiming
van landmijnen en Improvised Explosive Devices, verkenning, logistieke ondersteuning en in
sommige gevallen het verlenen van vuursteun. Ook bij deze systemen worden, voor zover zij
daarover beschikken, alle wapens door mensen op afstand bediend waardoor deze systemen
niet zelfstandig doelen selecteren en aanvallen.
Ook op zee worden diverse typen Unmanned en Autonomous Underwater en Surface Vehicles
door diverse marines gebruikt of ontwikkeld voor taken zoals verkenning, zeemijnopsporing
                                                13
</pre>

====================================================================== Einde pagina 14 =================================================================

<br><br>====================================================================== Pagina 15 ======================================================================

<pre>en zeemijnopruiming, onderzeebootdetectie en oceanografisch onderzoek. Voorbeelden
zijn het Israëlische Protector Unmanned Surface Vehicle, een op afstand bediend bewapend
onbemand oppervlaktevaartuig dat onderscheppings- en opsporingstaken verricht, het
Noorse Pluto Plus Autonomous Underwater Vehicle voor onderwater zeemijnopsporing en
vernietiging en het Amerikaanse Navy Bluefish/Knifefish Autonomous Underwater Vehicle,
dat verschillende taken zoals zeemijnopruiming, verkenning, zeeonderzoek en Search and
Rescue kan verrichten. Naast deze soorten platforms en systemen voor de verdediging
van een gebied (perimeter verdedigingssystemen) zijn er diverse typen geleide munitie in
omloop of in ontwikkeling. Alle zijn geprogrammeerd om een specifiek soort doelwit binnen
een vooraf geprogrammeerd gebied aan te vallen, dan wel een doelwit op een vooraf
geselecteerde positie.
Ook ontstaat een nieuwe generatie onbemande gevechtsvliegtuigen die erop gericht zijn om
surveillance en aanvallen uit te voeren. Verschillende landen zijn bezig met de ontwikkeling
van deze zogenaamde Unmanned Combat Aerial Vehicles.18 Het Amerikaanse bedrijf Northrop
Grumman werkt bijvoorbeeld aan het Unmanned Carrier-Launched Airborne Surveillance
and Strike systeem X-47B. Dit systeem verkeert nog in de testfase, maar is al succesvol
gebleken in het autonoom bijtanken tijdens de vlucht, autonoom uitvoeren van ontwijkende
manoeuvres, autonoom identificeren van een doel en het autonoom opstijgen en landen van
een vliegdekschip.19
Aan de hand van deze voorbeelden lijkt het waarschijnlijk dat autonome systemen in de
nabije toekomst onder meer voor soortgelijke taken zullen worden gebruikt. Voor zover zulke
systemen bewapend zijn, worden mensen in/on the loop gehouden met uitzondering van
de Harpy en enkele vergelijkbare systemen. De systemen die ontworpen zijn voor perimeter
verdediging, verrichten taken waarbij de reactietijd voor een mens te kort is om een doel
te selecteren. Het systeem is echter niet in staat zelfstandig andere dan de geselecteerde
taken in een vooraf geprogrammeerd gebied te verrichten. De dreigingen die dit soort
systemen het hoofd bieden zijn zeer specifiek en de omgevingen waarin zij opereren zijn zo
overzichtelijk dat de kans op fouten of op ongewenste of onvoorzienbare neveneffecten zeer
gering is. Dat neemt niet weg dat elk wapen kan worden ingezet in een context waarvoor
het niet is bedoeld en dat zodoende het humanitair oorlogsrecht kan worden geschonden of
ethische vragen kunnen rijzen. Ook kunnen – evenals bij inzet van wapens zonder autonome
functies – menselijke fouten worden gemaakt.
Dat bestaande systemen voor specifieke taken worden ontworpen en ingezet sluit andere
taken voor toekomstige systemen niet uit. Niettemin geven de bestaande systemen
een redelijke indicatie van het soort taken dat autonome wapens waarschijnlijk zullen
verrichten in de komende tien jaar. Computersystemen (die het ‘denkend’ vermogen van
deze systemen vormen) zijn zeer goed in staat om gegevens en kwantitatieve data snel en
accuraat te verwerken. Ze zijn in toenemende mate in staat om taken uit te voeren zoals
navigatie, zelfstandige besturing van voer-/vaar-/vliegtuigen en identificatie van bepaalde
objecten en personen. Zij zijn veel minder goed dan mensen in contextueel en kwalitatief
redeneren. Wellicht zullen deze beperkingen op de langere duur deels worden weggewerkt,
18 Het Verenigd Koninkrijk heeft een systeem genaamd Taranis, de Verenigde Staten noemen hun stealth
    drone X-47B, een Europees prototype is genaamd nEUROn en vergelijkbare systemen in Rusland en
    China zijn genaamd MiG Skat en Anjian (Dark Sword).
19 Multinational Capability Development Campaign, ‘Proceedings Report Autonomous Systems Focus
    Area’ (2014) 6.
                                                  14
</pre>

====================================================================== Einde pagina 15 =================================================================

<br><br>====================================================================== Pagina 16 ======================================================================

<pre>maar dat zal hoogstwaarschijnlijk niet op korte of zelfs middellange termijn (en wellicht nooit
helemaal) gebeuren.
Een ontwikkeling op het gebied van autonome (wapen)systemen die naar verwachting
het komende decennium operationeel kan zijn is swarming, zwermen van kleine, relatief
goedkope autonome systemen. Zij kunnen in combinatie met bemande systemen worden
ingezet. Inzet van een zwerm kan het aantal sensoren en wapens aanzienlijk vergroten.20 Zij
kunnen door hun grote aantal de capaciteit van verdedigingssystemen te boven gaan, ook al
is de capaciteit van een enkel autonoom systeem beperkt. Individueel volgen de autonome
systemen simpele regels en zijn ze relatief zwak, maar de swarm kan complexe taken
uitvoeren en is effectief. Deze ontwikkeling past in het optreden van moderne krijgsmachten.
In Nederland is onder meer de TU Delft actief op het gebied van swarming (het TU Delft
Robotics Institute).21
Mogelijke strategische gevolgen
Naast juridische en ethische vragen met betrekking tot (volledig) autonome wapensystemen
rijst de vraag wat de mogelijke strategische gevolgen van deze wapensystemen kunnen
zijn in het kader van crisisbeheersing. Het betreft onder meer de gelijktijdige inzet van een
aantal autonome wapensystemen in een dynamische omgeving waarbij zeer snelle interactie
tussen de wapensystemen onvoorziene gevolgen zou kunnen hebben. In dit verband wordt
wel de vergelijking met de flash crash22 op de Amerikaanse aandelenmarkt van 6 mei 2010
gemaakt. Naar analogie wordt wel het beeld van mogelijke flash wars opgeroepen, waarbij de
onbedoelde interactie tussen de algoritmes van autonome wapens onbedoelde gevolgen zou
kunnen hebben. Autonome wapens zouden kunnen worden uitgerust met een zogenaamde
fail safe voorziening om de gevolgen van onbedoeld gedrag te beperken.23 Een fail safe
voorziening houdt in dat het autonome wapen over een mechanisme beschikt dat het wapen
zelfstandig uitschakelt in geval het wapen niet naar wens functioneert. Anderzijds kunnen
sommige autonome wapensystemen, zoals autonome lucht- en raketverdedigingssystemen,
ook een stabiliserend effect hebben, omdat ze de voordelen van preventieve aanvallen
verminderen en afschrikking vergroten.
Ongewenste gevolgen op strategisch en politiek niveau kunnen ontstaan als de snelheid van
de acties op het gevechtsveld niet meer bij te houden is door de besluitvormers op militair
en politiek niveau. Er zou dan een situatie kunnen ontstaan waarin een hoge mate van
automatisering en autonomie bij het gebruik van geweld het risico heeft van het ontstaan
van flash wars. Dit onderstreept de noodzaak dat de mens altijd in the wider loop moet zijn
bij cruciale besluiten over geweldstoepassing, vooral als het gaat om besluiten die potentieel
een escalerend effect hebben.
20 P. Scharre, Robotics on the Battlefield part II The Coming Swarm, Oktober 2014, Centre for a New
    American Security.
21 Zie: <http://robotics.tudelft.nl/?q=content/research-themes-projects>.
22 Op 6 mei 2010 verloor de Dow Jones Index in enkele minuten bijna 10% van zijn waarde. De markt
    herstelde zich zeer snel. Onderzoek naar de oorzaken van de koersdalingen wees uit dat een
    automatisch verkoopalgoritme van een grote institutionele belegger in zeer korte tijd grote aantallen
    aandelen had aangeboden. Zie: <http://www.theguardian.com/business/2015/apr/22/2010-flash-
    crash-new-york-stock-exchange-unfolded>. Geconsulteerd op 2 september 2015.
23 P. Scharre, Presentation at the United Nations Convention on Certain Conventional Weapons.
                                                      15
</pre>

====================================================================== Einde pagina 16 =================================================================

<br><br>====================================================================== Pagina 17 ======================================================================

<pre>Of de ontwikkeling van autonome wapens de drempel voor geweldsgebruik al dan niet zal
verlagen is naar de mening van de AIV/CAVV vooralsnog onvoldoende wetenschappelijk
bestudeerd. Het voeren van vijandelijkheden op afstand om zo de kwetsbaarheid van eigen
militairen te reduceren, is niet uniek voor de inzet van autonome wapens, maar speelt al
zolang oorlogvoering bestaat. Het beperken van risico’s voor eigen militairen is immers
een belangrijke verantwoordelijkheid van een regering van een land. Maar bij veel moderne
conflicten zal, zoals hiervoor opgemerkt, de inzet van autonome wapens problematisch zijn.
Conflicten zullen zelden beslecht kunnen worden zonder (grootschalige) inzet van militairen
in risicovolle omstandigheden. Daarom zullen parlementen vermoedelijk niet eerder dan
nu overgaan tot de inzet van de krijgsmacht, als gevolg van de ontwikkeling van autonome
wapens. De drempel voor gebruik van geweld door groeperingen die zich niet aan het
internationaal recht houden, zou wellicht wel lager zijn.
I.4       Mogelijke ontwikkelingen op langere termijn: volledig autonome wapensystemen
Ontwikkelingen met betrekking tot autonome wapens op langere termijn worden vooral
bepaald door ontwikkelingen ten aanzien van kunstmatige intelligentie. Kunstmatige
intelligentie is moeilijk te definiëren en zeer complex.24 Niettemin wordt vaak onderscheid
gemaakt tussen drie soorten kunstmatige intelligentie: beperkte kunstmatige intelligentie,
algemene kunstmatige intelligentie en kunstmatige superintelligentie.
Kunstmatige intelligentie vindt al ruime toepassing, maar meestal slechts in bepaalde
functies van apparatuur. Dit wordt beperkte kunstmatige intelligentie genoemd. Voorbeelden
zijn het anti-blokkeersysteem voor de remmen van een auto, een spamfilter voor e-mail,
systemen die voorkeuren van een internetgebruiker bijhouden en dan passende advertenties
aanbieden, zoekmachines voor het internet et cetera. Een geavanceerde vorm is de
schaakcomputer die de wereldkampioen schaken kan verslaan (Deep Blue), maar die niets
anders kan.25 De wereldkampioen schaken daarentegen kan wel veel andere functies
vervullen. Bestaande wapens met autonome functies beschikken over beperkte kunstmatige
intelligentie: zij zijn in staat zelfstandig te navigeren, doelen te selecteren en deze aan te
vallen. Voor deze functies beschikken deze wapens over intelligente componenten.
Algemene kunstmatige intelligentie is een niveau van kunstmatige intelligentie dat op gelijk
niveau met de mens zou staan. Dat zou in beginsel kunnen worden gecreëerd door een groot
aantal computers met beperkte kunstmatige intelligentie te combineren, maar in de praktijk
is dat nog niet gerealiseerd. De ontwikkeling van systemen met algemene kunstmatige
intelligentie vormt een grote uitdaging. Terwijl computers snel en nauwkeurig zeer complexe
berekeningen kunnen uitvoeren, hebben ze grote moeite met taken die mensen zonder
nadenken uitvoeren. Computers kunnen moeilijk betekenissen begrijpen, mensen zijn
veel beter in het interpreteren van waarnemingen (beeld, geluid). Computers hebben veel
meer rekenkracht nodig dan nu beschikbaar is om systemen met algemene intelligentie te
realiseren. Ook is meer inzicht in de werking van het menselijk brein nodig om machines te
voorzien van algemene kunstmatige intelligentie. De schattingen over de termijn waarbinnen
24 P.W. Singer, Wired for War, Penguin Books, New York, 2009, pp. 75-77. Zie ook: Luc Steels,
    Computers zijn nog net zo dom als dertig jaar geleden, Vrij Nederland, 25 juli 2015.
25 Volgens Luc Steels is het verraderlijke van AI dat ‘als iets er eenmaal is, noemen we het geen AI meer’.
    Ooit hielden we het voor onmogelijk dat computers grootmeesters zouden verslaan bij schaken. Nu
    vinden we het zo vanzelfsprekend dat we zeggen: zo intelligent is dat niet. Luc Steels, ‘Computers zijn
    nog net zo dom als dertig jaar geleden’, Vrij Nederland, 25 juli 2015.
                                                      16
</pre>

====================================================================== Einde pagina 17 =================================================================

<br><br>====================================================================== Pagina 18 ======================================================================

<pre>algemene kunstmatige intelligentie kan worden gerealiseerd, lopen sterk uiteen. De
gemiddelde schatting is enkele decennia.
Kunstmatige superintelligentie overstijgt de intelligentie van mensen. De mens is dan niet
meer in staat te doorgronden wat een machine (met superintelligentie) kan doen en wat de
gevolgen zijn van de acties van die machine voor mensen. Mogelijk kan een systeem met
superintelligentie mensen gaan overvleugelen en dat schrikbeeld jaagt velen angst aan.
Autonome wapens met superintelligentie zouden immers een bedreiging voor de mensheid
kunnen vormen. De Zweedse natuurkundige en filosoof Bostrom stelt dat het noodzakelijk
is nu te onderzoeken hoe dergelijke systemen onder menselijke controle kunnen blijven.26
Als een wapen in staat zou zijn doelen te selecteren en aan te vallen die niet vooraf zijn
geprogrammeerd, dan zou dat wapensysteem over een zeer hoge mate van kunstmatige
intelligentie moeten beschikken en een lerend vermogen moeten hebben (machine learning).
Door het systeem grote aantallen voorbeelden te laten analyseren, zou het mogelijk zelf
gedragsregels kunnen formuleren. Met nieuwe technieken wordt het misschien in de
toekomst mogelijk dat wapensystemen zich kunnen aanpassen aan een dynamische
omgeving.
Men zou kunnen spreken van een autonoom wapen waarbij de mens beyond the wider loop
is, als dit wapen zelf besluiten neemt op basis van regels die het leert of zelf maakt en een
doel selecteert en een aanval uitvoert zonder dat daar menselijke intentie aan ten grondslag
lag.27 Een dergelijk wapensysteem zou geheel aan menselijke controle ontsnappen. De
AIV/CAVV duidt deze wapens aan met het begrip volledig autonome wapens. Er zou een
aanzienlijke ontwikkeling ten aanzien van kunstmatige intelligentie noodzakelijk zijn om dit
mogelijk te maken, als dit al lukt. De AIV/CAVV acht het niet waarschijnlijk dat de komende
decennia volledig autonome wapens worden ontwikkeld met het oogmerk om zonder enige
menselijke controle te functioneren. Dan zou immers sprake zijn van wapens die zodanig
geprogrammeerd zijn dat ze het gehele targetingproces zelfstandig uitvoeren, vanaf het
formuleren van het te realiseren militaire doel tot en met het bepalen van de plaats en
tijd van inzet. Daarmee zou de mens niet langer controle uitoefenen over de inzet van het
autonome wapen. De AIV/CAVV acht het niet waarschijnlijk dat een staat een dergelijk
wapen zou willen (laten) ontwikkelen, nog afgezien van de vraag of dit technisch mogelijk is.
Toch zou de toenemende complexiteit van autonome systemen ertoe kunnen leiden dat
menselijke controle ten dele of grotendeels verloren gaat. Omdat de mogelijkheid dat dit
gebeurt niet kan worden uitgesloten, moet deze mogelijkheid naar de mening van de AIV/
CAVV serieus worden genomen. Daarom is het belangrijk dat staten de ontwikkelingen op
het gebied van kunstmatige intelligentie en robotica nauwgezet blijven volgen.
26 Zie het interview met N. Bostrom in de Volkskrant van 8 mei 2015: Kan de mens worden uitgeroeid
    door machines? Zie: <http://www.volkskrant.nl/wetenschap/kan-de-mens-worden-uitgeroeid-door-
    machines~a4009311/>. Geconsulteerd op 28 augustus 2015.
27 S. Welsh, Machines with guns: debating the future of autonomous weapons systems, The Conversation
    12 april 2015. Zie: <https://theconversation.com/machines-with-guns-debating-the-future-of-
    autonomous-weapons-systems-39795>. Geconsulteerd op 27 augustus 2015.
                                                    17
</pre>

====================================================================== Einde pagina 18 =================================================================

<br><br>====================================================================== Pagina 19 ======================================================================

<pre>II        Het juridische kader voor de toelaatbaarheid en inzet 		
          van autonome wapens
Dit hoofdstuk behandelt de vraag of het huidige volkenrechtelijk kader autonome wapens
toestaat en welke beperkingen het internationaal recht stelt aan de inzet van deze
wapens. In de eerste paragraaf wordt de vraag beantwoord onder welke omstandigheden
het gebruik van geweld door staten gerechtvaardigd is en of dat anders is als autonome
wapens worden ingezet. In de tweede paragraaf komt de vraag aan de orde welke
rechtsregimes binnen het internationaal recht beperkingen opleggen aan staten indien zij
geweld gebruiken. Het internationaal recht verbiedt bepaalde soorten wapens. In de derde
paragraaf wordt onderzocht of autonome wapens vallen onder één van de categorieën
verboden wapens. In de vierde paragraaf komt aan de orde welke soorten doelen mogen
worden aangevallen. In de vijfde paragraaf wordt besproken of de inzet van autonome
wapens kan voldoen aan de eisen van het internationaal recht.
II.1      Rechtsbases voor het gebruik van interstatelijk geweld en autonome wapens
In eerdere adviezen van de AIV en de CAVV is het volkenrechtelijk kader voor het gebruik
van interstatelijk geweld (het ius ad/contra bellum) uiteengezet.28 Kort samengevat houdt
dit kader het volgende in. Het gebruik van geweld in de internationale betrekkingen is
verboden, tenzij een staat een aannemelijk beroep kan doen op één of meer van de
erkende uitzonderingen op dit verbod. Deze erkende grondslagen zijn: (1) een mandaat
van de VN-Veiligheidsraad om geweld te autoriseren in het kader van handhaving of herstel
van de internationale vrede en veiligheid, (2) individuele of collectieve zelfverdediging van
één of meer staten tegen een gewapende aanval of (3) geldige toestemming van een
andere staat om geweld te gebruiken binnen zijn territoir. Bij alle drie erkende grondslagen
gelden aanvullende eisen. Zo is een beroep op zelfverdediging alleen mogelijk in geval
van een (onmiddellijk dreigende) gewapende aanval. Geweldsgebruik op grond van een
mandaat van de VN-Veiligheidsraad moet passen binnen de voorwaarden en doelstellingen
van het verleende mandaat. Bij ieder interstatelijk gebruik van geweld zijn de beginselen
van noodzakelijkheid, proportionaliteit en onmiddellijkheid ad bellum van toepassing. Bij
zelfverdediging moet het geweld noodzakelijk zijn om de (onmiddellijk dreigende) aanval af
te weren en het geweld moet proportioneel zijn.29
Deze regels inzake het interstatelijk gebruik van geweld zijn van toepassing op ieder
gebruik van geweld in de internationale betrekkingen, ongeacht het soort wapens dat wordt
ingezet. Dit geldt dus ook voor een wapensysteem dat een grotere of kleinere mate van
autonomie zou bezitten.
Het hangt af van de relevante omstandigheden of een specifiek gebruik van geweld
al of niet rechtmatig is, bij een beroep op één van deze erkende grondslagen voor het
gebruik van geweld. Dat staat in beginsel los van de aard van het wapensysteem dat
wordt ingezet. Als de VN-Veiligheidsraad een mandaat verleent om alle noodzakelijke
maatregelen aan te wenden om een bedreiging van de vrede, schending van de vrede of
28 CAVV, Advies inzake bewapende drones, advies nr. 23, Den Haag, juli 2013. AIV en CAVV, Digitale
    oorlogvoering, nr. 77 AIV/nr. 22 CAVV, Den Haag, december 2011.
29 Ibid, pp. 18-19.
                                                    18
</pre>

====================================================================== Einde pagina 19 =================================================================

<br><br>====================================================================== Pagina 20 ======================================================================

<pre>daad van agressie tegen te gaan, dan zal de inzet van een specifiek wapensysteem (al
of niet autonoom) worden getoetst aan de vraag of de inzet ervan binnen het mandaat
past. Slechts in uitzonderlijke gevallen wordt de rechtmatigheid van het geweldsgebruik
beïnvloed door de keuze van het ingezette wapen. Bijvoorbeeld de inzet van nucleaire
wapens in antwoord op een minder dan massale conventionele aanval zou vrijwel altijd
worden beoordeeld als disproportioneel en daarom als onrechtmatig. Bovendien zijn
bepaalde wapens onderworpen aan het regime van het wapenbeheersingsrecht dat
sommige wapens ofwel totaal verbiedt (bijvoorbeeld chemische en biologische wapens) of
ze zijn aan specifieke beperkingen gebonden, waardoor bezit of inzet een schending van
dat regime zal betekenen. Echter in de regel is de rechtmatigheid van de inzet van een
specifiek wapen niet een zaak die door het ius ad bellum wordt geregeld. In ieder geval kan
worden geconcludeerd dat ieder gebruik van geweld onderworpen is aan dezelfde regels,
ongeacht het soort wapen dat wordt ingezet.
II.2      Toepasselijke rechtsregimes bij geweldgebruik en autonome wapens
Naast een geldige rechtsbasis vereist ieder gebruik van geweld dat conform het
toepasselijke rechtsregime wordt gehandeld. De rechtsbasis heeft betrekking op de
vraag of geweld mag worden aangewend en het rechtsregime reguleert hoe, waar,
tegen wie (en welk) geweld mag worden ingezet. Er zijn (afgezien van specifieke
wapenbeheersingsverdragen) twee rechtsregimes die het gebruik van geweld reguleren:
het humanitair oorlogsrecht en de rechten van de mens.
Het regime van het humanitair oorlogsrecht is alleen van toepassing in situaties van
gewapend conflict en reguleert onder andere het voeren van vijandelijkheden. Dit omvat
de toepassing van de middelen en methoden van oorlogvoering (gevechtshandelingen)
in situaties waarin er geen sprake is van gezagsuitoefening of effectieve controle over
territoir of personen en feitelijke vijandelijkheden zich voordoen of vereist zijn om een
legitiem militair doelwit uit te schakelen of te neutraliseren. Het humanitair oorlogsrecht
bevat een uitgebreid stelsel van regels en beginselen en is specifiek ontworpen om dit
soort situaties te reguleren.
Het materiële, geografische, temporele en persoonlijke toepassingsbereik van het
humanitair oorlogsrecht is uitvoerig besproken in eerdere adviezen van de AIV/CAVV.30
De soorten gewapend conflict (internationaal, dat wil zeggen tussen twee of meer staten
of niet-internationaal, dat wil zeggen tussen een regering en één of meer georganiseerde
gewapende groeperingen of tussen zulke groeperingen onderling binnen een staat), zijn
eveneens eerder besproken.31
Het regime van de rechten van de mens reguleert rechtshandhaving. Dit kan voorkomen
zowel binnen als buiten de context van een gewapend conflict. Het betreft het uitoefenen van
gezag over territoir of individuen gericht op het behoud en/of herstel van de openbare orde,
het bestrijden van criminaliteit of andere onrechtmatige activiteiten buiten de context van het
voeren van vijandelijkheden tijdens een gewapend conflict. Als rechtshandhaving plaatsvindt
in de context van een gewapend conflict, dan is het regime van de rechten van de mens van
toepassing naast het humanitair oorlogsrecht. Een voorbeeld is handhaving van de openbare
orde in bezet gebied. Als geen sprake is van een gewapend conflict, dan is het regime van
30 Idem.
31 Zie bijvoorbeeld CAVV, Advies inzake bewapende drones, advies nr. 23, Den Haag, juli 2013, paragraaf 4.1.
                                                   19
</pre>

====================================================================== Einde pagina 20 =================================================================

<br><br>====================================================================== Pagina 21 ======================================================================

<pre>de rechten van de mens het enige toepasselijke internationaal rechtsregime voor toepassing
van geweld. Beide situaties zullen hieronder worden besproken voor zover zij betrekking
hebben op de inzet van autonome wapensystemen.32
De twee regimes zijn in beginsel complementair. Zij vullen elkaar aan voor zover zij beide
van toepassing zijn. Indien er sprake is van tegenstrijdigheid tussen specifieke bepalingen
uit deze regimes, geldt de meest specifieke bepaling. Dit vloeit voort uit het lex specialis
derogat legi generali beginsel (hierna aangeduid als het lex specialis beginsel). Dit beginsel
houdt overigens niet in dat het andere regime in zijn geheel buiten werking wordt gezet.
Het is een algemeen erkende interpretatiemethode om tegenstrijdigheden op te lossen
tussen specifieke regels uit twee rechtsregimes of rechtsgebieden. Ook deze onderlinge
relatie tussen het humanitair oorlogsrecht en de rechten van de mens is in eerdere
adviezen besproken.33
Voor wat betreft het gebruik van autonome wapensystemen in het kader van
rechtshandhaving binnen en buiten de context van een gewapend conflict kan worden
volstaan met de conclusie dat de inzet van zulke systemen om specifieke individuen uit
te schakelen buiten een situatie van gevechtshandelingen, bijvoorbeeld door de politie
bij het handhaven van de openbare orde, vrijwel altijd in strijd zou zijn met het regime van
de rechten van de mens. Onder dit regime is het toepassen van dodelijk geweld alleen
toegestaan in nauw omschreven situaties en aan vergaande beperkingen onderworpen.34
De inzet van autonome wapens om dodelijk geweld toe te passen binnen deze context zou
uiterst problematisch zijn en levert in tegenstelling tot sommige situaties bij het voeren van
vijandelijkheden (bijvoorbeeld uitschakeling van inkomende projectielen) nauwelijks of geen
voordeel op. Er zijn immers talrijke alternatieven voor het toepassen van dodelijk geweld door
een autonoom wapensysteem binnen deze context, zoals arrestatie, en er is daarom geen
noodzaak om autonome wapensystemen daarvoor in te zetten. Aan de andere kant zouden
specifiek ontworpen autonome systemen juist wel (soms veel) voordeel kunnen opleveren
in ondersteunende taken bij rechtshandhaving, zoals surveillance van afgelegen gebieden
en toezicht houden op kwetsbare objecten zoals kritieke infrastructuur. Echter, indien het
toepassen van dodelijk geweld bij rechtshandhaving absoluut vereist en onvermijdelijk is,
zou dit altijd onder menselijke controle moeten staan. Dit is zo, vanwege de nog stringentere
eisen die het regime van bescherming van de mensenrechten stelt aan het toepassen van
dodelijk geweld in vergelijking met het humanitair oorlogsrecht en het feit dat het toepassen
van deze criteria erg contextspecifiek is. Het is vrijwel uitgesloten dat een autonoom
wapensysteem de komende decennia in staat zou zijn om deze afwegingen te maken in
overeenstemming met de juridische eisen voor toepassing van dodelijk geweld binnen de
mensenrechten.
32 Zie ICRC Expert Meeting Report, G. Gaggioli (ed.) The Use of Force in Armed Conflicts: Interplay
    between the Conduct of Hostilities and Law Enforcement Paradigms, November 2013. Zie ook, Melzer,
    ‘Conceptual Distinctions and Overlaps between Law Enforcement and Conduct of Hostilities’ in T.D. Gill
    & D. Fleck (eds,) The Handbook of the International Law of Military Operations, Oxford University Press,
    2011, pp. 33 e.v.
33 CAVV, Advies inzake bewapende drones, advies nr. 23, Den Haag, juli 2013, paragraaf 4.1.
34 Art. 6(1) Internationaal Convenant inzake Burger en Politieke Rechten; Art. 2 Europese Verdrag voor de
    Bescherming van de Rechten van de Mens. Zie ook Melzer noot 32 boven, pp. 36-37.
                                                     20
</pre>

====================================================================== Einde pagina 21 =================================================================

<br><br>====================================================================== Pagina 22 ======================================================================

<pre>II.3     Zijn autonome wapens per se onrechtmatige wapens onder het
         humanitair oorlogsrecht?
Er zijn globaal drie redenen onder het humanitair oorlogsrecht om bepaalde wapens
te verbieden. Het humanitair oorlogsrecht verbiedt wapens als bij de inzet ervan geen
onderscheid kan worden gemaakt tussen militaire doelen (personen en objecten)
enerzijds en burgers en burgerobjecten anderzijds. Voorbeelden zijn bacteriologische
wapens en bepaalde soorten mijnen en booby traps. Bacteriologische wapens zullen zich
immers verspreiden en onvermijdelijk ook de burgerbevolking besmetten.
Daarnaast zijn wapens verboden die onnodig leed en/of buitensporige verwondingen
veroorzaken bij vijandige combattanten. Voorbeelden zijn munitie van handwapens die
ontploft bij contact met het menselijke lichaam of laserwapens die permanente blindheid
veroorzaken.
Ten derde zijn wapens en methoden van oorlogvoering verboden waarvan de effecten
niet kunnen worden beheerst op een wijze die het humanitair oorlogsrecht voorschrijft
en die daarmee burgers en vijandige combattanten zonder onderscheid raken. Zo zou
een computervirus dat ingezet wordt om het militair communicatiesysteem van een
tegenstander uit te schakelen en daarbij eveneens het communicatiesysteem van
noodhulpdiensten uitschakelt, een verboden wapen zijn omdat het niet mogelijk is om
de effecten van de inzet te beheersen. Evenmin is het toegestaan om een gebouw in
een bewoond gebied in brand te steken om vijandige strijders te dwingen het gebouw
te verlaten. De brand zou zich immers gemakkelijk kunnen verspreiden naar andere
gebouwen en is daarmee een verboden methode van oorlogvoering.
Deze regels van het humanitair oorlogsrecht zijn regels van gewoonterecht35 en vormen
de basis voor het Verdrag inzake het verbod of de beperking van het gebruik van bepaalde
conventionele wapens die geacht kunnen worden buitensporig leed te veroorzaken of een
niet-onderscheidende werking te hebben (Convention on Certain Conventional Weapons,
CCW). Het verdrag bevat geen regels ten aanzien van specifieke wapens, maar bevat
alleen algemene bepalingen over onder andere ratificatie, toetreding en inwerkingtreding.
Het verdrag is een paraplu voor protocollen over specifieke wapens. Momenteel zijn er vijf
protocollen:
• Protocol I on Non-Detectable Fragments;
• Protocol II on Prohibitions or Restrictions on the Use of Mines, Booby Traps and Other
    Devices;
• Protocol III on Prohibitions or Restrictions on the Use of Incendiary Weapons;
• Protocol IV on Blinding Laser Weapons;
• Protocol V on Explosive Remnants of War.
De partijen bij de CCW hebben in mei 2014 en april 2015 informele bijeenkomsten over
autonome wapens gehouden. In november 2015 vindt de volgende jaarlijkse bijeenkomst
plaats van de partijen bij het verdrag, waar zal worden besloten of, en op welke wijze, deze
twee informele bijeenkomsten een vervolg zullen krijgen.
Daarnaast zijn er andere verdragen die bepaalde soorten wapens verbieden, zoals de
Convention on the Prohibition of the Use, Stockpiling, Production and Transfer of Anti-Personnel
35 ICRC Customary International Humanitarian Law Study, Vol. 1, Rules, Rule 12.
                                                 21
</pre>

====================================================================== Einde pagina 22 =================================================================

<br><br>====================================================================== Pagina 23 ======================================================================

<pre>Mines and on their Destruction36, The Convention on the Prohibition of the Development,
Production and Stockpiling of Bacteriological (Biological) and Toxin Weapons and on
their Destruction37 en de Convention on the Prohibition of the Development, Production,
Stockpiling and Use of Chemical Weapons and on their Destruction.38
Er is geen reden om aan te nemen dat autonome wapens per definitie onder één van de
verboden categorieën wapens zouden vallen. Een grote variatie aan wapens kan vallen
onder het begrip autonoom wapen. Het enige dat deze wapens gemeen hebben, is dat
zij over autonome kritische functies beschikken. Uiteraard kan ook een wapen dat niet
verboden is, ingezet worden op een wijze die in strijd is met het humanitair oorlogsrecht.
Dat maakt het wapen niet onrechtmatig, maar wel het specifieke gebruik ervan. Ook
is het mogelijk dat een staat een autonoom wapen ontwikkelt dat onder één van deze
verboden categorieën zou vallen, net zoals een niet-autonoom wapen zou kunnen worden
ontwikkeld dat onder één van de verboden categorieën wapens zou vallen. In de praktijk
blijken vrijwel alle staten deze verboden en beperkingen goed na te leven.39 Concluderend
kan worden gesteld dat autonome wapens als zodanig niet bij voorbaat behoren tot
de categorie verboden wapens onder het humanitair oorlogsrecht of vallen onder de
bestaande verdragen die wapens verbieden. Of een autonoom wapen behoort tot één van
de verboden categorieën moet per specifiek wapen worden beoordeeld.
Artikel 36 van het Eerste Aanvullende Protocol bij de Geneefse Verdragen (Trb. 1980, 87)
verplicht staten de ontwikkeling en aanschaf van nieuwe wapens te onderwerpen aan
een toetsing of deze wapens zijn toegestaan onder het internationaal recht. Voor de
implementatie van artikel 36 heeft Nederland een commissie ingesteld. Deze commissie
heeft tot taak de minister van Defensie te adviseren over de verenigbaarheid van het
verwerven, het bezit, en elk gebruik van conventionele wapens en munitiesoorten,
inhoudende alle wapens en munitiesoorten anders dan kernwapens en -munitie, alsmede
de verenigbaarheid van strijdmethoden, met het geldende en in ontwikkeling zijnde
internationaal recht en in het bijzonder het humanitaire oorlogsrecht. De commissie
bestaat uit leden van de krijgsmacht en medewerkers van het ministerie van Defensie.40
36 Zie: <https://treaties.un.org/pages/ViewDetails.aspx?src=TREATY&mtdsg_no=XXVI-
    5&chapter=26&lang=en>.
37 Zie: <http://disarmament.un.org/treaties/t/bwc/text>.
38 Zie: <https://treaties.un.org/pages/ViewDetails.aspx?src=TREATY&mtdsg_no=XXVI-
    3&chapter=26&lang=en> en < https://www.opcw.org/chemical-weapons-convention/download-the-cwc/>.
39 De naleving van de verboden en beperkingen op specifieke soorten wapens is over het algemeen goed.
    Er is geen gedocumenteerd gebruik van biologische wapens sinds de totstandkoming van dit verbod.
    Chemische wapens zijn gebruikt door Irak en Syrië in het (recente) verleden, maar hebben geleid tot
    een algemene veroordeling door de internationale gemeenschap en het uiteindelijk ontmantelen van de
    voorraden van deze wapens onder internationaal toezicht. De mechanismen voor toezicht op naleving van
    de conventies inzake biologische en chemische wapens en in de CCW worden goed beschreven in W.H.
    Boothby, Weapons and the Law of Armed Conflict, Oxford University Press (2009), Chapter 19, p. 332 e.v.
40 Besluit houdende instelling van de Adviescommissie Internationaal Recht en Conventioneel
    Wapengebruik d.d. 5 juni 2014, nr. BS2014011603, Staatscourant, nr. 16746, 18 juni 2014. De
    Adviescommissie is bevoegd adviezen in te winnen bij dan wel studies te doen verrichten door
    departementale en niet-departementale organisaties zoals TNO, de (wapen)industrie, andere
    ministeries en NGO’s.
                                                     22
</pre>

====================================================================== Einde pagina 23 =================================================================

<br><br>====================================================================== Pagina 24 ======================================================================

<pre>Het beginsel van humaniteit
Naast de verdragsrechtelijke en gewoonterechtelijke regels die bepaalde categorieën
wapens verbieden of aan beperkingen onderwerpen, is de vraag of het toepassen
van dodelijk geweld door autonome wapens inherent in strijd is met het beginsel van
humaniteit. Dit beginsel is één van de kardinale beginselen van het humanitair oorlogsrecht
(naast militaire noodzaak, onderscheid tussen militaire en burgerpersonen en -objecten
en het beginsel van proportionaliteit in bello dat hieronder wordt besproken). De Martens
clausule is een uiting (naast andere) van dit beginsel in het humanitair oorlogsrecht en
dateert van de Haagse vredesconferenties waarin het internationale humanitair oorlogsrecht
voor het eerst werd gecodificeerd.41 Deze clausule maakt ook deel uit van het Eerste
Aanvullende Protocol en bepaalt dat in situaties die niet geregeld zijn in internationale
overeenkomsten, burgers en combattanten beschermd blijven door en onderworpen blijven
aan de beginselen van het volkenrecht die voortvloeien uit de gevestigde gebruiken, de
beginselen van menselijkheid en de eisen van het openbare rechtsbewustzijn.42 In zijn
oorsprong had deze bepaling betrekking op de status van burgers die de wapens opnamen
tegen een bezetter, maar vandaag de dag wordt het algemeen gezien als een herinnering dat,
bij het ontbreken van specifieke regels van verdragenrecht, de beginselen van het humanitair
oorlogsrecht en het gewoonterecht van toepassing blijven op de handelingen van partijen
bij een gewapend conflict. Het gehele stelsel van regelgeving in het humanitair oorlogsrecht
is immers een balans tussen humaniteit en overwegingen van militaire noodzaak.43 Er is
echter geen regel van gewoonterecht, noch is deze af te leiden uit één van de beginselen
waarop het humanitair oorlogsrecht is gebaseerd, die het toepassen van dodelijk geweld
door een geautomatiseerd of autonoom wapensysteem verbiedt of face to face encounter
voorschrijft. Het voeren van vijandelijkheden op afstand is een integraal onderdeel van
oorlogvoering zolang oorlog bestaat (vanaf de ballista uit de klassieke oudheid tot moderne
over the horizon ballistische raketten en railguns die een projectiel over zeer lange
afstanden kunnen afvuren met een minimale of zelfs helemaal geen directe interactie
tussen de protagonisten).
II.4      Legitieme doelen: onderscheid, proportionaliteit en voorzorg
Het humanitair oorlogsrecht stelt eisen aan het voeren van vijandelijkheden en de
inzet van wapens. Deze eisen zijn onverkort van toepassing op de eventuele inzet van
autonome wapens. Het voeren van vijandelijkheden is niet specifiek gedefinieerd binnen
het humanitair oorlogsrecht. Dit omvat diverse activiteiten, waaronder manoeuvreren,
verkenning en het vergaren en analyseren van inlichtingen, command and control,
communicatie, doelbestrijding en directe logistieke ondersteuning van deze activiteiten.
Het humanitair oorlogsrecht reguleert een aantal van deze activiteiten, met als oogmerk
het reguleren van geweldstoepassing en het beschermen van specifieke categorieën
personen en objecten, die niet of slechts onder strenge voorwaarden mogen worden
aangevallen. Een aanval is een toepassing van geweld (offensief of defensief) gericht
tegen de opponent met de intentie of het effect van het doden, verwonden of geheel of
41 Zie onder andere de verwijzing naar deze clausule door Christof Heyns, Special Rapporteur on
    Extrajudicial, Summary or Arbitrary Executions; Report Human Rights Council to the UN General
    Assembly, UN Doc. A/HRC/23/47, pp. 16-17.
42 Trb. 1980, 87, artikel 1 lid 2.
43 Zie onder andere Mary Ellen O’Connell, Legal Systems in: D. Fleck (ed.) The Handbook of International
    Humanitarian Law, Oxford University Press (3rd ed. 2013), pp. 33-34.
                                                     23
</pre>

====================================================================== Einde pagina 24 =================================================================

<br><br>====================================================================== Pagina 25 ======================================================================

<pre>gedeeltelijk uitschakelen van personen of vernietigen van objecten.
Het onderscheid tussen militaire doelen enerzijds en burgers en burgerobjecten
anderzijds vormt de kern van de regulering van vijandelijkheden. Personen die als militair
doel gelden zijn de leden van vijandige strijdkrachten (met uitzondering van medisch
personeel en geestelijke verzorgers), leden van georganiseerde gewapende groeperingen
met een doorlopende gevechtsfunctie en burgers die tijdelijk rechtstreeks deelnemen
aan vijandelijkheden. Vijandelijke combattanten die buiten gevecht zijn gesteld door
verwondingen, ziekte, schipbreuk, noodevacuatie van een luchtvaartuig of overgave zijn
gevrijwaard van een aanval. Zij moeten worden beschermd en humaan worden behandeld
bij gevangenneming. Bepaalde personen en objecten genieten een verhoogde mate van
bescherming en mogen niet of slechts in uitzonderlijke gevallen worden aangevallen. Deze
zijn wat personen betreft medisch personeel (civiel of militair), humanitaire hupverleners
en burgerbescherming personeel zolang deze personen geen handelingen verrichten die
onverenigbaar zijn met hun medische of humanitaire functie en die schadelijk zijn voor
de vijand. Journalisten die hun beroep uitoefenen zijn beschermd, tenzij zij rechtstreeks
deelnemen aan vijandelijkheden. Militair personeel van VN-vredesmissies geniet
bescherming zolang het (in volkenrechtelijke zin) niet partij wordt bij het conflict.
Een object kan een militair doel zijn op grond van zijn aard, locatie, toekomstige of
huidige functie of gebruik. Speciaal beschermde objecten omvatten medische installaties
en vervoermiddelen, cultureel erfgoed, goederen en installaties die onontbeerlijk
zijn voor het welzijn en het overleven van de burgerbevolking. Voorbeelden zijn een
drinkwaterzuiveringsinstallatie, hulpverleningskonvooien, dammen en dijken, installaties die
zeer gevaarlijke stoffen bevatten (zoals een kernenergiecentrale), alsmede de uitrusting,
vervoermiddelen en installaties van VN-vredesmissies. Bovenstaande objecten verliezen
hun speciale bescherming slechts in uitzonderlijke gevallen. Het natuurlijk milieu is een
burgerobject en mag niet direct worden aangevallen of roekeloos worden aangetast.
Middelen en methoden van oorlogvoering die langdurige, wijdverspreide en ernstige schade
aan het milieu toebrengen als neveneffect van het voeren van aanvallen op militaire doelen
zijn verboden.
Alle personen en objecten die niet onder bovenstaande omschrijving van een militair
doel vallen, zijn burgers of burgerobjecten. Aanvallen mogen alleen worden gericht tegen
militaire doelen. Burgers en burgerobjecten mogen niet worden aangevallen. In geval van
gerede twijfel over de status van een persoon of object mag die persoon of dat object niet
worden aangevallen.
Aanvallen moeten onderscheidend worden gepland en uitgevoerd. Dit houdt onder andere
in dat aanvallen gericht moeten zijn tegen een militair doel; de aanvaller mag alleen een
middel (wapen) of methode van oorlogvoering gebruiken waarbij onderscheid kan worden
gemaakt tussen militaire doelen enerzijds en burgers en burgerobjecten anderzijds. Daarbij
is het niet toegestaan een wapen in te zetten of een methode van oorlogvoering toe te
passen waarvan de effecten onbeheersbaar zijn. Dan zou immers geen onderscheid
kunnen worden gemaakt tussen militaire doelen en burgers of burgerobjecten.
Het houdt tevens in dat disproportionele aanvallen verboden zijn. In het kader van het
humanitair oorlogsrecht wordt disproportionaliteit gedefinieerd als een aanval op een
militair doel waarvan verwacht mag worden dat het verlies aan burgerlevens, letsel
aan burgers en/of schade aan burgerobjecten buitensporig zou zijn in vergelijking tot
het concrete en directe militair voordeel dat de aanval zou opleveren. De standaard
hierbij is die van de redelijke commandant/strijder die te goeder trouw de afweging
                                               24
</pre>

====================================================================== Einde pagina 25 =================================================================

<br><br>====================================================================== Pagina 26 ======================================================================

<pre>tussen verwachte nevenschade en militair voordeel maakt op grond van de beschikbare
informatie ten tijde van de aanval. Een serie direct aan elkaar verwante aanvallen wordt
als één aanval beschouwd voor wat het maken van deze afweging betreft. Het is tevens
verboden om een gebied als één militair doel te bestrijken als zich daarin slechts enkele
afzonderlijke en gescheiden militaire doelen bevinden tussen een concentratie van burgers
en burgerobjecten.
Aanvallen moeten met doorlopende voorzorg worden gepland en uitgevoerd om de
burgerbevolking, individuele burgers en burgerobjecten zoveel mogelijk te vrijwaren
van schade en letsel. Dit houdt in dat de aanvaller zich zo goed mogelijk ervan moet
vergewissen dat het aan te vallen object of persoon daadwerkelijk een militair doel is.
De aanval moet zo worden uitgevoerd dat nevenletsel en nevenschade zo veel mogelijk
worden beperkt. Ook moet de aanvaller de burgerbevolking voorafgaand aan de aanval
waarschuwen tenzij dit het succes van de aanval significant negatief zou beïnvloeden.
Ten slotte moet een aanval worden opgeschort of geannuleerd als deze waarschijnlijk tot
buitensporig nevenletsel of nevenschade zou leiden.
II.5      De inzet van autonome wapens voor doelselectie en doelbestrijding in het 		
          kader van het humanitair oorlogsrecht
Eén van de sleutelvragen in dit advies betreft de mogelijkheden van autonome wapens
om zelfstandig doelen te selecteren en te bestrijden in overeenstemming met het
hierboven uiteengezette juridische kader van het humanitair oorlogsrecht. Veel discussie
over autonome wapens heeft betrekking op de vraag of inzet van deze wapens in
overeenstemming kan zijn met de eisen die voortvloeien uit het humanitair oorlogsrecht:
onderscheid, proportionaliteit en voorzorg.
Ten eerste, het voldoen aan de eis van onderscheid. In II.4 is uiteengezet dat vele factoren
een rol spelen om te bepalen of een persoon of object al dan niet een legitiem doelwit is.
In de nabije toekomst zal een wapen niet in staat zijn onderscheid te maken tussen een
lid van een georganiseerde gewapende groepering met een gevechtsfunctie en een niet-
strijdend lid, dan wel een burger in een niet-internationaal gewapend conflict. Of tussen
een militair die aan de strijd deelneemt of een persoon die buiten gevecht is gesteld
door verwonding, ziekte of overgave. Of tussen een burger die rechtstreeks deelneemt
aan vijandelijkheden en een burger die bijvoorbeeld een vuurwapen afschiet tijdens een
bruiloft. Een autonoom wapen zal in de nabije toekomst de drie criteria voor rechtstreekse
deelname aan vijandelijkheden (drempel van schade, causale relatie tussen de handeling
en de schade en connectie met een van de strijdende partijen tot een gewapend conflict)
vrijwel zeker niet correct kunnen toepassen en kunnen beoordelen voor hoe lang de
persoon die daaraan voldoet een legitiem doel is.44 Ten aanzien van objecten spelen
eveneens vele factoren een rol bij de vraag of een object al dan niet een legitiem doelwit
is. In hoofdstuk I is al opgemerkt dat autonome wapens onder bepaalde omstandigheden
44 Zie: ICRC, Interpretive Guidance on the Notion of Direct Participation in Hostilities (2009), paragraaf V,
    Constitutive Elements of Direct Participation in Hostilities waarin deze drie criteria zijn neergelegd en
    uiteengezet. Alhoewel deze studie op sommige punten tot de nodige controverse heeft geleid, worden
    deze drie basiscriteria algemeen beschouwd als uitgangspunt voor de beoordeling van de vraag of een
    specifieke handeling als rechtstreekse deelname kan worden gekwalificeerd. De criteria zijn context speci-
    fiek en vereisen een behoorlijke mate van inzicht in tal van factoren die moeilijk, zo niet onmogelijk van te
    voren in te programmeren zijn.
                                                       25
</pre>

====================================================================== Einde pagina 26 =================================================================

<br><br>====================================================================== Pagina 27 ======================================================================

<pre>wel voldoende onderscheid kunnen maken tussen militaire doelen en civiele objecten. De
bestaande autonome wapens kunnen immers alleen een bepaald soort vijandige doelen
aanvallen. Ze kunnen doelen selecteren aan de hand van specifieke kenmerken.
Ten tweede het proportionaliteitsbeginsel. Het uitvoeren van een aanval tegen een
militair doel in een omgeving waar zich burgers bevinden betekent dat er altijd een
proportionaliteitsafweging moet worden gemaakt. Dat geldt ook voor aanvallen tegen
objecten waarbij redelijkerwijze neveneffecten op burgers en burgerobjecten te verwachten
zijn. Een proportionaliteitsafweging omvat niet alleen een kwantitatieve schatting van het
waarschijnlijk aantal (neven)slachtoffers als gevolg van de inzet van een specifiek wapen,
maar ook een afweging of dit onder de heersende omstandigheden in verhouding staat tot
het verwachte militair voordeel. Het is zeer onwaarschijnlijk dat autonome wapens binnen
tien jaar zelfstandig in staat zijn om het militair voordeel af te wegen tegen nevenschade,
althans niet in de meeste situaties. Het beoordelen van het verwachte militair voordeel
is immers deels subjectief van aard en sterk afhankelijk van de context waarin de aanval
wordt ingezet en voorts afhankelijk van een hele reeks factoren die aan snelle verandering
onderhevig kunnen zijn. Dit zijn het soort situaties en het soort redeneren waar
kunstmatige intelligentie zwakker is dan de mens.
Ten derde het treffen van voorzorgsmaatregelen. Tijdens de planning en uitvoering van een
aanval moet men doorlopend voorzorgsmaatregelen treffen om de effecten van de aanval
op burgers en burgerobjecten te minimaliseren en zo mogelijk te vermijden. Dit betreft
doorlopende verificatie van het doel, de keuze van het wapen, de tijd en de methode
van aanval, afzien of opschorten van de aanval als blijkt dat het effect disproportioneel
zou zijn of dat het niet (meer) om een legitiem doel gaat en ten slotte, waar mogelijk
moet voorafgaand aan een aanval de burgerbevolking gewaarschuwd zijn dat een aanval
aanstaande is. In verreweg de meeste situaties zullen autonome wapens de komende
tien jaar niet in staat zijn zelfstandig – dus zonder menselijke tussenkomst – dergelijke
afwegingen te maken, aangezien ze sterk contextueel bepaald zijn en aan snelle en
onvoorspelbare verandering onderhevig kunnen zijn.
Hieruit blijkt, zoals dat voor alle wapens geldt, dat ook de mogelijke inzet van autonome
wapens aan beperkingen onderhevig is. Er moet immers voldoende zekerheid bestaan over
het militair karakter van het aan te vallen doel en in een gebied waar zich burgers (zouden
kunnen) bevinden moet zeker zijn dat zij niet disproportioneel worden geraakt. Ook is inzet
niet te rechtvaardigen tegen doelen als de neveneffecten op de burgerbevolking niet bij
voorbaat in te calculeren zijn. Ten slotte kan inzet van autonome wapens in situaties die
onvoorspelbaar zijn of snel veranderen riskant zijn, omdat dan moeilijk aan de voorwaarden
van het humanitair oorlogsrecht kan worden voldaan. De bestaande wapens met
autonome functies worden dan ook thans vooral ingezet tegen militaire platforms zoals
militaire vliegtuigen, oorlogsschepen en militaire voertuigen in omgevingen of in situaties
waar de kans op nevenschade voor burgers of burgerobjecten of foutieve inschatting
minimaal of geheel afwezig is. De inzet van defensieve wapens met autonome functies
tegen vijandelijke projectielen of raketten levert weinig tot geen probleem op onder
het humanitair oorlogsrecht. Ook het gebruik van autonome systemen als middel van
elektronische oorlogvoering, voor verkenning, navigatie, explosievenopruiming en andere
niet dodelijke taken is niet problematisch onder het humanitair oorlogsrecht. Dit geldt
eveneens voor wapensystemen met een grote mate van autonomie in niet letale functies,
zoals opstijgen en landen.
Ook de aard van vele moderne conflicten compliceert het voldoen aan de vereisten van het
humanitair oorlogsrecht. Het gaat immers steeds vaker om niet-internationale conflicten,
                                                26
</pre>

====================================================================== Einde pagina 27 =================================================================

<br><br>====================================================================== Pagina 28 ======================================================================

<pre>zonder duidelijk geografisch afgebakende frontlinies, waarbij militaire doelen zich bevinden
in gebieden met veel burgers en waarbij partijen bij het conflict zich vaak opzettelijk niet
duidelijk onderscheiden van hen die niet aan de strijd deelnemen.
Uit het voorgaande blijkt dat zeker de komende tien jaar mensen de afwegingen inzake
onderscheid, proportionaliteit en voorzorg zullen moeten maken. Ook autonome wapens
zullen alleen ingezet mogen worden in gevallen waarin vrijwel zeker is dat het humanitair
oorlogsrecht niet zal worden geschonden. Deze wapens zullen zeker de komende tien jaar
het humanitair oorlogsrecht niet zelfstandig kunnen toepassen. Discussie over de vraag of
autonome wapens dit ooit kunnen is naar de mening van de AIV/CAVV speculatief. Vanuit
juridisch perspectief is het niet relevant of een mens dan wel een autonoom wapen een
doel selecteert en aanvalt; in beide gevallen moet het recht worden nageleefd. Ook als op
langere termijn autonome wapens ontwikkeld zouden worden die wel zelfstandig eisen van
het humanitair oorlogsrecht kunnen toepassen, zijn dezelfde juridische eisen onverminderd
van toepassing op de inzet van deze systemen. Het targetingproces, de wider loop, maakt
het echter mogelijk dat de mens de afwegingen van het humanitair oorlogsrecht maakt.
Het targetingproces waarbij de mens een cruciale rol speelt, kent de volgende zes fasen:
(1) End State and Commander’s Objectives, (2) Target Development and Prioritization, (3)
Capabilities Analysis, (4) Commander’s Decision and Force Assignment, (5) Mission Planning
and Force Execution, (6) Assessment. In bijlage II is aangegeven welke vereisten van het
humanitair oorlogsrecht tijdens de verschillende fasen van het proces (de wider loop) van
belang zijn.
In hoofdstuk IV over betekenisvolle menselijke controle wordt dieper ingegaan op de
betrokkenheid van mensen bij het gebruik van autonome wapens en op ontwikkelingen die
zijn te verwachten op langere termijn.
                                               27
</pre>

====================================================================== Einde pagina 28 =================================================================

<br><br>====================================================================== Pagina 29 ======================================================================

<pre>III      Vragen van aansprakelijkheid
III.1    Inleiding
Een van de vragen van de regering is of de AIV/CAVV veranderingen voorziet bij het
afleggen van verantwoording over het gebruik van (volledig) autonome wapens in relatie tot
daarmee samenhangende ethische vragen. Verantwoording kan politieke verantwoording
inhouden en juridische aansprakelijkheid. De wijze waarop politieke verantwoording moet
worden afgelegd over het gebruik van (volledig) autonome wapens is afhankelijk van het
politieke systeem van een land en het ligt niet voor de hand dat daarin veranderingen
optreden als gevolg van het gebruik van (volledig) autonome wapens. In dit advies wordt
daarom niet nader ingegaan op vragen rondom politieke verantwoording over de aanschaf
of inzet van autonome wapens.
Dit hoofdstuk gaat in op vragen van aansprakelijkheid die rijzen ten aanzien van de
ontwikkeling en (de besluitvorming met betrekking tot) de inzet van wapens met autonoom
kritische functies. Paragraaf III.2 bespreekt de kwestie van een eventuele accountability
gap en stelt dat de inzet van autonome wapensystemen in de komende tien jaar niet
noodzakelijkerwijs leidt tot een lacune in aansprakelijkheidsmechanismen, maar dat er
eerder sprake zal zijn van een verschuiving in de aansprakelijkstoedeling. Paragraaf III.3
bespreekt vervolgens kort strafrechtelijke aansprakelijkheidsconcepten, terwijl paragraaf
III.4 ingaat op vragen betreffende de aansprakelijkheid van staten onder internationaal en
nationaal recht.
III.2    Verschuiving van aansprakelijkheid in plaats van een accountability gap
De claim dat de inzet van autonome wapensystemen leidt tot een zogenaamde accountability
gap is één van de redenen op grond waarvan NGO’s zoals het International Committee for
Robotic Arms Control (ICRAC) en Human Rights Watch pleiten voor een algeheel verbod op de
ontwikkeling, productie en het gebruik van volledig autonome wapens.45 Deze NGO’s stellen
dat indien wapensystemen autonoom doelen selecteren en aanvallen, er geen individu
meer is dat aansprakelijk kan worden gesteld voor eventuele fouten en schendingen van
het humanitair oorlogsrecht. Zoals aangegeven in hoofdstuk I van dit advies zal de mens
zeker in de periode van de komende tien jaar in de wider loop blijven, en blijft het de mens
die het besluit neemt om een autonoom wapen in een bepaalde omgeving in te zetten,
waarbij dit wapen doelen selecteert en aanvalt op basis van vooraf geprogrammeerde
kenmerken. Aansprakelijkheid kan derhalve altijd teruggevoerd worden naar een menselijke
actie, namelijk het besluit tot inzet. Uit hoofdstuk II blijkt dat inzet van autonome wapens
onrechtmatig is onder het humanitair oorlogsrecht indien onvoldoende zekerheid bestaat dat
de kernbeginselen van onderscheid, proportionaliteit en voorzorg kunnen worden nageleefd.
Hieruit volgt dat, indien inzet van autonome wapensystemen leidt tot schending van het
humanitair oorlogsrecht, er wel degelijk aansprakelijkheid bestaat, alleen verschuift de
beslissing over de toepassing van geweld bij inzet van autonome wapens naar een vroeger
moment in de wider loop. De aansprakelijkheid verschuift naar de commandant die over inzet
beslist, en mogelijk naar de degene die het wapen activeert.
De verschuiving van aansprakelijkheid is derhalve een vertaling van de ontwikkeling van de
mens in/on the loop naar de mens out of the loop (in enge zin). Aangezien de mens binnen
45 Human Rights Watch, Mind the Gap: The Lack of Accountability for Killer Robots, April 2015.
                                                 28
</pre>

====================================================================== Einde pagina 29 =================================================================

<br><br>====================================================================== Pagina 30 ======================================================================

<pre>de termijn van tien jaar waar dit advies zich vooral op richt in de wider loop zal blijven, ziet
de AIV/CAVV eerder een verschuiving van aansprakelijkheid dan een accountability gap.
Ook na de termijn van tien jaar zou alleen daadwerkelijk een accountability gap kunnen
ontstaan bij wapensystemen beyond the wider loop, dat wil zeggen wapens die zich
zelfstandig aanpassen aan een dynamische omgeving en doelen aanvallen die niet door de
mens vooraf zijn geprogrammeerd of voorzien. Zoals opgemerkt in hoofdstuk I is het niet
de verwachting dat deze systemen de komende decennia zullen worden ontwikkeld.
De conclusie van hoofdstuk II sluit hier direct bij aan, namelijk dat de mens bij de beslissing
over inzet van autonome wapensystemen het humanitair oorlogsrecht in acht moet nemen.
De primaire normen van het humanitair oorlogsrecht reguleren deze inzet zeer stringent
en inzet waarbij deze normen niet in acht worden genomen is dan ook niet rechtmatig.
Zoals in paragraaf III.3 verder is uitgewerkt, kan een commandant derhalve wel degelijk
aansprakelijk worden gehouden voor risicovolle inzet van autonome wapensystemen met
schendingen van humanitair oorlogsrecht als gevolg. Factoren zoals het tijdsverloop tussen
het activeren van het wapen (het laatste moment waarop de afwegingen over onderscheid,
proportionaliteit en voorzorg kunnen plaatsvinden) en de daadwerkelijke aanval op het doel
alsmede de complexiteit van het wapen vragen om grotere terughoudendheid bij inzet van
autonome wapens. Deze factoren kunnen derhalve niet zonder meer worden ingeroepen om
onvoorzienbaarheid van de gevolgen te bepleiten en aansprakelijkheid te ontduiken.
III.3     Vormen van strafrechtelijke aansprakelijkheid
In deze paragraaf wordt voortgebouwd op de stelling uit de voorgaande paragraaf dat de
mens in ieder geval de komende decennia het doorslaggevende besluit zal blijven nemen of
een wapen wordt ingezet en de hierboven gesignaleerde verschuiving van aansprakelijkheid
binnen de wider loop. In deze paragraaf worden verschillende casussen besproken.
Opzettelijk onrechtmatige inzet van autonome wapens
In die situaties waarin autonome wapens worden ingezet met het specifieke oogmerk om
de regels van het internationaal humanitair recht te schenden en internationale misdrijven
te plegen kunnen betrokken politieke en militaire leiders strafrechtelijk aansprakelijk
worden gehouden op grond van reguliere aansprakelijkheidsvormen onder het nationale
en internationale strafrecht. De exacte programmering van de autonome wapens kan
in deze situaties van belang zijn om opzet te bewijzen. Dit scenario kan ook de situatie
omvatten waarin autonome wapens gehackt worden, hetgeen kan leiden tot strafrechtelijke
aansprakelijkheid van de hackers. Het zal in de praktijk evenwel niet altijd eenvoudig zijn
een dergelijke aansprakelijkheid te bewijzen.
Risicovolle inzet van autonome wapens
Een commandant die besluit tot inzet van autonome wapensystemen terwijl hij of zij weet
of had kunnen weten dat deze inzet kon leiden tot het begaan van oorlogsmisdrijven, kan
ook individueel strafrechtelijk aansprakelijk worden gehouden.
De exacte standaard van de voorwaardelijke opzet, dolus eventualis (voorwaardelijke opzet)
en de inhoud van het kenniscriterium verschilt per internationaal misdrijf en ieder nationaal
strafrechtssysteem kent ook weer zijn eigen standaarden en uitwerkingen daarvan. In het
kader van het Nederlands strafrecht is het concept van de voorwaardelijke opzet zo ingevuld
dat een commandant aansprakelijk kan worden gehouden voor een bepaald oorlogsmisdrijf
indien hij of zij bewust de aanmerkelijke kans aanvaardde dat dit oorlogsmisdrijf het gevolg
zou zijn van zijn of haar handelen, in casu de inzet van het betreffende wapen in de gegeven
situatie.
                                                29
</pre>

====================================================================== Einde pagina 30 =================================================================

<br><br>====================================================================== Pagina 31 ======================================================================

<pre>Daarnaast kan verwezen worden naar artikel 30 van het Statuut van Rome inzake het
Internationaal Strafhof (Trb. 2000, 120). Dit artikel luidt als volgt:
1. Tenzij anders bepaald is een persoon alleen strafrechtelijk aansprakelijk en strafbaar
    ter zake van een misdrijf waarover het Hof rechtsmacht bezit, indien de materiële
    bestanddelen begaan zijn met opzet en wetenschap.
2. Voor de toepassing van dit artikel handelt een persoon met opzet indien:
    a. die persoon met betrekking tot gedragingen, de bedoeling heeft tot de gedragingen
          over te gaan;
    b. die persoon met betrekking tot een gevolg, de bedoeling heeft dat gevolg teweeg
          te brengen of zich ervan bewust is dat het gevolg zich bij een normale gang van 		
          zaken zal voordoen.
3. Voor de toepassing van dit artikel betekent ‘wetenschap’ het zich ervan bewust zijn dat
    een omstandigheid bestaat of dat een gevolg zich bij een normale gang van zaken zal
    voordoen. ‘Wetenschap hebben’ en ‘welbewust’ worden dienovereenkomstig uitgelegd.
De kernvraag is of dit artikel zo kan worden geïnterpreteerd dat het dolus eventualis,
voorwaardelijk opzet, omvat, dat wil zeggen die situaties waarin een commandant niet
de directe opzet had om oorlogsmisdrijven te plegen, maar wel het risico nam dat dit
het gevolg zou zijn van zijn of haar handelen. De literatuur is verdeeld over deze kwestie
en de jurisprudentie van het Internationaal Strafhof is niet eenduidig.46 Wel is het de
overheersende wetenschappelijke opinie en richting van de rechtspraak van het Hof dat
artikel 30 dolus eventualis uitsluit. In dit geval zou er een accountability gap ontstaan.
Maar dit is dus een kwestie van interpretatie en het is in principe wel mogelijk om, in
navolging van alle nationale rechtssystemen, ook in de context van het Internationaal
Strafhof het concept van dolus eventualis expliciet te accepteren. In ieder geval is van
belang op te merken dat op nationaal niveau een dergelijke accountability gap niet
bestaat, nu ieder nationaal rechtsstelsel wel een vorm van dolus eventualis kent waarbij
aansprakelijkheid ontstaat in gevallen waar opzet ontbreekt maar waarbij het misdrijf wel
voorzienbaar was. Ook hier wijst de AIV/CAVV op het feit dat in de praktijk de bedoeling
over te gaan tot strafbare gedragingen (zoals hierboven beschreven onder risicovolle
inzet van autonome wapens), lastiger te bewijzen is, terwijl het bewustzijn dat mogelijke
consequenties uit bepaalde handelingen volgen, makkelijker te bewijzen is.
Aan het criterium van de voorzienbaarheid of het aanvaarden van een aanmerkelijke kans
kan in concrete situaties bijvoorbeeld worden voldaan als een commandant een bepaald
autonoom wapensysteem inzet in een andere situatie dan waarvoor het wapen oorspronkelijk
ontwikkeld is. Daarnaast kan de commandant de aanmerkelijke kans aanvaarden dat de inzet
van autonome wapensystemen leidt tot het plegen van oorlogsmisdrijven indien deze worden
bediend door niet voldoende getrainde bedienaars en operators.47
46 Zie voor een overzicht E. van Sliedregt, Individual criminal responsibility in international law, OUP,
    2012, pp. 45-48. Zie ook Concurring Opinion of Judge Christine Van den Wyngaert to the Ngudjolo Chui
    Judgement, Case No. ICC-01/04-02/12, 18 December 2012, paras. 36-38, waarin de conflicterende
    interpretaties op dit punt van verschillende kamers van het Strafhof uiteen worden gezet.
47 Analoog aan een bevinding van de Ethiopia-Eritrea Claims Commission die de staat Eritrea aansprakelijk
    hield voor het bombarderen van Mekele luchthaven in strijd met Artikel 57(2)(a)(ii) van Aanvullend
    Protocol I vanwege het gebruik van onervaren piloten (‘utterly inexperienced’), EECC, Partial Award,
    Central Front, Ethiopia’s Claim 2, 28 april 2004, RIAA, Vol. XXVI, part V, zoals geciteerd door M. Roscini,
    Cyberoperations and the Use of Force in International Law, OUP, 2014, p. 235.
                                                       30
</pre>

====================================================================== Einde pagina 31 =================================================================

<br><br>====================================================================== Pagina 32 ======================================================================

<pre>Op basis van bovenstaande redenering en meer specifiek de toepassing van het
voorwaardelijk opzet-vereiste is het goed voorstelbaar dat commandanten terughoudend
zullen zijn in het gebruik van zeer complexe autonome wapens omdat mogelijk niet kan
worden voorzien hoe dit wapen zal reageren op de situatie en omstandigheden waarin het
wordt ingezet en eventuele inzet derhalve kan leiden tot aansprakelijkheid.48
Command responsibility
De aansprakelijkheid van militaire commandanten of andere meerderen op basis van
het leerstuk van de command responsibility wordt veel genoemd in analyses betreffende
aansprakelijkheidsvragen en autonome wapensystemen.
Aansprakelijkheid van militaire commandanten voor internationale misdrijven begaan
door ondergeschikten (i) onder diens bevel of gezag en leiding kan ontstaan indien (ii) die
militaire commandant kennis had van het feit dat de strijdkrachten deze misdrijven begingen
of op het punt stonden deze te begaan, dan wel wegens de omstandigheden op dat moment
kennis daarvan had dienen te hebben; en (iii) die militaire commandant of persoon naliet
alle noodzakelijke en redelijke maatregelen te treffen die binnen zijn macht lagen om het
begaan daarvan te verhinderen of te beperken of de zaak voor te leggen aan de bevoegde
autoriteiten voor onderzoek en vervolging.
Aansprakelijkheid voor andere (civiele en politieke) verantwoordelijken kan ook ontstaan, zij
het onder scherpere voorwaarden. Dit volgt uit Artikel 28 van het Statuut van Rome inzake
het Internationaal Strafhof zoals geïmplementeerd in de Wet Internationale Misdrijven
(WIM). Een wapensysteem met autonoom kritische functies kan niet als ondergeschikte
worden aangemerkt en een commandant kan niet via deze aansprakelijkheidsconstructie
aansprakelijk worden gehouden voor concrete aanvallen uitgevoerd door de autonome
wapensystemen.49 Het leerstuk van de command responsibility is een mechanisme
ontwikkeld om meerderen te bestraffen voor hun omissie om misdrijven begaan door
ondergeschikten te voorkomen of te bestraffen. Het is duidelijk ontwikkeld voor een mens-
mens relatie, aangezien in een mens-machine relatie de ‘meerdere’ niet aansprakelijk kan
worden gehouden voor de omissie om de machine te bestraffen.
Echter in de situatie waarin een commandant leiding geeft aan een menselijke ondergeschikte
en wist of had moeten weten dat de ondergeschikte de autonome wapensystemen gebruikte
om internationale misdrijven te begaan, kan de commandant wel aansprakelijk worden
gehouden. Een probleem in deze situatie kan wellicht ontstaan indien de expertise van de
bedienaar(s) de expertise van de commandant in hoge mate overtreft. Ook hier is van belang
dat de artikel 36-procedure zo wordt ingericht dat een commandant zijn verantwoordelijkheden
op juiste wijze kan dragen en hieraan adequate invulling kan geven.
Onvoorzienbaar onrechtmatig optreden door middel van autonome wapens
Tot slot bestaat er het scenario dat een autonoom wapen in overeenstemming met
internationaal (humanitair) recht is geprogrammeerd en wordt ingezet en dat het wapen
vervolgens toch bestaande regels van internationaal recht schendt, bijvoorbeeld omdat
het wapen gehackt is of er een technische storing is. In feite verschilt dit scenario niet
fundamenteel van situaties die kunnen ontstaan met wapens zonder autonome kritische
functies. Wel is het zo dat de kans op storingen zal toenemen bij de ontwikkeling van
48 M. Roorda, NATO’s targeting process: Ensuring human control over and lawful use of ‘autonomous’
    weapons, ACIL Research Paper No. 2015-06, p. 14.
49 Human Rights Watch, Mind the Gap: The Lack of Accountability for Killer Robots, April 2015, pp. 20-25.
                                                   31
</pre>

====================================================================== Einde pagina 32 =================================================================

<br><br>====================================================================== Pagina 33 ======================================================================

<pre>steeds complexere wapensystemen. Bovendien wordt het risico op storingen groter
naarmate meer systemen gekoppeld worden, waarbij het niet meer mogelijk is uitputtend
te testen of zekerheid en voorzienbaarheid van functioneren te verkrijgen is op grond van
mathematische berekeningen. Indien significante risico’s op storingen bestaan zal de inzet
van autonome wapensystemen kunnen vallen onder het voorwaardelijke opzet-criterium,
namelijk dat een commandant de aanmerkelijke kans aanvaardt dat het wapensysteem
disfunctioneert met ernstige schending van het humanitair oorlogsrecht als gevolg.
III.4     Aansprakelijkheid van staten
Aansprakelijkheid heeft niet alleen betrekking op mogelijke strafrechtelijke handelingen
van politieke of militaire leiders. Ook de staat zelf kan juridisch worden aangesproken
wanneer autonome wapens onrechtmatig worden ingezet door staatsorganen of door
individuen wier gedrag aan de staat kan worden toegerekend. Op het internationale
niveau wordt dit gereguleerd door het leerstuk van de staatsaansprakelijkheid.50 Via
civiele rechters op het nationale niveau kunnen staten op grond van het leerstuk van de
onrechtmatige daad worden aangesproken.
Staatsaansprakelijkheid in het internationale recht
Traditioneel heeft staatsaansprakelijkheid betrekking op relaties tussen staten. Een
getroffen staat kan de aansprakelijkheid van een andere staat inroepen via diplomatieke
kanalen of, wanneer er een rechtsgang openstaat, via een juridische procedure.
Bij de aansprakelijkheid van staten speelt de zogenoemde zorgplicht een belangrijke rol.
Staten dienen zich voldoende in te spannen om te voorkomen dat de inzet van autonome
wapens leidt tot (mogelijke) schendingen van het internationaal recht. Zo dienen staten zich
ervan te vergewissen dat autonome wapens worden betrokken bij betrouwbare producenten,
dat wapens voldoende worden getest voor ingebruikname en dat commandanten voldoende
training en voorlichting krijgen over de werking en risico’s van autonome wapens. Staten
dienen ervoor te zorgen dat commandanten een dusdanig goed inzicht hebben in het
functioneren van het wapen dat de afweging tot inzet op zorgvuldige wijze gemaakt wordt
en de implicaties van het gebruik van het wapen goed kunnen worden ingeschat. Wanneer
staten zich hebben onttrokken aan deze inspanningsverplichtingen, zijn zij daarvoor
aansprakelijk onder het internationaal recht. In dit kader kan met name gewezen worden op
artikel 36 van het Eerste Aanvullende Protocol, zoals eerder besproken in hoofdstuk II.
Civielrechtelijke aansprakelijkheid onder het nationale recht
Voor individuele slachtoffers zal het in de praktijk vaak moeilijker blijken om staten
daadwerkelijk juridisch aan te spreken. Nationale civielrechtelijke procedures bieden niet
altijd uitkomst voor individuen die het slachtoffer zijn van handelingen door een staat.
Dit is echter een algemeen probleem en niet iets dat alleen speelt bij de mogelijke inzet
van autonome wapens. Vragen die zich zullen voordoen, zijn bijvoorbeeld: Welke rechter
is bevoegd om van een schadeclaim kennis te nemen? Kan een staat zich beroepen op
immuniteit? Hoe kan een eventueel voor de eisende partij gunstig vonnis ten uitvoer
worden gelegd? De beantwoording van deze vragen is uitermate gecompliceerd wanneer
eisende en gedaagde partij niet aan eenzelfde rechtssysteem zijn onderworpen, een
situatie die bij het gebruik van autonome wapens zeer waarschijnlijk is.
50 Regel 149 van de ICRC gewoonterechtstudie geeft aan dat een staat in ieder geval aansprakelijk is voor
    schendingen van het humanitair recht: (a) committed by its organs, including its armed forces;
    (b) committed by persons or entities it empowered to exercise elements of governmental authority;
    (c) committed by persons or groups acting in fact on its instructions, or under its direction or control;
    (d) committed by private persons or groups which it acknowledges and adopts as its own conduct.
                                                      32
</pre>

====================================================================== Einde pagina 33 =================================================================

<br><br>====================================================================== Pagina 34 ======================================================================

<pre>IV        Betekenisvolle menselijke controle
IV.1      Een omschrijving
Het concept betekenisvolle menselijke controle over wapens speelt een centrale rol in de
discussie over de aanvaardbaarheid van autonome wapens. Er is nog geen internationaal
overeengekomen definitie van betekenisvolle menselijke controle, maar zowel voor- als
tegenstanders van toenemende autonomie in wapensystemen erkennen dat een zekere
mate van menselijke controle een belangrijke rol speelt voor de maatschappelijke acceptatie
van wapensystemen die zelf doelen selecteren en aanvallen. In de huidige praktijk van
geweldstoepassing wordt algemeen verwacht dat de mens een zekere mate van controle
uitoefent over wie of wat wordt aangevallen (personen of objecten), wanneer (moment en
duur van de aanval), waar (locatie van de aanval), waarom (reden voor selectie of aanval)
en hoe (proces).51 Menselijke controle kan een waarborg zijn voor ethische en morele
afwegingen in het besluitvormingsproces dat leidt tot (dodelijke) geweldstoepassing. Ook
kan verantwoordelijkheid en aansprakelijkheid aan individuen worden toegewezen, als
mensen controle hebben over autonome wapens. Het concept van betekenisvolle menselijke
controle heeft dan ook betrekking op aansprakelijkheid (accountability), ethische en morele
afwegingen (moral responsibility) en controle (controllability).52 Het aspect aansprakelijkheid
is in het vorige hoofdstuk aan de orde geweest. Ethische aspecten komen in het volgende
hoofdstuk aan bod. Dit hoofdstuk beoogt een bijdrage te leveren aan de internationale
discussie over de definitie van het concept betekenisvolle menselijke controle.
Niet elke vorm van menselijke controle is betekenisvol, adequaat of voldoende. Als deze
controle niet meer zou inhouden dan dat een bedienaar van een wapensysteem alleen
maar op een knop hoeft te drukken als een lampje gaat branden, zonder enige andere
informatie, dan is in ieder geval geen sprake van betekenisvolle menselijke controle.
Dat betekent niet dat mensen altijd over volledige informatie kunnen beschikken. Dat
zou voorbijgaan aan de realiteit van oorlogvoering en het gebruik van wapens die al
decennia worden geaccepteerd. Toch zou volgens het International Committee for Robotic
Arms Control (ICRAC) een commandant moeten beschikken over: ‘full contextual and
situational awareness of the target area and be able to perceive and react to any change or
unanticipated situations that may have arisen since planning the attack.’ en stelt voorts:
‘There must be a means for the rapid suspension or abortion of the attack’.53 De mens
heeft evenwel wapens gebruikt zonder perfecte, real-time situational awareness van het
doel(gebied) sinds de uitvinding van de katapult. Pas sinds de toepassing van moderne,
geavanceerde wapens bestaat soms de mogelijkheid dat tijdens de vlucht van een
projectiel de doelselectie wordt aangepast of de aanval wordt afgebroken.54
Waarover moet de mens dan wel controle hebben: over alle functies van wapensystemen,
alleen over de kritische functies van wapensystemen of moet een mens iedere individuele
51 M. Brehm, Meaningful human control, presentatie tijdens CCW, Genève, 14 april 2015.
52 M.C. Horowitz en P. Scharre, Meaningful human control in weapon systems: a primer, Center for a New
    American Security, working paper March 2015, p. 8.
53 Frank Sauer, ICRAC statement on technical issues to the 2014 UN CCW Expert Meeting, 14 mei 2014.
    Zie: <http://icrac.net/2014/05/icrac-statement-on-technical-issues-to-the-un-ccw-expert-meeting/>.
54 M.C. Horowitz en P. Scharre, Meaningful human control in weapon systems: a primer, Center for a New
    American Security, working paper March 2015, p. 9.
                                                    33
</pre>

====================================================================== Einde pagina 34 =================================================================

<br><br>====================================================================== Pagina 35 ======================================================================

<pre>aanval autoriseren? Voor de Britse NGO Article 36, de belangrijkste pleitbezorger van het
concept, gaat het om menselijke controle over individuele aanvallen.55 De AIV/CAVV acht het
zinvol om bij een beschouwing over betekenisvolle menselijke controle het targetingproces,
de wider loop, als uitgangspunt te nemen. De mens en zijn intentie om dodelijk geweld toe te
passen spelen hier immers een cruciale rol.
Naast betekenisvolle menselijke controle worden ook andere begrippen genoemd die kunnen
dienen als handvat om de ethische en juridische aspecten van de inzet van autonome
wapens te onderzoeken, met name judgment (oordeelsvorming) en voorspelbaarheid.56
In veel fasen van het ontwerpen en de aanschaf van autonome wapens en tijdens het
targetingproces worden besluiten genomen en wordt een oordeel geveld. Oordeelsvorming is
dan ook een essentieel element van betekenisvolle menselijke controle. Het gaat er immers
om dat een mens een oordeel velt over de vraag of de selectie van doelen en de aanval op
doelen in een gegeven context kunnen worden overgelaten aan een autonoom wapen. Als
een commandant besluit over de inzet van een autonoom wapen, dan betekent dit dat hij
een oordeel velt over de vraag of hij al dan niet afziet van verdere directe controle over de
kritische functies ‘selectie van’ en ‘aanval op’ doelen. Betekenisvolle menselijke controle
omvat zo altijd judgment, maar omgekeerd niet. Bovendien impliceert judgment wel overzicht,
maar geen controle.
Voorspelbaarheid is ook een aspect van het concept betekenisvolle menselijke controle.
Voorspelbaarheid speelt op verschillende manieren een rol. De voorspelbaarheid van het
gedrag van een autonoom wapen is van groot belang voor de commandant die over inzet
van het wapen moet besluiten en voor de militair die het wapen moet activeren, in de zin
dat een commandant en een militair kunnen voorzien wat mogelijk kan gebeuren, zonder te
kunnen voorspellen wat er precies zal gebeuren. Daarnaast is de voorspelbaarheid van de
context waarin de inzet van het wapen plaatsvindt van groot belang. In omgevingen waar zich
veel burgers of burgerobjecten bevinden is het risico groter dat deze (onverwacht) door de
uitwerking van het wapen worden getroffen. Naarmate de voorspelbaarheid van het wapen
en de omgeving groter zijn, is de afweging over inzet en activeren nauwkeuriger te maken.
Ook voorspelbaarheid als begrip is beperkter dan betekenisvolle menselijke controle.
De AIV/CAVV prefereert daarom het concept betekenisvolle menselijke controle boven de
begrippen judgment en voorspelbaarheid. Internationaal lijkt ook consensus te ontstaan
over het concept betekenisvolle menselijke controle als onderscheidend criterium tussen
aanvaardbare en onaanvaardbare autonome wapens.57 Ook dit is een reden om aan dit
concept veel aandacht te schenken in dit advies.
Het internationaal recht stelt grenzen aan het gebruik van geweld. Bovendien spelen
ethische overwegingen een rol bij geweldstoepassing. Het is en blijft de verantwoordelijkheid
55 Article 36, Key areas for debate on autonomous weapons systems, briefing paper, May 2014. Zie:
    <http://www.article36.org/wp-content/uploads/2014/05/A36-CCW-May-2014.pdf>. Geconsulteerd op
    30 juni 2015.
56 UNIDIR, The weaponization of increasingly autonomous technologies: considering how meaningful human
    control might move the discussion forward, UNIDIR resources no. 2, 2014, pp. 7-8.
57 C. Heyns, comments informal meeting of experts on lethal autonomous weapons, 16 April 2015. Zie:
    <http://www.unog.ch/80256EDD006B8954/%28httpAssets%29/1869331AFF45728BC1257E2D0050E
    FE0/$file/2015_LAWS_MX_Heyns_Transcript.pdf>. Geconsulteerd op 10 juli 2015.
                                                    34
</pre>

====================================================================== Einde pagina 35 =================================================================

<br><br>====================================================================== Pagina 36 ======================================================================

<pre>van mensen om te voldoen aan de eisen van het internationaal recht en ethische
normen bij de inzet van alle soorten wapens. Betekenisvolle menselijke controle moet de
mogelijkheid bieden de eisen van onderscheid, proportionaliteit en voorzorg na te leven. Of
aan deze eisen daadwerkelijk wordt voldaan, is afhankelijk van degenen die beslissen over
inzet van een autonoom wapen.
IV.2      Elementen van betekenisvolle menselijke controle
Betekenisvolle menselijke controle omvat (ten minste) de volgende drie elementen:58
• Mensen maken geïnformeerde, bewuste keuzes over het gebruik van wapens;
• Mensen hebben adequate informatie om te verzekeren dat het geweldsgebruik conform
     de eisen van het internationaal recht geschiedt, gegeven de kennis die zij hebben over
     het doel, over het wapen en over de context waarin de inzet van het wapen plaatsvindt;
• Het wapen is ontworpen en in een realistische operationele omgeving getest en
     mensen zijn voldoende getraind, om het wapen verantwoord te kunnen inzetten.
Deze elementen worden hieronder toegelicht. De AIV/CAVV onderschrijft de gevolgde
benadering.
Geïnformeerde, bewuste keuzes
Het besluit om een autonoom wapen in te zetten moet zijn genomen op basis van alle
benodigde relevante informatie en het moet weloverwogen zijn genomen. Het besluit mag
geen willekeurige beslissing zijn, maar in de praktijk zal een militair zelden over volledige
informatie beschikken. Geïnformeerde bewuste keuzes vereisen niet dat de commandant
of bedienaars van wapens de informatie zelf hebben verzameld. In de praktijk gaan
militairen vaak af op informatie van andere militairen. De informatie op basis waarvan
commandanten en bedienaars van moderne wapens beslissen om al dan niet geweld toe
te passen, is vaak afkomstig van sensoren en bewerkt door computers. Een piloot die een
raket afvuurt op een vijandelijk toestel, ziet het toestel vaak niet. Zijn instrumenten geven
hem echter voldoende informatie om een besluit te nemen in overeenstemming met het
internationaal recht en ethische beginselen.
In de vorige hoofdstukken is uiteengezet dat in elke specifieke situatie een afweging moet
worden gemaakt of inzet van een wapen te rechtvaardigen is in een gegeven context. Dat
is niet specifiek voor autonome wapens, dit geldt voor alle soorten wapens. Echter, omdat
autonome wapens op basis van de voorgeprogrammeerde soort doelen zelf in staat zijn
individuele doelen te selecteren en aan te vallen, krijgt het samenspel tussen mens en
machine een ander karakter. Een commandant heeft immers minder zicht op aanvallen op
individuele doelen en moet dus vooraf een juist oordeel vellen of het autonome wapen in
een gegeven situatie binnen de kaders van het internationaal recht zal blijven.
Adequate informatie: doel, wapen en context
Om te beoordelen of inzet van een wapen conform de eisen van het internationaal recht
mogelijk is, is kennis nodig over het doel, over het wapen en over de context. In hoofdstuk
II is het recht uiteengezet dat bepaalt welke doelen legitieme militaire doelen zijn.
Voorafgaand aan het besluit tot inzet van een autonoom wapen moet duidelijk zijn dat het
wapen legitieme militaire doelen zal aanvallen en dat eventuele nevenschade proportioneel
zal zijn. Waarneming op de grond door militairen kan daarbij een belangrijk middel zijn.
Militairen moeten weten hoe voorspelbaar en betrouwbaar het wapen opereert in de
58 M.C. Horowitz en P. Scharre, Meaningful human control in weapon systems: a primer, Center for a New
     American Security, working paper March 2015, p. 4.
                                                     35
</pre>

====================================================================== Einde pagina 36 =================================================================

<br><br>====================================================================== Pagina 37 ======================================================================

<pre>specifieke actuele omstandigheden, wat de (technische) beperkingen van het wapen zijn,
voor welke omgevingen het wapen geschikt is et cetera. Zij moeten immers beoordelen of
inzet in de gegeven situatie kan voldoen aan de eisen van onderscheid, proportionaliteit
en voorzorg. Daarnaast moeten militairen kennis hebben over de context, met name of
zich burgers bevinden in het inzetgebied en of er burgerobjecten zijn. Zij moeten begrijpen
hoe een autonoom wapen zich verhoudt tot de specifieke omgeving waarin het wapen
zal worden ingezet, om te kunnen beoordelen wat de effecten zullen zijn. In vergelijking
met wapens zonder autonome kritische functies vereist dat meer kennis en inzicht.
Dat is van groot belang voor een commandant die over inzet van een autonoom wapen
moet beslissen. Hij moet niet alleen weten of inzet kan voldoen aan de eisen van het
humanitair oorlogsrecht (zie hoofdstuk II) en ethisch verantwoord is, hij is ook persoonlijk
aansprakelijk (zie paragraaf III.3).
Bij inzet van een autonoom wapen moet het risico op burgerslachtoffers zo gering
mogelijk zijn. Dit risico wordt volgens de NGO Article 36 groter en de menselijke controle
over gevolgen van inzet kleiner, als die inzet plaatsvindt: (1) gedurende een langere
periode, (2) in een groter geografisch gebied, (3) terwijl de doelparameters globaler zijn
gedefinieerd en (4) in een gebied waarin meer personen en objecten aanwezig zijn die
mogelijk met de doelparameters overeenstemmen. De doelparameters en de algoritmes
in het wapensysteem moeten ervoor zorgen dat het juiste doel wordt aangevallen. Zo
zou bijvoorbeeld het risico bestaan dat een civiel object zoals een schoolbus wordt
aangevallen als een wapensysteem dat op basis van vorm en infraroodstraling zijn doel
kiest, wordt ingezet in een bevolkt gebied.59
Ontwerp van het wapen, testen en opleidingen
Bij het ontwerpen van autonome wapens moet het geheel van het samenspel tussen
mens en machine in ogenschouw worden genomen. Mens en machine vormen samen een
systeem. In de ontwerpfase moet (mede op ethische gronden) worden nagedacht over
de vraag welke functies van het systeem autonoom worden; het gaat daarbij met name
om de verdeling van bevoegdheden tussen mens en machine. De Delftse hoogleraar
Van den Hoven c.s. benadrukt het belang van Moral Responsible Engineering en merkt
op dat de toewijzing van verantwoordelijkheid een belangrijk aspect van het ontwerp is.
Vooral als complexe missies worden uitgevoerd gedurende een langere periode en daarbij
verschillende personen zijn betrokken, dan kan het immers moeilijk zijn achteraf na te
gaan wie verantwoordelijk was in het geval de missie leidt tot ongewenste uitkomsten,
zoals schendingen van het humanitair oorlogsrecht.60 De Canadese ingenieur en filosoof
Millar wijst op onderzoek waaruit blijkt dat het vermogen van mensen om ethische
beslissingen te nemen ernstig kan worden aangetast door ogenschijnlijk onbelangrijke
situationele factoren zoals omgevingsgeluid of een schone of smerige werkomgeving. Hij
bepleit nader onderzoek te doen naar de vragen of en hoe het ontwerp van autonome
wapens (met name de interface tussen machine en mens) kan bijdragen aan het
59 Article 36, Killing By Machines – Key Issues For Understanding Meaningful Human Control, April 2015.
60 M.J. van den Hoven, P.J. Robichaud, F. Santoni de Sio, Why the future needs us today, toespraak voor
    de CCW Meeting of Experts on Lethal Autonomous Weapons Systems 2015. Zie: <http://www.unog.ch
    /80256EDD006B8954/%28httpAssets%29/89116E298AE593C2C1257E2A00413D61/$file/2015_
    LAWS_MX_VanDenHoven.pdf>. Geconsulteerd op 19 juni 2015.
                                                     36
</pre>

====================================================================== Einde pagina 37 =================================================================

<br><br>====================================================================== Pagina 38 ======================================================================

<pre>ondermijnen of versterken van ethische besluitvorming door mensen.61
Een wapensysteem moet zo zijn ontworpen dat mensen tijdig relevante informatie
beschikbaar krijgen en deze moet overzichtelijk worden gepresenteerd, in die fasen van
het targetingproces waar een mens besluiten moet nemen. De filosoof Asaro ziet dit als
de kern van betekenisvolle menselijke controle. Hij stelt dat het niet voldoende is dat
een mens betrokken is bij de besluitvorming over de toepassing van dodelijk geweld,
maar dat deze persoon voldoende tijd moet hebben om na te denken, goed getraind en
geïnformeerd moet zijn en ter verantwoording moet kunnen worden geroepen.62
In procedures voor toetsing van wapens (conform artikel 36 van het Eerste Aanvullende
Protocol bij de Geneefse Verdragen) zou onder meer moeten worden nagegaan of de
mate waarin menselijke controle is ingebouwd in het ontwerp van het autonome wapen
voldoende waarborgen biedt voor de naleving van het internationaal recht. Autonome
wapens zullen uitgebreid moeten worden getest in een realistische omgeving. Uit testen
door de fabrikant en door potentiële afnemers moet blijken hoe het autonome wapen zich
gedraagt in verschillende omstandigheden en welke risico’s zijn verbonden aan hun inzet.
Deze tests kunnen waardevolle informatie opleveren voor commandanten die moeten
beslissen over de inzet van een autonoom wapen.
Als het internationaal recht wordt geschonden als gevolg van de inzet van een autonoom
wapen, dan wordt iemand aansprakelijk geacht. Immers, mensen hebben tijdens het
targetingproces besluiten genomen, bijvoorbeeld de beslissing genomen over de kaders
voor inzet van het wapen en besloten het wapen in te zetten. De vraag is of die personen
verwijtbaar hebben gehandeld. Onderzoek naar deze vraag veronderstelt dat duidelijk is
wie welke beslissing nam. Prof. Alston, UN Special Rapporteur on extrajudicial, summary
or arbitrary executions van 2004 tot 2010, merkt op dat het ontwerp van bestaande
onbemande wapens onderzoek achteraf naar onrechtmatig handelen niet ondersteunt,
omdat geen gegevens worden opgeslagen. Om te kunnen voldoen aan de verplichting van
staten om verantwoording af te kunnen leggen voor het gebruik van dodelijk geweld, zou
het ontwerp van elk onbemand systeem, ongeacht de mate van autonomie, onderzoek
naar onrechtmatig handelen moeten faciliteren. Autonome wapens kunnen worden
voorzien van een instrument dat data registreert en verzendt naar een database, zodat
achteraf onderzoek kan worden gedaan naar de oorzaken van eventueel falen of mogelijke
schendingen van het internationaal recht.63
Commandanten en militairen die het wapen bedienen, moeten zodanig zijn opgeleid dat
ze kunnen beoordelen of inzet voldoet aan de eisen van onderscheid, proportionaliteit en
voorzorg. Als nieuwe wapens worden aangeschaft, dan moet militair personeel niet alleen
61 J. Millar, expert testimony to the informal meeting of experts on lethal autonomous weapons systems,
    Geneva, April 15, 2015. Zie: <http://www.unog.ch/80256EDD006B8954/%28httpAssets%29/F483
    D421E67D230FC1257E2F0033E690/$file/Jason+Millar+-+Meaningful+Human+Control+and+Dual-
    Use+Technology.pdf>. Geconsulteerd op 26 juni 2015.
62 P. Asaro, On banning autonomous weapon systems: human rights, automation, and the dehumanization
    of lethal decision-making, International Review of the Red Cross, Vol. 94, No. 886, Summer 2012,
    p. 695.
63 P. Alston, Lethal Robotic Technologies: The Implications for Human Rights and International
    Humanitarian Law. Journal of Law, Information, and Science (2012), Vol. 21, issue 2, p. 52.
                                                      37
</pre>

====================================================================== Einde pagina 38 =================================================================

<br><br>====================================================================== Pagina 39 ======================================================================

<pre>worden opgeleid en getraind in het gebruik van het wapen, maar ook leren begrijpen hoe
het wapen zal functioneren en in welke situaties en omstandigheden het kan worden
ingezet binnen de grenzen die het internationaal recht stelt. Ook ethische vorming is een
wezenlijk aspect van de opleiding en training van militairen op alle niveaus.
IV.3      Betekenisvolle menselijke controle tijdens het targetingproces
Gedurende het targetingproces krijgt betekenisvolle menselijke controle op verschillende
momenten inhoud (zie ook het schema ‘Targetingproces en humanitair oorlogsrecht’
in bijlage II). Er zijn immers diverse momenten waarop mensen beslissingen nemen
over (de kaders voor) de toepassing van geweld, zoals bij de vaststelling van de
rules of engagement, bij de beslissing om een autonoom wapen in te zetten en bij de
programmering van (categorieën) doelen. Bij de inzet van een autonoom wapen worden
de selectie van het – vooraf geprogrammeerde soort – doel en de aanval op het doel,
overgelaten aan het wapen. Dat er verschillende momenten zijn waarop besluiten worden
genomen om geweld tegen een doel te gebruiken, impliceert dat de aansprakelijkheid
meestal ligt bij verscheidene personen. Bijvoorbeeld een commandant die besluit over
inzet van een wapen en de militair die het wapen activeert, kunnen beide aansprakelijk
zijn, zoals in hoofdstuk III is toegelicht. Ook kan een commandant aansprakelijk zijn voor
schending van het oorlogsrecht door ondergeschikten, als de commandant aantoonbaar
tekort schoot in het toezicht op zijn ondergeschikten.
Tijdens het targetingproces worden diverse besluiten genomen waarmee de risico’s van
inzet van een autonoom wapen kunnen worden ingeperkt.64 Het gaat onder meer om
de specifieke taken die het wapen zelfstandig kan uitvoeren, de omgevingen waarin het
opereert, de tijdsduur van inzet, het geografische bereik en de mobiliteit van het wapen.
Taken kunnen offensief of defensief zijn en de categorie potentiële doelen kan meer of
minder specifiek zijn gedefinieerd. Omgevingen kunnen zeer voorspelbaar zijn of juist
dynamisch en complex, zoals een stad. Verder maakt het verschil of het wapen vast
gemonteerd is, bijvoorbeeld op een schip, of zich zelfstandig kan verplaatsen. In het
laatste geval kan het geografische bereik kleiner of groter zijn gedefinieerd. Naarmate de
taken meer beperkt zijn, de omgeving minder dynamisch, de tijdsduur van inzet korter en
het wapen niet of weinig mobiel is, zijn de effecten van inzet van het autonome systeem
beter te voorzien. In die zin is de menselijke controle dan ook groter. Omgekeerd zal een
complexer systeem dat zich gedurende langere tijd in een snel veranderende omgeving
verplaatst, een groter risico inhouden op onverwachte en onvoorzienbare uitkomsten. Het
uitoefenen van menselijke controle is dan moeilijker.
Na de aanval op een doel moet worden vastgesteld wat de effecten van de aanval zijn; is
het beoogde effect bereikt? Dit is de laatste fase van het targetingproces. Terugkoppeling
van de effecten van een aanval aan een commandocentrum, waar mensen de verrichtingen
van autonome wapens volgen, is van belang voor het versterken van de betekenisvolle
menselijke controle.
64 N. Davison, Characteristics of autonomous weapon systems, CCW Meeting of Experts, 14 April 2015. Zie:
    <http://www.unog.ch/80256EDD006B8954/%28httpAssets%29/37D5012BBF52C7BBC1257E2700599
    465/$file/Characteristics+of+AWS+ICRC+speaking+points+14+Apr+2015.pdf>. Geconsulteerd op
    19 mei 2015.
                                                  38
</pre>

====================================================================== Einde pagina 39 =================================================================

<br><br>====================================================================== Pagina 40 ======================================================================

<pre>IV.4      De (verre) toekomst
In hoofdstuk I is opgemerkt dat de technologische ontwikkelingen op langere termijn
zouden kunnen leiden tot algemene kunstmatige intelligentie (die gelijk staat aan
het niveau van de mens) en kunstmatige superintelligentie die de intelligentie van
mensen overstijgt. De mens is niet meer in staat te doorgronden wat een machine met
superintelligentie kan doen en wat de gevolgen zijn van de acties van die machine voor
mensen. De ontwikkelingen in kunstmatige intelligentie gaan snel en het is denkbaar dat
autonome wapens in de toekomst zelfstandig zullen kunnen leren, waarbij ze hun eigen
gedragsregels aanpassen op basis van hun ‘ervaringen’.65 Als de mens niet meer kan
voorzien welk gedrag het autonome wapen zal vertonen, dan is geen sprake meer van
betekenisvolle menselijke controle. Er is alleen sprake van controle als een mens kan
voorzien hoe een autonoom wapen zich kan gedragen in een bepaalde situatie en achteraf
het gedrag van het autonome wapen kan verklaren, op grond van de kennis die de mens
heeft over de wijze waarop het autonome wapen functioneert. Als het gedrag van het
autonome wapen onzeker is, dan rijst de vraag of een commandant nog een verantwoorde
beslissing kan nemen over de inzet van het autonome wapen. Hij heeft dan immers
onvoldoende zekerheid dat het humanitair oorlogsrecht niet zal worden geschonden.
Zo stellen onder andere Krishnan (senior docent Veiligheidsstudies aan de East Carolina
University)66, Anderson (hoogleraar internationaal recht aan het Washington College of
Law, American University) en Waxman (hoogleraar recht aan de Columbia Law School) dat
de technologische ontwikkelingen op het gebied van autonome systemen incrementeel
zijn. Het is waarschijnlijk dat de betrokkenheid van de mens bij het selecteren van doelen
en het aanvallen van doelen langzamerhand zal eroderen als gevolg van ontwikkelingen
in wapentechnologie.67 De AIV/CAVV acht het niet uitgesloten dat op de lange termijn
betekenisvolle menselijke controle ten dele of grotendeels verloren kan gaan als gevolg
van technologische ontwikkelingen (vooral op het gebied van kunstmatige intelligentie):
indien autonome wapens lerend vermogen zouden hebben en de geprogrammeerde
gedragsregels zelfstandig kunnen wijzigen, bijvoorbeeld naar aanleiding van ervaringen
of veranderingen in de omgeving. Een andere mogelijkheid is dat de commandovoering
(deels) zou worden overgenomen door computers, die in staat zouden zijn autonome
wapens onbedoeld te activeren. Daarnaast zou de complexiteit van autonome systemen
ertoe kunnen leiden dat menselijke controle ten dele of grotendeels verloren gaat. Het
is niet te voorspellen of de technologie dan methoden zal bieden om te waarborgen dat
autonome wapens conform de normen van het internationaal recht en ethische beginselen
blijven functioneren.
Zoals aangegeven in hoofdstuk I acht de AIV/CAVV het onwaarschijnlijk dat de komende
decennia volledig autonome wapens worden ontwikkeld met het oogmerk om zonder enige
menselijke controle te functioneren. Dan zou immers sprake zijn van wapens die zodanig
geprogrammeerd zijn dat ze het gehele targetingproces zelfstandig uitvoeren, vanaf het
65 Zie: Rise of the machines, in: Economist, May 9th, pp. 17-20.
66 A. Krishnan, Killer Robots, Legality and Ethicality of Autonomous Weapons, 2009; Zie ook Robo-Wars, The
    Regulation of Robotic Weapons, Oxford Martin Policy Paper, 2014.
67 K. Anderson en M.C. Waxman, Law and Ethics for Autonomous Weapon Systems: Why a Ban Won’t Work
    and How the Laws of War Can. Zie: <http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2250126.
    pdf>. Geconsulteerd op 19 juni 2015, p. 19.
                                                       39
</pre>

====================================================================== Einde pagina 40 =================================================================

<br><br>====================================================================== Pagina 41 ======================================================================

<pre>formuleren van het te realiseren militaire doel tot en met het bepalen van de plaats en tijd
van inzet. De AIV/CAVV acht het niet waarschijnlijk dat een staat een dergelijk wapen zou
willen (laten) ontwikkelen, nog afgezien van de vraag of dit technisch mogelijk is.
Regelgeving?
De AIV/CAVV is van mening dat er nu geen noodzaak is voor extra of nieuwe regelgeving
met betrekking tot het concept van betekenisvolle menselijke controle. Het concept
kan worden gezien als een standaard die afgeleid kan worden uit bestaande regelgeving
en gebruiken (zoals het targetingproces). Het hoeft geen nieuwe norm te worden in het
internationaal recht. Het concept kan wel dienen als handvat voor analyse tijdens toetsing
conform artikel 36 van het Eerste Aanvullende Protocol bij de Geneefse Verdragen.
Daarnaast kan het concept – zoals eerder genoemd – dienen als toetssteen bij het ontwerp
van autonome wapensystemen en speelt het een cruciale rol bij de daadwerkelijke inzet van
deze wapensystemen.
Een interpretative guide zou een interpretatie van het bestaande recht bij inzet van
autonome wapens kunnen geven. De totstandkoming van een dergelijk document zou
wellicht ook de vorming van consensus over het concept betekenisvolle menselijke
controle kunnen bevorderen. In dit document zouden – voor zover de classificatie van
nationale systemen en procedures dit toelaat – bijvoorbeeld best practices kunnen worden
opgenomen over onder meer de rol van betekenisvolle menselijke controle in artikel 36
procedures en bij de inzet van autonome wapens. Deze gids zou een voorlichtende en
educatieve functie kunnen vervullen en zou wellicht in het kader van de CCW tot stand
kunnen komen.
                                              40
</pre>

====================================================================== Einde pagina 41 =================================================================

<br><br>====================================================================== Pagina 42 ======================================================================

<pre>V         Ethiek en autonome wapens
Het (internationaal) recht is gebaseerd op ethische beginselen, maar ethische beginselen
zijn breder dan het recht. Als het recht een handeling toelaat, wil dat niet zeggen dat men
dat in alle gevallen zou moeten doen. Bovendien voorziet het recht niet in elke situatie.
Waar het recht lacunes kent, kan men terugvallen op ethische beginselen om tot een
oordeel te komen.
De menselijke waardigheid is een ethisch beginsel dat een rol speelt in de discussie
over autonome wapens, omdat het ten grondslag ligt aan de mensenrechten en aan het
humanitair oorlogsrecht. De menselijke waardigheid wordt genoemd in de preambules van
het Handvest van de Verenigde Naties, van de Universele Verklaring van de Rechten van
de Mens, van het Internationaal Verdrag inzake Burgerrechten en Politieke rechten en van
het Internationaal Verdrag inzake Economische, Sociale en Culturele Rechten. In de laatste
twee wordt de menselijke waardigheid als bron van mensenrechten aangeduid. Verder is
de menselijke waardigheid in de grondwet van sommige landen genoemd. Zo stelt artikel
1 lid 1 van de Duitse grondwet dat de menselijke waardigheid onaantastbaar is en dit
artikel draagt de overheid op deze te beschermen.68 Ook het humanitair oorlogsrecht
weerspiegelt de menselijke waardigheid. Dit recht is immers te zien als een afweging
tussen militaire noodzaak en bescherming van de menselijke waardigheid.
In zijn rapport aan de Mensenrechtenraad van 9 april 2013 stelt de Special Rapporteur
on extrajudicial, summary or arbitrary executions, prof. Heyns, de vraag of de menselijke
waardigheid wordt aangetast als mensen worden gedood door een machine. Diverse
NGO’s, zoals de NGO’s die verenigd zijn in de campagne Stop Killer Robots, menen dat
een morele grens wordt overschreden als machines kunnen beslissen over leven en dood.
Heyns vraagt zich af of het niet inherent verkeerd is de beslissing over leven en dood
over te laten aan machines, zelfs als deze machines functioneren binnen de kaders van
het internationaal recht en machines aantoonbaar minder slachtoffers zullen maken dan
mensen. Als dat inherent verkeerd zou zijn, dan kan naar zijn mening geen enkel argument
de ontplooiing van autonome wapens rechtvaardigen.69 Heyns riep in april 2013 ook
op tot een moratorium en adviseert de Hoge Commissaris voor de Mensenrechten een
multidisciplinair panel in te stellen dat onder andere de stand van zaken ten aanzien van
de technologie moet inventariseren en de juridische, ethische en beleidsmatige vragen
moet evalueren.70 De Mensenrechtenraad nam met waardering kennis van het rapport.71
Sindsdien wordt de discussie over autonome wapens binnen de VN vooral gevoerd in de
68 Artikel 1 lid 1 luidt: Die Würde des Menschen ist unantastbar. Sie zu achten und zu schützen ist
    Verpflichtung aller staatlichen Gewalt.
69 Report of the Special Rapporteur on extrajudicial, summary and arbitrary executions on lethal
    autonomous robotics and the protection of life, A/HRC/23/47, 9 April 2013, paragrafen 92 en 93.
70 Ibid, paragraaf 114.
71 Zie: Mandate of the Special Rapporteur on extrajudicial, summary and arbitrary executions, paragraaf 5,
    A/HRC/RES/26/12.
                                                      41
</pre>

====================================================================== Einde pagina 42 =================================================================

<br><br>====================================================================== Pagina 43 ======================================================================

<pre>CCW. Ook binnen de NAVO wordt over dit onderwerp van gedachten gewisseld.72
Heyns meent dat de menselijke waardigheid in het geding is als betekenisvolle menselijke
controle over het gebruik van geweld ontbreekt. Tijdens de informele bijeenkomst
van experts over autonome wapens in het kader van de CCW in april 2015 bepleitte
Heyns het belang van betekenisvolle menselijke controle over het gebruik van geweld,
tijdens een gewapend conflict of tijdens rechtshandhaving, of het geweld nu dodelijk
is of niet.73 Het humanitair oorlogsrecht bepaalt of een aanval rechtmatig is, maar dit
recht veronderstelt volgens Heyns dat een mens beslist om een legitieme aanval uit te
voeren, dan wel daarvan af te zien. De mogelijkheid dat machines in de toekomst de
normen van het humanitair oorlogsrecht beter zullen naleven dan mensen, is naar zijn
mening geen afdoende reden om de besluitvorming aan machines over te laten (zonder
menselijke betrokkenheid). Het vraagstuk van de menselijke waardigheid ontstaat naar
zijn mening als mensen geen deel meer uitmaken van de besluitvorming over leven en
dood. Hij wijst volledig autonome wapens, wapens zonder betekenisvolle menselijke
controle, daarom af, ook als de inzet ervan levens zou sparen.74 Bovendien stelt hij dat
aansprakelijkheid moeilijk kan worden toegewezen zonder betekenisvolle menselijke
controle. Dit beschouwt hij als een additionele schending van het recht op leven. Hij
verwijst ook naar het standpunt dat bij inzet van een autonoom wapen in een duidelijk
gedefinieerd en geprogrammeerd geografisch gebied (en gedurende een beperkte tijd),
men zou kunnen zeggen dat de afweging van militaire noodzaak en proportionaliteit is
gemaakt door de degene die het wapen programmeerde. In die zin zou dan sprake zijn van
menselijke controle. Heyns ziet in deze benadering een mogelijke invulling van het concept
betekenisvolle menselijke controle. Daarom is het naar zijn mening van groot belang het
concept verder te ontwikkelen en acht hij voortgaande discussies over dit onderwerp in
CCW-verband van groot belang.75
In hoofdstuk II is de Martens clausule aangehaald, die verwijst naar de beginselen van het
volkenrecht die voortvloeien uit de gevestigde gebruiken, de beginselen van menselijkheid
en de eisen van het openbare rechtsbewustzijn, in situaties die niet geregeld zijn in
internationale overeenkomsten. Hoewel er geen algemeen geaccepteerde interpretatie
van de Martens clausule is,76 is wel naar deze clausule verwezen bij het formuleren van
het verbod van gifgas, het verbod op verblindende laserwapens en het verbod op anti-
personeelmijnen. Een mogelijke interpretatie van de Martens clausule is dat niet alles is
toegestaan, wat niet is verboden.77 Immers, ook ethische argumenten, die (nog) niet in
72 Zie bijvoorbeeld: NATO Headquarters Supreme Allied Commander Transformation, Autonomous Systems,
    issues for defence policymakers, Den Haag, 2015 en NATO Headquarters Supreme Allied Commander
    Transformation, Norfolk, United States, 29 October 2014.
73 C. Heyns, comments informal meeting of experts on lethal autonomous weapons, 16 April 2015, p. 2. Zie:
    <http://www.unog.ch/80256EDD006B8954/%28httpAssets%29/1869331AFF45728BC1257E2D0050EFE
    0/$file/2015_LAWS_MX_Heyns_Transcript.pdf>. Geconsulteerd op 10 juli 2015.
74 Ibid, p. 9.
75 Ibid. p. 2.
76 R. Ticehurst, The Martens clause and the laws of armed conflict, International Review of the Red Cross,
    No. 317.
77 UNIDIR, The weaponization of increasingly autonomous technologies, considering ethics and social values,
    UNIDIR resources No. 3, Geneva 2015, p. 6.
                                                      42
</pre>

====================================================================== Einde pagina 43 =================================================================

<br><br>====================================================================== Pagina 44 ======================================================================

<pre>het recht zijn weerspiegeld, kunnen een rol spelen. Het is echter lastig te bepalen wat de
inhoud is van het openbare rechtsbewustzijn waarnaar de Martens clausule verwijst. Dat
hangt immers mede af van de culturele en juridische context en waardesystemen.78 Mogelijk
kan de inhoud van het openbare rechtsbewustzijn (ten dele) worden gevonden in de publieke
opinie, zorgen van internationale bewegingen of in de articulatie van een bepaald principe,
zoals betekenisvolle menselijke controle.79 Tijdens de CCW-bijeenkomst in april 2015 wezen
sommige sprekers op het probleem van het betrouwbaar meten van de publieke opinie.80
Aangezien er geen overeenstemming bestaat over de interpretatie van de Martens clausule,
is deze clausule moeilijk te hanteren in de discussie over autonome wapens.
In het kader van de discussie over ethiek en autonome wapens stelt hoogleraar computer-
wetenschappen R.C. Arkin dat het in de toekomst mogelijk zal zijn autonome wapens een
ethisch bewustzijn mee te geven, dat ervoor zorgt dat deze wapens functioneren conform
het internationaal recht en ethische grondslagen. Een ingebouwde ethical governor in
een autonoom wapensysteem zou dan menselijke besluiten niet mogen uitvoeren als
daardoor het humanitair oorlogsrecht zou worden geschonden.81 Arkin erkent dat ethisch
geprogrammeerde volledig autonome wapens niet perfect ethisch zullen functioneren,
maar wel meent hij dat deze wapens ethischer kunnen functioneren dan mensen.82 Hij
meent zelfs dat verwacht mag worden dat autonome wapens in de toekomst het humanitair
oorlogsrecht beter zullen kunnen naleven dan mensen. Hij voert daartoe onder andere
aan dat autonome wapens geen vijandelijke combattanten hoeven te doden of verwonden
uit zelfverdediging, dat ze uitgerust kunnen worden met sensoren die beter functioneren
dan menselijke zintuigen, dat ze geen emoties kennen (zoals wraak of woede) en meer
informatie sneller kunnen verwerken dan mensen. Bovendien blijken militairen in de praktijk
zich niet altijd aan de normen van het internationale recht te houden.
Human Rights Watch merkt op dat mensen niet alleen over negatieve emoties beschikken,
maar ook over positieve emoties zoals medelijden en zich kunnen inleven in anderen,
in tegenstelling tot machines. Rosa Brooks, hoogleraar aan de rechtenfaculteit van de
Georgetown University, onderschrijft dit, maar wijst ook op de onmiskenbare aanleg bij de
mens voor geweld en wreedheid. Elk jaar komen wereldwijd meer dan een half miljoen
mensen om het leven als gevolg van bewust gebruik van geweld, alleen al in de VS worden
elk jaar meer dan 16.000 mensen vermoord en een miljoen mensen zijn slachtoffer van
geweld. ‘Humans, not robots, came up with such ingenious ideas as torture and death by
crucifixion. Humans, not robots, came up with the bright idea of firebombing Dresden and
Tokyo; humans, not robots, planned the Holocaust and the Rwandan genocide’, betoogt ze.
78 In een animistische cultuur (onder meer Japan) wordt ook een ziel toegekend aan levenloze zaken.
79 UNIDIR, The weaponization of increasingly autonomous technologies, considering ethics and social values,
    UNIDIR resources No. 3, Geneva 2015, pp. 6-7.
80 Zie: <http://www.unog.ch/80256EDD006B8954/(httpAssets)/75FA2FB4CB45C2BAC1257E290054DF92
    /$file/Horowitz+CCW+Presentation+Public+Final.pdf> en <http://www.unog.ch/80256EDD006B8954/
    (httpAssets)/2B52D16262272AE2C1257E2900419C50/$file/24+Patr ick+Lin_Patrick+SS.pdf>.
81 R.C. Arkin, The Case for ethical autonomy in unmanned systems, Journal of Military Ethics 9(4):
    pp. 332-341.
82 R.C. Arkin, Governing Lethal Behavior: Embedding Ethics in a Hybrid Deliberative/Reactive Robot Architecture,
    pp. 6-9. Zie: <http://www.cc.gatech.edu/ai/robot-lab/online-publications/formalizationv35.pdf>.
    Geconsulteerd op 26 juni 2015.
                                                       43
</pre>

====================================================================== Einde pagina 44 =================================================================

<br><br>====================================================================== Pagina 45 ======================================================================

<pre>Op een verantwoorde wijze geprogrammeerde bewapende robots zouden volgens Brooks
veel humaner kunnen functioneren dan de mens.83
De AIV/CAVV is van mening dat veel samenlevingen besluiten zullen moeten nemen over
ethische vraagstukken gerelateerd aan autonome civiele systemen, voordat autonome
wapens brede toepassing vinden. Civiele ontwikkelingen gaan doorgaans veel sneller
dan de militaire toepassingen. Nu al worden experimenten uitgevoerd met onder meer
zelfrijdende auto’s en zorgrobots. Het is te verwachten dat dodelijke slachtoffers zullen
vallen bij verkeersongelukken met zelfrijdende auto’s. Accepteert de samenleving dat
zelfrijdende auto’s aanrijdingen en verkeersslachtoffers veroorzaken, net zoals mensen,
of mogen ze geen fouten maken? Wat moet een zelfrijdende auto doen als alle opties
leiden tot slachtoffers; welke ethische keuzes moeten zijn geprogrammeerd? Het is te
verwachten dat het expliciteren van deze ethische keuzes tot veel discussie zal leiden. Het
maatschappelijk debat over ethische vragen zal de komende jaren dan ook vooral worden
gevoerd naar aanleiding van introductie van autonome civiele systemen. De AIV/CAVV is
van mening dat de urgentie van de discussie over de ethische aspecten van autonomie
hoog is, zowel op het gebied van civiele als militaire toepassingen.
Zolang betekenisvolle menselijke controle bestaat over de inzet van autonome wapens
zijn ethische vraagstukken naar het oordeel van de AIV/CAVV niet problematisch. Immers,
binnen de wider loop neemt een mens een afgewogen besluit om een autonoom wapen
in te zetten met als doel vijandelijke eenheden en objecten uit te schakelen. Het gebruik
van (dodelijk) geweld is dan intentioneel, ook als een autonoom wapen doelen selecteert
en aanvalt. Inzet van deze autonome wapens met betekenisvolle menselijke controle
kan op het gevechtsveld zelfs een bijdrage leveren aan het voorkomen of beperken van
burgerslachtoffers. Wanneer niet langer sprake is van betekenisvolle menselijke controle
over het gebruik van autonome wapens, dan zou het gebruik van deze wapens naar de
mening van de AIV/CAVV niet moeten plaatsvinden.
83 R. Brooks, In Defense of Killer Robots, Foreign Policy, 18 mei 2015.
                                                     44
</pre>

====================================================================== Einde pagina 45 =================================================================

<br><br>====================================================================== Pagina 46 ======================================================================

<pre>VI       Een moratorium?
In het vorige hoofdstuk is de positie van de Special Rapporteur on extrajudicial, summary
or arbitrary executions, prof. Heyns, reeds uitgebreid besproken. In april 2013 riep hij
op tot een moratorium op ‘at least the testing, production, assembly, transfer, acquisition,
deployment and use of LARs’84 totdat een internationaal raamwerk voor de toekomst van
deze wapens is overeengekomen.85 Tijdens de CCW-bijeenkomst in april 2015 ging Heyns
in op het concept van betekenisvolle menselijke controle: ‘Especially significant is what
appears to be an emerging consensus that the notion of meaningful human control presents
a guide to distinguish acceptable forms of autonomous force release’. In de concluderende
woorden van zijn statement staat het aspect betekenisvolle menselijke controle centraal:
‘To conclude: it seems to me that we are getting closer to an answer to the question how to
deal with AWS (autonomous weapon systems): As long as they are good tools, in the sense
that humans exercise meaningful control over them, they can and should be used in an
armed conflict situation. There is significantly less room for their use in law enforcement,
where it will be difficult to outperform human beings. If they are no longer tools in the hands
of humans, they should not be used.’86
Sommige NGO’s zoals de campagne Stop Killer Robots ondersteunen de oproep van Heyns
voor een moratorium, maar hebben een voorkeur voor een preventief verbod op autonome
wapens.87 Op 28 juli 2015 riepen ruim duizend wetenschappers en ondernemers in een
open brief op tot een verbod op offensieve autonome wapensystemen die niet onder
betekenisvolle menselijke controle staan: ‘In summary, we believe that AI has great
potential to benefit humanity in many ways, and that the goal of the field should be to do so.
Starting a military AI arms race is a bad idea, and should be prevented by a ban on offensive
autonomous weapons beyond meaningful human control.’88
Het ICRC wilde op 13 april 2015 tijdens de CCW-bijeenkomst in haar openingsstatement
niet zo ver gaan om te pleiten voor een moratorium of een verbod: ‘We first wish to recall
that the ICRC is not at this time calling for a ban, nor a moratorium on ’autonomous weapon
systems’.’ Het ICRC riep staten wel op de fundamentele juridische en ethische gevolgen
van autonomie in kritische functies te beschouwen, voordat deze wapens verder worden
ontwikkeld of ontplooid in gewapende conflicten. Het ICRC benadrukte verder dat de visie
van deze organisatie op autonome wapens zich blijft ontwikkelen naarmate het ICRC
meer kennis vergaart van de bestaande en potentiële technische mogelijkheden, van de
militaire toepassingen van autonomie in wapens en van de daaruit resulterende juridische
84 Lethal Autonomous Robotics.
85 Report of the Special Rapporteur on extrajudicial, summary and arbitrary executions on lethal
    autonomous robotics and the protection of life, A/HRC/23/47, 9 April 2013, paragrafen 109 en 113.
86 Comments by Christof Heyns, United Nations Special Rapporteur on extrajudicial, summary or arbitrary
    executions, 16 April 2015, CCW Meeting of Experts on Lethal Autonomous Weapons Systems 2015.
87 ICRAC Closing Statement to the Convention on Certain Conventional Weapons Informal Meeting of
    Experts at the United Nations in Geneva. Zie: <http://www.unog.ch/80256EDD006B8954/(httpAssets)/
    62045282E84824EFC1257E2D004BF2B7/$file/2015_LAWS_MX_ICRAC_WA.pdf>.
88 Zie: <http://futureoflife.org/AI/open_letter_autonomous_weapons>.
                                                      45
</pre>

====================================================================== Einde pagina 46 =================================================================

<br><br>====================================================================== Pagina 47 ======================================================================

<pre>en ethische kwesties.89 De vraag van de regering naar de beoordeling van de oproep van
de Special Rapporteur on extrajudicial, summary or arbitrary executions om een moratorium
raakt twee aspecten: is een moratorium wenselijk en is het haalbaar en uitvoerbaar? Deze
twee aspecten worden hieronder nader bezien.
VI.1      Is een moratorium wenselijk?
In hoofdstuk II is het geldende recht ten aanzien van het gebruik van wapens beschreven.
De eventuele inzet van autonome wapens dient aan deze voorwaarden te voldoen. Dat
geldt voor de gronden waarop wapens verboden kunnen worden en voor de eisen waaraan
inzet moet voldoen. In dat hoofdstuk is verder uiteengezet dat autonome wapens niet per
definitie vallen onder een van de categorieën verboden wapens: wapens die inherent geen
onderscheid kunnen maken tussen militaire en andere doelen, wapens die onnodig leed
of letsel veroorzaken en wapens die onbeheersbare gevolgen hebben. Voor elk specifiek
autonoom wapen moet worden nagegaan of het wapen tot een van deze categorieën
behoort. Omgekeerd valt niet uit te sluiten dat sommige toekomstige autonome wapens
niet zijn toegestaan of dat het gebruik gereguleerd zou moeten worden, maar dat zal dan
bijvoorbeeld kunnen blijken uit een artikel 36 procedure. Een artikel 36 procedure kan ook
licht werpen op de vraag onder welke omstandigheden een autonoom wapen kan worden
ingezet conform de eisen van het humanitair oorlogsrecht (onderscheid, proportionaliteit
en voorzorg).
Zeker de komende tien jaar en naar verwachting ook de komende decennia zullen
autonome wapens worden ontwikkeld waarbij de mens in de wider loop besluiten moet
blijven nemen om ervoor te zorgen dat de inzet van deze wapens niet in strijd is met het
geldend recht. Te verwachten is dat deze autonome wapens zodanig worden ontwikkeld,
dat deze human-machine interactie mogelijk is en de inzet dus rechtmatig en legitiem kan
zijn omdat er sprake is van betekenisvolle menselijke controle.
Een van de argumenten voor een moratorium of verbod op (volledig) autonome wapens
is dat deze wapens het humanitair oorlogsrecht mogelijk niet zelf kunnen naleven.90 De
wapens die de komende tien jaar zullen worden ontwikkeld zullen dat naar verwachting
inderdaad niet kunnen, de wapens die de komende decennia worden ontwikkeld mogelijk
ook niet. Het kernpunt is evenwel dat degenen die beslissen over inzet en zij die het
wapen activeren – de mens dus – een afweging moeten maken of het gebruik van een
autonoom wapen in de specifieke omstandigheden te rechtvaardigen is, zoals dat ook voor
andere wapens geldt. De commandant en de militairen die het wapen bedienen, moeten
beslissen of inzet proportioneel is en of voldoende voorzorgsmaatregelen zijn genomen. De
wider loop schept voldoende mogelijkheden om menselijke controle uit te oefenen zodat
het humanitair oorlogsrecht kan worden nageleefd. Deze menselijke controle kan vertaald
worden in strafrechtelijke aansprakelijkheid, zodat er geen aansprakelijkheidslacune,
accountability gap, ontstaat.
Zeker de komende tien jaar zal het autonome karakter van wapensystemen naar redelijke
verwachting er niet toe leiden dat autonome wapens tot één van de categorieën verboden
89 Statement of the International Committee of the Red Cross (ICRC) 13 April 2015, CCW Meeting of
    Experts on Lethal Autonomous Weapons Systems 2015.
90 Report of the Special Rapporteur on extrajudicial, summary and arbitrary executions on lethal
    autonomous robotics and the protection of life, A/HRC/23/47, 9 April 2013, paragraaf 109.
                                                     46
</pre>

====================================================================== Einde pagina 47 =================================================================

<br><br>====================================================================== Pagina 48 ======================================================================

<pre>wapens behoren. Ook zal het gebruik kunnen (en moeten) voldoen aan het bestaande
rechtskader en toepasselijke ethische grondslagen (voor zover die geformaliseerd zijn en
erkend in het toepasselijke recht en Rules Of Engagement). Er is geen reden om aan te
nemen dat de technologie van nu en de komende tien jaar onrechtmatig of onethisch is
of zal zijn. Het gebruik ervan kan dat wel zijn maar ieder wapen kan onrechtmatig of op
onethische wijze worden gebruikt. Dat neemt niet weg dat niet kan worden uitgesloten dat
op de lange termijn betekenisvolle menselijke controle kan verminderen of grotendeels
verloren kan gaan als gevolg van technologische ontwikkelingen (met name op het gebied
van kunstmatige intelligentie en toenemende complexiteit), zoals aangegeven in vorige
hoofdstukken. Het hangt ook af van de (technologische) mogelijkheid om de menselijke
controle op autonome wapens te vergroten door het toepassen van onder meer fail-safe
voorzieningen om gevolgen van onbedoeld gedrag van autonome wapens te beperken.
Technologische ontwikkeling is een proces waarbij voortdurend in kleine of grote stappen
voortgang wordt geboekt. Heyns91 citeert Anderson en Waxman, die stellen dat deze
incrementele ontwikkeling van technologische kennis een belemmering is voor regulering.
Er zijn geen scherpe lijnen te trekken tussen technologie die is toegestaan en technologie
die verboden is. Anderzijds merkt Heyns op dat incrementele ontwikkeling van kennis het
risico in zich draagt dat ongemerkt een situatie kan ontstaan die menselijke waarden
en de internationale veiligheid bedreigt. Hij verbindt daaraan de conclusie dat de
internationale gemeenschap een inventarisatie moet maken van de stand van zaken, een
verantwoord proces moet ontwerpen en dat de ontwikkeling van technologie zo nodig aan
banden moet worden gelegd.92
Louwerse (hoogleraar Cognitieve Psychologie en Artificiële Intelligentie, Universiteit
van Tilburg) is van mening dat het juist van belang is om te blijven investeren in kennis
op het gebied van autonome wapens. Om controle te kunnen houden op ethische,
juridische, technische en beleidsmatige kwesties rondom autonome wapensystemen is
(wetenschappelijke) kennis (op het gebied van de ontwikkeling) van deze wapensystemen
cruciaal.93 De AIV/CAVV is het hiermee eens. Bovendien gaat het om dual use kennis die
voor veel civiele toepassingen van groot belang is en, zoals in voorgaande hoofdstukken is
aangetoond, ook legitieme militaire toepassingen kan vinden.
VI.2      Is een moratorium haalbaar en uitvoerbaar?
Naar de mening van de AIV/CAVV roept een moratorium om verschillende praktische
redenen bezwaren op. Veel kennis wordt ontwikkeld in de civiele sector, is dual use en
heeft zowel civiele als militaire toepassingen. Wanneer software voor autonome systemen
nog in ontwikkeling is en er nog sprake is van dual use technologie (en dus nog geen
sprake is van autonome wapens) is rechtmatigheid van deze ontwikkeling lastig te
beoordelen. Uiteindelijk gaat het om het samenstellen van dual use software en hardware
componenten met het doel er een autonoom wapen van te maken. Ook is, zoals in het
voorwoord opgemerkt, geen internationale consensus over definities. De vraag is dan ook:
een moratorium waarop?
91 Ibid, paragraaf 48.
92 Ibid, paragraaf 49.
93 Interview met prof.dr. M.M. Louwerse, hoogleraar Cognitieve Psychologie en Artificiële Intelligentie,
    Universiteit van Tilburg, op 6 juli 2015.
                                                    47
</pre>

====================================================================== Einde pagina 48 =================================================================

<br><br>====================================================================== Pagina 49 ======================================================================

<pre>Schmitt (hoogleraar Internationaal Recht) meent dat zolang onvoldoende duidelijk is wat
het militaire potentieel van autonome wapens is en welke (onbedoelde) humanitaire
gevolgen de ontwikkeling van autonome wapens kan hebben, staten niet bereid zullen
zijn autonome wapens uit te bannen.94 Tijdens de informele expertbijeenkomsten van
de CCW in april 2015 bleek inderdaad dat er geen draagvlak is voor een moratorium of
een verbod onder staten. Voor zover bekend gaven slechts vijf landen (Cuba, Ecuador,
Egypte, de Heilige Stoel en Pakistan) aan een moratorium of een verbod te steunen.95
Zonder draagvlak is een verdrag over een verbod of moratorium niet haalbaar. Een andere
reden die een moratorium of verbod bemoeilijkt, is dat autonomie bestaat uit software
en hardware. De verspreiding van hardware en software is nauwelijks tegen te houden.
De software en de componenten zijn immers vrij verkrijgbaar omdat ze ook voor civiele
toepassingen worden gebruikt. Een eventueel non-proliferatieregime lijkt dan ook niet
haalbaar. Dit wordt duidelijk door een blik te werpen op het bestaande nucleaire non-
proliferatieregime.
Het huidige nucleaire non-proliferatieregime bestaat uit een geheel van multilaterale en
regionale verdragen, exportcontrole regimes, alsmede enkele gedragscodes. Belangrijke
multilaterale verdragen zijn het nucleaire Non-Proliferatieverdrag (NPV) uit 1968 en
het Alomvattend Kernstopverdrag uit 1996 (Comprehensive Test Ban Treaty, CTBT).96
Een voorbeeld van een gedragscode is The Hague Code of Conduct Against Ballistic
Missile Proliferation (HCOC), die een oproep doet tot terughoudendheid ten aanzien van
de productie, het testen en de export van ballistische raketten. Het NPV maakt een
onderscheid tussen de de staten die kernwapens hebben (de haves) en staten die ze
niet hebben (de have-nots). De have-nots verbinden zich geen kernwapens te ontwikkelen,
waartegenover de haves zich verbinden hun kernwapenarsenalen te verminderen, terwijl
geen belemmeringen worden gecreëerd voor het vreedzaam gebruik van kernenergie. De
naleving van deze afspraken wordt gecontroleerd door het International Atomic Energy
Agency (IAEA). Het CTBT behelst op zijn beurt een verbod op kernexplosies.
Er bestaan echter belangrijke verschillen tussen door bovengenoemde verdragen
gereguleerde wapensystemen en autonome wapens die een eventueel non-proliferatieregime
voor autonome wapens nauwelijks realiseerbaar zullen maken. Zo valt bijvoorbeeld een
onderscheid tussen autonome haves en have-nots in de praktijk niet te maken. Het gaat
immers deels om technologie die ook in de civiele sector wordt gebruikt. Ook lijkt een non-
proliferatie regime met betrekking tot deze ‘wapens’ zeer lastig te controleren aangezien
het bezit hiervan moeilijk valt vast te stellen – het betreft immers dual-use technologie en
programmeertaal die eenvoudig verkrijgbaar is, in tegenstelling tot plutonium en uranium. Er
zou een indringend inspectie- en verificatieregime noodzakelijk zijn. Het is maar de vraag of
een groot aantal landen een dergelijk regime zou willen accepteren, dat zowel militaire als
civiele bedrijven omvat en diep zou ingrijpen op de soevereiniteit van staten. Landen kunnen
er onvoldoende op vertrouwen dat andere landen zich aan de afspraken zullen houden.
94 M.N. Schmitt, Autonomous weapon systems and international humanitarian law: a reply to critics, p. 36.
    Zie: <http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2184826>. Geconsulteerd op 13 juli 2015.
95 Zie voor de toespraken van de delegaties: <http://www.unog.ch/80256EE600585943/%28httpPages%2
    9/6CE049BE22EC75A2C1257C8D00513E26?OpenDocument>. Geconsulteerd op 27 augustus 2015.
96 Het Comprehensive Nuclear Test Ban Treaty (CTBT), dat nog niet in werking is getreden.
                                                    48
</pre>

====================================================================== Einde pagina 49 =================================================================

<br><br>====================================================================== Pagina 50 ======================================================================

<pre>Om genoemde redenen acht de AIV/CAVV een moratorium thans niet wenselijk en
niet haalbaar. De AIV/CAVV sluit evenwel niet uit dat ontwikkelingen op het gebied van
kunstmatige intelligentie en robotica in de toekomst vragen om herziening van dit standpunt.
Daarom is het van belang dat deze ontwikkelingen worden gevolgd en de regering actieve
deelname aan discussies over juridische, ethische, technische en beleidsmatige vragen met
betrekking tot autonome wapens in internationaal verband (met name CCW, maar ook in de
NAVO) zeker stelt.
                                               49
</pre>

====================================================================== Einde pagina 50 =================================================================

<br><br>====================================================================== Pagina 51 ======================================================================

<pre>VII          Samenvatting, conclusies en aanbevelingen
VII.1        Samenvatting en conclusies
De definitiekwestie
Autonomie wordt al decennia toegepast in offensieve wapens (bijvoorbeeld in fire and
forget wapens) en in defensieve wapens zoals Patriot grond-luchtdoelraketten. Er is nog
geen internationaal overeengekomen definitie van een autonoom wapen. Een bruikbare
definitie zal een duidelijk onderscheid moeten maken tussen de bestaande wapens met
een zekere mate van autonomie en toekomstige autonome wapens.
In dit advies wordt met een autonoom wapen bedoeld:
Een wapen dat zonder menselijke tussenkomst een doel, dat voldoet aan voor-
geprogrammeerde kenmerken, selecteert en aanvalt, nadat mensen hebben besloten het
wapen in te zetten en waarbij een mens niet meer kan ingrijpen om de aanval te stoppen.
De bedienaar van het wapen weet niet welk individueel doel zal worden aangevallen, maar
het soort doel is vooraf geprogrammeerd. Een wapen is alleen een autonoom wapen als de
kritische functies voor het toepassen van (dodelijk) geweld, namelijk ‘selecteren van doelen’
en ‘aanvallen van doelen’ autonoom worden vervuld, zonder menselijke betrokkenheid
(human out of the loop). Met de loop wordt het besluitvormingsproces bedoeld ten aanzien
van de selectie en het aanvallen van doelen. Dit begrip kan betrekking hebben op uitsluitend
de kritische processen (doelselectie en aanval op het doel) die het wapen autonoom uitvoert
(de loop in enge zin), maar ook op het bredere targetingproces, de wider loop, waar de mens
een beslissende rol vervult. Er bestaan nu slechts enkele wapensystemen waarbij de mens
out of the loop is in de eerste betekenis, zoals de Israëlische Harpy, die vijandelijke radars
kan aanvallen.
De AIV/CAVV is van mening dat de loop in brede zin, de wider loop, moet worden
gehanteerd. Voorafgaand aan het proces dat het wapen uitvoert om een individueel doel
te selecteren en aan te vallen, hebben immers mensen het besluit genomen het wapen
in te zetten en is het wapen geprogrammeerd, waarbij ook beslissingen zijn genomen over
de selectie van doelen. Deze besluiten maken deel uit van het targetingproces, waaronder
ook elementen als het formuleren van doelstellingen, doelselectie, wapenselectie en
uitvoeringsplanning vallen. De NAVO heeft daarvoor een vaste procedure en daarbij worden
ook de mogelijke gevolgen voor de burgerbevolking meegewogen. Ook in de komende
decennia zullen mensen de beslissing nemen een wapen al dan niet in te zetten.
(Toekomstige) inzet van autonome wapens
Inzet van autonome wapens kan belangrijke voordelen hebben. Computers kunnen sneller
gegevens verzamelen en verwerken dan mensen, zodat bijvoorbeeld effectieve verdediging
tegen inkomende raketten mogelijk is. Voorts kunnen autonome wapens mensen ten dele
vervangen, zodat eigen militairen minder risico lopen. Ook kunnen autonome wapens
opereren in omgevingen waar mensen niet kunnen overleven, bijvoorbeeld wegens de hoge
druk, de temperatuur of het gebrek aan zuurstof. Autonome wapens kunnen het aantal
slachtoffers onder eigen troepen en onder de burgerbevolking beperken. Deze wapens
zullen de komende decennia waarschijnlijk worden ontwikkeld en ingezet om specifieke
soorten doelen aan te vallen of voor defensieve taken.
                                               50
</pre>

====================================================================== Einde pagina 51 =================================================================

<br><br>====================================================================== Pagina 52 ======================================================================

<pre>Het is zeer onwaarschijnlijk dat autonome wapensystemen de rol van de mens op het
slagveld volledig of substantieel zullen overnemen. Ze zullen naar verwachting naast
militairen en bestaande wapensystemen en in samenhang met andere militaire en civiele
technologie worden ingezet. De aard van moderne conflicten compliceert namelijk de inzet
van deze wapensystemen. Ten eerste bevinden militaire doelen zich in moderne conflicten
steeds vaker in gebieden met veel burgers. Partijen bij het conflict onderscheiden
zich vaak opzettelijk niet duidelijk van hen die niet aan de strijd deelnemen. Inzet van
autonome wapens is dan meestal problematisch. Ten tweede is het winnen van de hearts
and minds van de bevolking in moderne conflicten vaak belangrijk. Ook om deze reden
zullen autonome wapens naar verwachting een geringe rol spelen. In moderne conflicten
zal de mens daarom een cruciale rol blijven spelen.
Ontwikkelingen met betrekking tot autonome wapens op langere termijn worden vooral
bepaald door ontwikkelingen ten aanzien van kunstmatige intelligentie. Als een wapen
zou beschikken over lerend vermogen, zelf gedragsregels zou kunnen formuleren en zich
zelfstandig kan aanpassen aan veranderingen in zijn omgeving, dan zou men kunnen
spreken van wapens waarbij de mens beyond the wider loop is, of volledig autonome
wapensystemen. Een dergelijk systeem zou aan menselijke controle ontsnappen. Deze
wapensystemen bestaan nog niet. De AIV/CAVV acht het onwaarschijnlijk dat de komende
decennia volledig autonome wapens worden ontwikkeld met het oogmerk om zonder enige
menselijke controle te functioneren. Dan zou immers sprake zijn van wapens die zodanig
geprogrammeerd zijn dat ze het gehele targetingproces zelfstandig uitvoeren, vanaf het
formuleren van het te realiseren militaire doel tot en met het bepalen van de plaats en
tijd van inzet. De AIV/CAVV ziet niet in waarom een staat – afgezien van de vraag of dit
technisch mogelijk is – een dergelijk wapen zou willen (laten) ontwikkelen.
Onder meer vanwege de vrees die volledig autonome wapensystemen oproepen, heeft
het concept van betekenisvolle menselijke controle de afgelopen jaren veel aandacht
gekregen. De toenemende complexiteit van autonome systemen zou ertoe kunnen leiden
dat menselijke controle ten dele of grotendeels verloren gaat. Omdat de mogelijkheid dat
dit gebeurt niet kan worden uitgesloten moet deze mogelijkheid naar de mening van de
AIV/CAVV serieus worden genomen. Daarom is het belangrijk dat ontwikkelingen op het
gebied van kunstmatige intelligentie en robotica worden gevolgd.
Het juridische kader voor de toelaatbaarheid en inzet van autonome wapens
Het internationaal recht verbiedt het gebruik van interstatelijk geweld, behoudens bij de in
het VN Handvest opgenomen uitzonderingen. Staten mogen geweld gebruiken om zichzelf
te verdedigen, als er een mandaat is van de VN-Veiligheidsraad of met toestemming van
de staat waar het geweld wordt toegepast. Of bij de toepassing van geweld al dan niet
autonome wapens worden ingezet, maakt geen verschil.
Onder het humanitair oorlogsrecht zijn wapens verboden als bij de inzet ervan geen onder-
scheid kan worden gemaakt tussen militaire doelen enerzijds en burgers en burgerobjecten
anderzijds, als ze onnodig leed en/of buitensporige verwondingen veroorzaken bij vijandelijke
combattanten of als de effecten van inzet niet kunnen worden beheerst op een wijze die het
humanitair oorlogsrecht voorschrijft en daarmee burgers en militairen zonder onderscheid
raken. Er is geen reden aan te nemen dat autonome wapens per definitie tot één van deze
categorieën behoren. Volgens artikel 36 van het Eerste Aanvullende Protocol bij de Geneefse
Verdragen moeten staten nieuwe wapens toetsen op de verenigbaarheid met de eisen van
het humanitair oorlogsrecht. Of een specifiek autonoom wapen behoort tot één van de
categorieën verboden wapens moet dus van geval tot geval worden beoordeeld.
                                               51
</pre>

====================================================================== Einde pagina 52 =================================================================

<br><br>====================================================================== Pagina 53 ======================================================================

<pre>Er zijn (afgezien van specifieke wapenbeheersingsverdragen) twee rechtsregimes die het
gebruik van geweld reguleren: het humanitair oorlogsrecht en de rechten van de mens.
Bij gevechtshandelingen is het humanitair oorlogsrecht van toepassing. Het humanitair
oorlogsrecht stelt eisen aan de inzet van wapens. Deze betreffen het onderscheidend
vermogen (tussen militaire en andere doelen), proportionaliteit (afweging tussen militair
voordeel en nevenschade) en voorzorg (om burgerdoelen zoveel mogelijk te vrijwaren
van geweldstoepassing). In specifieke situaties zoals inzet van autonome wapens op
volle zee, onder water, in het luchtruim en in nauwelijks bevolkte gebieden zal meestal
kunnen worden voldaan aan de vereisten van het humanitair oorlogsrecht. In vele andere
situaties kan, zeker in de komende tien jaar, inzet van autonome wapens problematisch
zijn, omdat bij inzet niet bij voorbaat voldoende zekerheid bestaat dat aan de eisen van
onderscheidend vermogen, proportionaliteit en voorzorg kan worden voldaan. De context
bepaalt dus in sterke mate of autonome wapens kunnen worden ingezet zonder het
humanitair oorlogsrecht te schenden. Militairen zullen tijdens het targetingproces in de
wider loop moeten afwegen of inzet van autonome wapens in een specifieke context te
rechtvaardigen is conform de eisen van het humanitair oorlogsrecht.
Genoemde twee rechtsregimes zijn van toepassing op alle vormen van geweldsgebruik en
er is geen enkele reden om aan te nemen dat dit anders zou zijn voor (volledig) autonome
wapens. Staten en personen hebben ook bij inzet van (volledig) autonome wapens de
verplichting te verzekeren dat deze rechtsregels worden nageleefd. Discussie over de
vraag of autonome wapens dit ooit zelfstandig kunnen is naar de mening van de AIV/
CAVV speculatief. Vanuit de vereisten van het humanitair oorlogsrecht is er geen verschil
of autonome wapens zelfstandig kunnen voldoen aan de vereisten van het humanitair
oorlogsrecht of niet. Dezelfde juridische eisen zijn onverminderd van toepassing op de
inzet van alle wapens.
Vragen van aansprakelijkheid
De AIV/CAVV is van mening dat het geldend rechtsregime zoals hierboven beschreven
in formele zin afdoende is om overtreders aansprakelijk te stellen. In die zin is er dan
ook geen sprake van een accountability gap bij de inzet van autonome wapens zolang de
mens blijft beslissen over de inzet van wapens in het kader van het targetingproces. Er
is in ieder geval de komende tien jaar geen reden om aan te nemen dat er een lacune
in strafrechtelijke aansprakelijkheid van commandanten, ondergeschikten of politieke
en civiele verantwoordelijken zal ontstaan. Zij moeten immers bij de besluitvorming de
afweging maken of inzet en activering van autonome wapens in de gegeven context kan
voldoen aan de eisen van het humanitair oorlogsrecht en ethisch te verantwoorden is.
Ook is er geen lacune in staatsaansprakelijkheid bij de inzet van autonome wapens.
Wel treedt een verschuiving van aansprakelijkheid op in vergelijking met de inzet van
wapens die voortdurend door mensen worden bediend, zoals bij de geweerschutter of de
gevechtspiloot tijdens een luchtgevecht. Immers, bij de inzet van een autonoom wapen
wordt geen besluit genomen over een aanval op een individueel doel. Dat besluit is
impliciet in besluiten over de inzet en het activeren van het autonome wapen. Daardoor
komt de aansprakelijkheid primair te liggen bij de commandant die besluit tot inzet en
de militair die het wapen activeert, in plaats van een militair die een individueel doel
selecteert en aanvalt. Dat betekent dat commandanten en militairen die betrokken zijn
bij de inzet, goed moeten zijn getraind, opgeleid en geïnformeerd over de te verwachten
effecten van de inzet van het autonome wapen. Zij moeten verantwoorde beslissingen
nemen over onderscheid, proportionaliteit en voorzorg, zonder te weten welke individuele
doelen zullen worden aangevallen. Er moet sprake zijn van betekenisvolle menselijke
controle.
                                               52
</pre>

====================================================================== Einde pagina 53 =================================================================

<br><br>====================================================================== Pagina 54 ======================================================================

<pre>De primaire normen van het humanitair oorlogsrecht reguleren de inzet van autonome
wapens zeer stringent. Inzet waarbij deze normen niet in acht worden genomen is daarmee
niet rechtmatig. Een commandant kan zo wel degelijk aansprakelijk worden gehouden
voor risicovolle inzet van autonome wapensystemen met schendingen van humanitair
oorlogsrecht als gevolg. Factoren zoals het tijdsverloop tussen het activeren van het wapen
(het laatste moment waarop de afwegingen over onderscheid, proportionaliteit en voorzorg
kunnen plaatsvinden) en de daadwerkelijke aanval op het doel, alsmede de complexiteit
van het wapen, vragen om grotere terughoudendheid bij inzet van autonome wapens. Deze
factoren kunnen dus niet zonder meer worden ingeroepen om onvoorzienbaarheid van de
gevolgen te bepleiten en aansprakelijkheid te ontduiken.
Betekenisvolle menselijke controle
De AIV/CAVV prefereert het concept betekenisvolle menselijke controle boven de
begrippen judgment en voorspelbaarheid. Internationaal lijkt ook consensus te ontstaan
over de bruikbaarheid van het concept betekenisvolle menselijke controle. Ook al is er
geen consensus over de invulling van het concept, wel wordt grotendeels erkend dat het
kan dienen als onderscheidend criterium tussen aanvaardbare en onaanvaardbare (inzet
van) autonome wapens.
Ondanks het ontbreken van een internationaal overeengekomen invulling van het
concept betekenisvolle menselijke controle, speelt het concept al een belangrijke rol
bij de maatschappelijke acceptatie van wapensystemen die zelf doelen selecteren en
aanvallen. Het uitgangspunt van de AIV/CAVV is dat mensen moeten beslissen over
de toepassing van dodelijk geweld. Betekenisvolle menselijke controle houdt in dat
mensen geïnformeerde, bewuste keuzes maken over het gebruik van wapens, op basis
van adequate informatie over het doel, over het wapen en over de context waarin de
inzet van het wapen plaatsvindt. Bovendien moet het wapen zodanig zijn ontworpen en
in een realistische operationele omgeving zijn getest en moeten mensen voldoende zijn
getraind, om betekenisvolle controle over het wapen te kunnen hebben. Deze vereisten zijn
overigens van toepassing op elk wapen.
De AIV/CAVV relateert betekenisvolle menselijke controle aan het gehele targetingproces,
de wider loop, omdat op verschillende momenten in het proces beslissingen worden
genomen ten aanzien van de selectie van en aanval op doelen, ook als daarbij een
autonoom wapen wordt ingezet. Betekenisvolle menselijke controle moet een waarborg
zijn voor verantwoorde ethische en juridische afwegingen in het besluitvormingsproces
dat leidt tot toepassing van (dodelijk) geweld. Ook kan in beginsel verantwoordelijkheid
en aansprakelijkheid aan individuen worden toegewezen als mensen controle hebben
over autonome wapens. Betekenisvolle menselijke controle is dus een concept dat
instrumenteel is voor het naleven van de eisen van het humanitair oorlogsrecht en
ethische beginselen alsook het toewijzen van verantwoordelijkheid en aansprakelijkheid.
De AIV/CAVV is van mening dat het concept van betekenisvolle menselijke controle kan
worden gezien als een standaard die afgeleid kan worden uit bestaande regelgeving en
gebruiken (zoals het targetingproces) waardoor er geen noodzaak is voor extra of nieuwe
regelgeving. Het concept hoeft geen nieuwe norm te worden in het internationaal recht.
Het concept kan dienen als handvat voor analyse tijdens toetsing conform artikel 36 van
het Eerste Aanvullende Protocol bij de Geneefse Verdragen. Het kan tevens behulpzaam
zijn om de risico’s van schending van het humanitair oorlogsrecht bij inzet van het
specifieke autonome wapen dat wordt getoetst, in kaart te brengen. In procedures voor
toetsing van wapens conform artikel 36 zou onder meer moeten worden nagegaan of de
mate waarin menselijke controle is ingebouwd in het ontwerp van het autonome wapen
                                              53
</pre>

====================================================================== Einde pagina 54 =================================================================

<br><br>====================================================================== Pagina 55 ======================================================================

<pre>voldoende waarborgen biedt voor de naleving van het internationaal recht. Het is daarom
van belang dat er internationale overeenstemming wordt bereikt over de precieze inhoud
en betekenis van het concept van betekenisvolle menselijke controle.
Een interpretative guide zou een interpretatie van het bestaande recht bij inzet van
autonome wapens kunnen geven. De totstandkoming van een dergelijk document zou
wellicht ook de vorming van consensus over het concept betekenisvolle menselijke
controle kunnen bevorderen. In dit document zouden – voor zover de classificatie van
nationale systemen en procedures dit toelaat – bijvoorbeeld best practices kunnen worden
opgenomen over onder meer de rol van betekenisvolle menselijke controle in artikel 36
procedures en bij de inzet van autonome wapens. Deze gids zou een voorlichtende en
educatieve functie kunnen vervullen en zou wellicht in het kader van de CCW tot stand
kunnen komen.
Ethiek en autonome wapens
Het (internationaal) recht is gebaseerd op ethische beginselen, maar ethische beginselen
zijn breder dan het recht. Zolang betekenisvolle menselijke controle bestaat over de inzet
van autonome wapens zijn ethische vraagstukken (zoals de menselijke waardigheid) naar
het oordeel van de AIV/CAVV niet problematisch. Immers, binnen de wider loop neemt
een mens een afgewogen besluit om een autonoom wapen in te zetten met als doel
vijandelijke eenheden en objecten uit te schakelen. Het gebruik van (dodelijk) geweld is
dan intentioneel, ook als een autonoom wapen doelen selecteert en aanvalt. Inzet van
deze autonome wapens met betekenisvolle menselijke controle, kan op het gevechtsveld
levens van militairen sparen en een bijdrage leveren aan het voorkomen of beperken van
burgerslachtoffers. Dat neemt niet weg dat het aantal situaties waarin dergelijke wapens
op verantwoorde wijze kunnen worden ingezet, naar verwachting beperkt is.
Op de lange termijn kunnen ontwikkelingen in kunstmatige intelligentie menselijke
controle over autonome wapensystemen mogelijk ondermijnen, bijvoorbeeld als zelflerende
systemen hun eigen gedragsregels zouden kunnen wijzigen. De AIV/CAVV verwacht dat
dit de komende decennia niet zal plaatsvinden. Wanneer niet langer sprake zou zijn van
betekenisvolle menselijke controle over het gebruik van autonome wapens, dan zou het
gebruik van deze wapens naar de mening van de AIV/CAVV niet moeten plaatsvinden.
De AIV/CAVV acht voortgaande discussies in CCW-verband over juridische, ethische,
technische en beleidsmatige vragen met betrekking tot ontwikkelingen op het gebied van
(volledig) autonome wapensystemen op langere termijn dan ook van groot belang. Ook
binnen de NAVO wordt over dit onderwerp van gedachten gewisseld en is een actieve
Nederlandse inbreng gewenst.
Een moratorium?
In april 2013 riep de VN-Special Rapporteur on Extrajudicial, Summary or Arbitrary Executions,
Prof. Heyns op tot een moratorium op ‘at least the testing, production, assembly, transfer,
acquisition, deployment and use of Lethal Autonomous Robots’ totdat een internationaal
raamwerk voor de toekomst van deze wapens is overeengekomen. Tijdens de CCW-bijeen-
komst in april 2015 benadrukte hij het belang van betekenisvolle menselijke controle: ‘As
long as they (autonomous weapon systems) are good tools, in the sense that humans exercise
meaningful control over them, they can and should be used in an armed conflict situation’ en
voorts: ‘If they are no longer tools in the hands of humans, they should not be used.’
Zeker de komende tien jaar en naar redelijke verwachting ook de komende decennia
zullen autonome wapensystemen niet tot één van de categorieën verboden wapens
behoren en zal het gebruik kunnen (en moeten) voldoen aan het bestaande rechtskader
                                                54
</pre>

====================================================================== Einde pagina 55 =================================================================

<br><br>====================================================================== Pagina 56 ======================================================================

<pre>en toepasselijke ethische grondslagen (zoals die bijvoorbeeld geformaliseerd zijn en
erkend in humanitair oorlogsrecht en Rules Of Engagement). De technologie is dan ook
niet onrechtmatig of onethisch. Het gebruik ervan kan dat wel zijn maar dat kan het geval
zijn met ieder wapen. De AIV/CAVV verwacht dat autonome wapens zeker het komende
decennium onder betekenisvolle menselijke controle zullen staan. Dat biedt voldoende
mogelijkheden voor de naleving van het internationaal recht en respect voor de menselijke
waardigheid. De AIV/CAVV acht het van belang om te blijven investeren in kennis op het
gebied van autonome wapens. Om goed inzicht te verwerven in de ethische, juridische en
technische aspecten van autonome wapensystemen is (wetenschappelijke) kennis (op het
gebied van de ontwikkeling) van deze wapensystemen cruciaal.
Naar de mening van de AIV/CAVV roept een moratorium of verbod ook om verschillende
praktische redenen bezwaren op. De benodigde kennis wordt grotendeels ontwikkeld
in de civiele sector voor vreedzame doeleinden. Veel kennis is dual use en heeft zowel
civiele als militaire toepassingen. Er zijn geen scherpe lijnen te trekken tussen technologie
die wel is toegestaan en technologie die is verboden. Ook is er geen internationale
consensus over definities. De vraag is dan: een moratorium waarop? Ook lijkt een non-
proliferatie regime met betrekking tot deze ‘wapens’ zeer lastig te controleren aangezien
het bezit ervan moeilijk valt vast te stellen – het betreft immers dual-use technologie en
programmeertaal die eenvoudig verkrijgbaar is. Daarom kunnen landen er onvoldoende op
vertrouwen dat andere landen zich aan de afspraken zullen houden. Tijdens de informele
expertbijeenkomsten van de CCW in april 2015 bleek ook dat er geen draagvlak is voor
een moratorium of een verbod onder staten. Slechts vijf landen (Cuba, Ecuador, Egypte,
de Heilige Stoel en Pakistan) gaven aan een moratorium of een verbod te steunen. Zonder
dat draagvlak is een verdrag over een verbod of moratorium onhaalbaar. Om genoemde
redenen acht de AIV/CAVV een moratorium thans niet wenselijk en niet haalbaar. De AIV/
CAVV sluit evenwel niet uit dat ontwikkelingen op het gebied van kunstmatige intelligentie
en robotica in de toekomst kunnen vragen om herziening van dit standpunt.
VII.2    Aanbevelingen
1.   In een blijvend technologisch hoogwaardige Nederlandse krijgsmacht is naar de
     mening van de AIV/CAVV ook een (toekomstige) rol weggelegd voor autonome
     wapensystemen. Bij inzet zal evenwel altijd sprake moeten zijn van betekenisvolle
     menselijke controle zoals beschreven in dit advies.
2.   De AIV/CAVV acht het noodzakelijk dat onderscheid wordt gemaakt tussen autonome
     wapens (waarbij de mens een cruciale rol speelt in de wider loop) en volledig
     autonome wapens (waarbij de mens beyond the wider loop is en er niet langer sprake
     is van menselijke controle).
3.   De AIV/CAVV is van mening dat Nederland een actieve rol moet blijven spelen bij
     discussies in CCW-verband over juridische, ethische en beleidsmatige vragen met
     betrekking tot ontwikkelingen op het gebied van autonome wapensystemen. De
     AIV/CAVV onderschrijft het belang van (maatschappelijke) discussie over nieuwe
     technologieën en adviseert de regering hierover nauw in contact te blijven met onder
     meer NGO’s en de wetenschappelijke wereld.
4.   De AIV/CAVV is van mening dat tijdens de komende CCW-bijeenkomsten zo snel als
     mogelijk overeenstemming moet worden bereikt over de definitie van een autonoom
     wapen en het concept van betekenisvolle menselijke controle. In NAVO-verband moet
     afstemming worden nagestreefd. De AIV/CAVV acht het van belang dat bij deze
                                               55
</pre>

====================================================================== Einde pagina 56 =================================================================

<br><br>====================================================================== Pagina 57 ======================================================================

<pre>    discussies de interpretatie van de (besluitvormings)loop betrekking heeft op het
    gehele targetingproces waarbij de mens een beslissende rol vervult en niet op de loop
    ‘in enge zin’ (de kritische processen – doelselectie en aanval op het doel – die het
    autonome wapen zelf uitvoert).
5.  De AIV/CAVV adviseert de regering om tijdens de komende CCW-bijeenkomsten te
    pleiten voor bredere nationale implementatie van artikel 36 procedures, voor meer
    transparantie over de uitkomsten van gevolgde toetsingsprocedures en voor meer
    internationale uitwisseling van informatie.
6.  De AIV/CAVV acht het noodzakelijk dat bij de (toekomstige) verwerving van autonome
    wapens de procedure met betrekking tot artikel 36 van het Eerste Aanvullende
    Protocol bij de Geneefse Verdragen, stringent wordt toegepast. De AIV/CAVV is
    van mening dat het concept van betekenisvolle menselijke controle hierbij als
    handvat moet dienen. De Adviescommissie Internationaal Recht en Conventioneel
    Wapengebruik dient naar de mening van de AIV/CAVV een sleutelrol te spelen bij
    de advisering over de verenigbaarheid van het betreffende autonome wapen met
    het geldende en in ontwikkeling zijnde internationale recht en in het bijzonder het
    humanitaire oorlogsrecht.
7.  De AIV/CAVV adviseert de regering om bij eventuele toekomstige aanschaf van
    autonome wapens toe te zien op toepassing van het concept Moral Responsible
    Engineering in de ontwerpfase, gelet op het belang van de toewijzing van
    verantwoordelijkheid en aansprakelijkheid.
8.  De AIV/CAVV beveelt de regering aan bij aanschaf van autonome wapens uitvoerige
    testen in een realistische omgeving te doen plaatsvinden.
9.  De AIV/CAVV adviseert de regering om bij de ethische vorming van militairen, in het
    bijzonder commandanten, ook aandacht te geven aan ethische vragen die aan de orde
    kunnen zijn bij inzet van autonome wapens.
10. De AIV/CAVV adviseert de regering in internationaal (CCW) verband te streven naar
    de totstandkoming van een interpretative guide waarin een interpretatie van het
    bestaande recht bij de inzet van autonome wapens is opgenomen. In een dergelijk
    document zouden bijvoorbeeld ook best practices kunnen worden opgenomen over
    onder meer de rol van betekenisvolle menselijke controle in artikel 36 procedures en
    bij de inzet van autonome wapens. Deze gids zou een voorlichtende en educatieve
    functie kunnen vervullen.
11. Gelet op de snelle ontwikkelingen op het gebied van robotica en kunstmatige
    intelligentie en de voortgaande internationale discussie (vooral in CCW-verband)
    over juridische, ethische en beleidsmatige vragen met betrekking tot autonome
    wapensystemen, adviseert de AIV/CAVV de regering over vijf jaar de bruikbaarheid van
    dit advies opnieuw tegen het licht te houden.
                                             56
</pre>

====================================================================== Einde pagina 57 =================================================================

<br><br>====================================================================== Pagina 58 ======================================================================

<pre>                                                                                      Bijlage I
Adviesaanvraag
Adviesraad Internationale Vraagstukken                  Commissie van Advies inzake
Bezuidenhoutseweg 67                                    Volkenrechtelijke Vraagstukken
Postbus 20061                                           Bezuidenhoutseweg 67
2500 EB Den Haag                                        Postbus 20061
                                                        2500 EB Den Haag
Datum 7 april 2015
Betreft Adviesaanvraag over autonome wapensystemen
Geachte voorzitters,
Om huidige en toekomstige dreigingen het hoofd te kunnen bieden, moet de krijgsmacht zich
voortdurend vernieuwen. Defensie maakt daarom gebruik van de modernste technologieën,
ook op het gebied van robotica en informatietechnologie. Bij de ontwikkeling van deze
technologieën loopt het civiele domein overigens veelal voorop.
Al langer maakt Defensie gebruik van systemen die in hoge mate automatisch kunnen werken,
zoals de Goalkeeper aan boord van schepen en de Patriot grond-luchtdoelraketten. De mate
waarin deze systemen door hun bedienaars op ‘automatisch’ worden gezet, is afhankelijk van
de veiligheidsomgeving en het dreigingsbeeld. Hoe groter de dreiging en hoe sneller moet
worden gereageerd, hoe automatischer deze systemen moeten werken om effectief te zijn.
Deze systemen staan onder controle van hun bedienaars.
De snelle technologische ontwikkelingen versterken de trend van meer geautomatiseerde of
– in bepaalde gevallen – autonome functies in producten van uiteenlopende aard, waaronder
wapensystemen. Het is niet langer denkbeeldig dat op langere termijn volledig autonome
wapensystemen met kunstmatige intelligentie worden ontwikkeld met functies zoals doelselectie
en de toepassing van (dodelijk) geweld, zonder tussenkomst van menselijk handelen.
Dergelijke systemen bestaan nog niet. Niettemin is internationaal een debat ontstaan over
de juridische, ethische en beleidsmatige vragen over volledig autonome wapensystemen. De
Speciaal Rapporteur van de VN Mensenrechtenraad inzake buitengerechtelijke, standrechtelijke
en willekeurige executies, Christof Heyns, heeft in 2013 een rapport uitgebracht over Lethal
Autonomous Robotics dat op deze vragen ingaat. Ook enige NGO’s die zich hebben verenigd in
de internationale campagne Stop Killer Robots, vragen aandacht voor de mogelijke gevolgen
van de ontwikkeling van autonome wapensystemen.
Het standpunt van de regering over autonome wapensystemen is verwoord in de brief van
26 november 2013 (Kamerstuk 33 750 X, nr. 37). Daarin is gemeld dat Defensie niet aan
dergelijke wapensystemen werkt en er ook geen plannen voor heeft. In de brief onderstreept
de regering nog eens het leidende beginsel dat alle wapensystemen én de inzet in een
gewapend conflict moeten voldoen aan alle eisen die het internationaal recht stelt. De regering
heeft de plicht, vastgelegd in Artikel 36 van het eerste Aanvullende Protocol bij de Verdragen
van Genève, om nieuwe wapens en nieuwe methoden van oorlogvoering te toetsen aan het
internationaal recht. In Nederland is hiervoor de Adviescommissie Internationaal Recht en
Conventioneel Wapengebruik (AIRCW) opgericht.
</pre>

====================================================================== Einde pagina 58 =================================================================

<br><br>====================================================================== Pagina 59 ======================================================================

<pre>Het is met andere woorden verboden autonome wapensystemen te verwerven of in te zetten
als niet aan de eisen van het internationaal recht kan worden voldaan. De Commissie van
Advies inzake Volkenrechtelijke Vraagstukken (CAVV) schrijft in een eerder advies dat “de inzet
van ieder wapensysteem, of het (vrijwel) autonoom is of niet, onderworpen is aan hetzelfde
juridische kader […]” (advies nr. 23, p. 12, juli 2013).
De regering wil het debat over autonome wapensystemen bevorderen. Zo geeft Nederland
financiële steun aan (wetenschappelijk) onderzoek naar de vragen die deze systemen
oproepen. Verder neemt Nederland deze maand voor de tweede keer deel aan de bijeenkomst
van deskundigen over Lethal Autonomous Weapon Systems (LAWS) van de Conventie voor
bepaalde Conventionele Wapens (CCW) van de VN. In mei 2014 kwamen de deskundigen
voor het eerst in CCW-kader bijeen. Toen leek consensus te ontstaan over de introductie
van de notie “betekenisvolle menselijke interventie” om te bepalen of een autonoom
wapensysteem al dan niet aan ethische normen voldoet. Voorts was de vraag aan de orde of
een wapensysteem dat mogelijk niet aan ethische normen voldoet, daardoor evenmin voldoet
aan de eisen van het internationaal recht.
De meningen over wat de notie “betekenisvolle menselijke interventie” precies inhoudt,
lopen echter nog uiteen. De invulling hiervan vergt nader onderzoek. Tevens moet worden
onderzocht of ook andere noties kunnen helpen bij de toetsing van autonome wapensystemen
aan ethische normen.
In dit kader heeft de regering de volgende vragen aan de AIV en de CAVV:
  1. Welke rol ziet u nu en in de toekomst weggelegd voor autonome (functies van)
      wapensystemen in het militaire optreden?
  2. Voorziet u veranderingen bij het afleggen van verantwoording over het gebruik van
      (volledig) autonome wapensystemen in relatie tot daarmee samenhangende ethische
      vragen? Welke rol kan de notie van “betekenisvolle menselijke interventie” hierbij volgens
      u spelen en zijn er nog andere noties die hierbij behulpzaam kunnen zijn?
  3. In haar eerdere advies heeft de CAVV gesteld dat de inzet van ieder wapensysteem, of
      het (vrijwel) autonoom is of niet, onderworpen is aan hetzelfde juridische kader. Wat de
      CAVV betreft is er geen reden om aan te nemen dat het internationaalrechtelijke kader
      ontoereikend is om de inzet van bewapende drones te reguleren. Is er in het licht van de
      discussie over (volledig) autonome wapensystemen reden om dit advies aan te vullen of
      bij te stellen?
  4. Hoe beoordeelt u de oproep van de Speciaal Rapporteur van de VN om een moratorium
      op de ontwikkeling van volledig autonome wapensystemen?
  5. Hoe kan Nederland het beste bijdragen aan de internationale discussie hierover?
De regering ontvangt uw advies graag tijdig voor de begrotingsbehandeling dit najaar.
Wij zien uw advies met veel belangstelling tegemoet.
Bert Koenders						J.A. Hennis-Plasschaert
Minister van Buitenlandse Zaken				                          Minister van Defensie
</pre>

====================================================================== Einde pagina 59 =================================================================

<br><br>====================================================================== Pagina 60 ======================================================================

<pre>Targeting proces en humanitair oorlogsrecht                                                                                                                                     Bijlage II
                Fase 1:                 Fase 2:                                  Fase 3:                        Fase 4:                   Fase 5:                  Fase 6:
                Endstate and            Target Development and                   Capabilities Analysis          Commanders Decision Mission Planning and           Assessment
                Commanders              Prioritization                                                          and Force Assignment Force Execution
                Objectives
 Humanitair     In deze fase            In deze fase is het beginsel van         In deze fase spelen het        In deze fase spelen       In deze fase spelen      In deze fase worden
 oorlogs-       speelt humanitair       onderscheid leidend: alleen              beginsel van onderscheid       proportionaliteit en      proportionaliteits-      het resultaat en
 recht          oorlogsrecht vooral     objecten en personen die als             en voorzorgsmaatregelen        voorzorgsmaatregelen      overwegingen             het effect van de
                een richtinggevende     military objective aan te merken         een belangrijke rol. In        een sleutelrol.           (beperking voor          operatie(s) op alle
                rol, naast andere       zijn, kunnen als doel worden             deze fase worden opties                                  zover mogelijk           niveau’s (strategisch,
                (juridische)            aangewezen. Deze definitie               voor de commandant             In deze fase wordt        van voorzienbare         operationeel
                overwegingen. De        (als military objective aan te           geformuleerd door              de informatie uit         en onverwachte           en tactisch)
                doelstellingen van      merken) is tweeledig:                    vergelijking van beschikbare   de voorgaande             neveneffecten) een       geëvalueerd.
                de commandant                                                    militaire middelen met         fasen in de cyclus        centrale rol en moeten
                en van de operatie      1. De persoon of het object              eigenschappen van              samengebracht             de operaties steeds      Hierbij spelen
                op strategisch,         moet op grond van zijn aard,             aangewezen doelen              met de beschikbare        rekening houden met      zowel rapportage
                operationeel en         locatie of (toekomstig) gebruik          (target-capability pairings).  wapensystemen,            voorzorgsmaatregelen     over nevenschade
                tactisch niveau         een effectieve bijdrage aan                                             sensoren en               (de noodzaak dat         (proportionaliteit)
                moeten in               militaire actie leveren.                 Ook worden onder andere        andere beschikbare        non-state entities en    als verantwoording
                overeenstemming zijn                                             de risico’s voor eigen         middelen. In deze         burgers zo maximaal      (is voldaan aan alle
                met het toepasselijk    2. De vernietiging, neutralisatie of     militairen en anderen          fase vindt ook de         mogelijk worden          toepasselijke regels
                recht (jus ad           gevangenneming moet een duidelijk        die niet mogen worden          nadere uitwerking         ontzien). In deze        uit het humanitair
                bellum, mandaat         militair voordeel opleveren op grond     aangevallen, vastgesteld.      plaats van enerzijds      fase wordt een           oorlogsrecht),
                en het humanitair       van de beschikbare informatie.           Preliminaire weaponeering      de schatting              gedetailleerde planning  een sleutelrol.
                oorlogsrecht).                                                   (keuze van het te gebruiken    van mogelijke             gemaakt voor de          Ook worden
                De operationele         Ook in deze fase worden personen         wapensysteem en typen          nevenschade en            uitvoering van missies,  aanbevelingen voor
                richtlijnen (OPLAN      en objecten aangewezen die               munitie) speelt hierbij een    anderzijds van            voor zover mogelijk      nieuwe acties gedaan
                en CONOPS) moeten       niet mogen worden aangevallen            rol. Een (elektronische)       weaponeering              rekening houdend         waarbij tijdens
                worden opgesteld        (no strike entities zoals cultureel      target folder wordt            (inzet van specifieke     met onvoorzienbare       de analyse alle
                met inachtneming        erfgoed, ambassades en                   opgesteld voor aan te          wapen(systemen)).         en onverwachte           toepasselijke regels
                van alle relevante      hospitalen). Bovendien zijn er ook       merken doelen (vaak al         De gekozen middelen       gebeurtenissen.          van het humanitair
                en toepasselijke        restricted target lists: targets die     vanaf fase 2 of nog eerder).   worden toegewezen.        Activering van het       oorlogsrecht worden
                juridische kaders.      mogen worden engaged (let op:                                                                     wapen.1                  meegenomen.
                                        niet attacked) met bepaalde
                                        restricties.
N.B. Het schema is een vereenvoudigde weergave van het targetingproces. Het proces is iteratief en verloopt vaak niet volgens duidelijk onderscheidenlijke stappen. Specifieke
regels van humanitair oorlogsrecht zijn niet definitief in te delen in deze fasen, vaak spelen ze een rol in meerdere (of alle) fasen. Het eindresultaat van het proces moet in ieder
geval voldoen aan alle regels.
1   Bij inzet van autonome wapensystemen zal het wapen na activering zelfstandig het doel selecteren en aanvallen in
    tegenstelling tot inzet van wapensystemen waar militairen direct betrokken zijn bij doelselectie en de aanval op een doel.
</pre>

====================================================================== Einde pagina 60 =================================================================

<br><br>====================================================================== Pagina 61 ======================================================================

<pre>                                                                              Bijlage III
Lijst met gebruikte afkortingen
AIV		         Adviesraad Internationale Vraagstukken
CAVV		        Commissie van Advies inzake Volkenrechtelijke Vraagstukken
COS		         Commissie Ontwikkelingssamenwerking
CTBT		        Comprehensive Test Ban Treaty (Alomvattend Kernstopverdrag)
CVV		         Commissie Vrede en Veiligheid
CCW		         Convention on Certain Conventional Weapons (Verdrag inzake het verbod
		            of de beperking van het gebruik van bepaalde conventionele wapens die
		            geacht kunnen worden buitensporig leed te veroorzaken of een niet-		
		            onderscheidende werking te hebben)
ICRAC 		      International Committee for Robotic Arms Control
ICRC		        International Committee of the Red Cross
LARs		        Lethal Autonomous Robotics
NAVO		        Noord-Atlantische Verdragsorganisatie
NGO		         Non-gouvernementele organisatie
NPV		         Non-Proliferatie Verdrag
TNO		         Nederlandse Organisatie voor toegepast-natuurwetenschappelijk onderzoek
UNIDIR 		     United Nations Institute for Disarmament Research
VN		          Verenigde Naties
</pre>

====================================================================== Einde pagina 61 =================================================================

<br><br>