Moet de ontwikkelaar van een autonoom systeem expliciete moraliteitsregels opnemen?

Uit Kritisch denken wiki
Ga naar: navigatie, zoeken

Deze uitwerking is opgesteld tijdens een workshop op het Landelijk Architectuur Congres 2017 en vervolgens nabewerkt. Als context is gekozen voor Google Alexa; een systeem dat spraakopdrachten van gebruikers omzet in automatische acties.

Doel

  • Moreel aanvaardbaar gedrag (maatschappelijke doelstelling)
  • Geld verdienen, ondermeer met gegevens over gebruikers (doelstelling van leverancier van autonoom systeem)
  • Hip zijn (doelstelling van gebruiker)

Vraag en probleem

  • Moet de ontwikkelaar van een autonoom systeem expliciete moraliteitsregels opnemen?
  • Wat is moraliteit?
  • Wat is de potentiële impact van immoreel gedrag?
  • Wie is de ontwikkelaar van het autonoom systeem? (leverancier of individuele programmeur?)
  • Wat zijn alle omstandigheden waarin het systeem zich kan bevinden en waarin moreel gedrag moet worden gegarandeerd?

Informatie

  • Commerciële belangen spelen een belangrijke rol
  • Autonome systemen hebben in veel gevallen ook een achterliggend rekencentrum nodig met hoge CO2 impact
  • Een autonoom systeem kan in principe alle mogelijke digitale acties uitvoeren (transacties)

Inferentie

  • het moet mogelijk zijn om begrenzingen aan te brengen in het autonome systeem
  • de acties van het autonome systeem moeten herleidbaar zijn
  • er moet rekening worden gehouden met een diversiteit aan omstandigheden (plaats, temperatuur, luchtdruk, vochtigheid, geluidsbron)
  • De datakwaliteit van de metingen van de sensoren is bepalend voor het gedrag van het autonoom systeem
  • De kwaliteit van de voorbeelddata dat wordt gebruikt om het autonoom systeem te trainen is belangrijk
  • Een individuele ontwikkelaar kan niet overzien welke situaties allemaal kunnen optreden, en wat daarvan de impact is

Concepten

  • moraliteit
  • inherently contested concepts
  • omstandigheden
  • audit trail
  • abstractie van werkelijkheid

Aannames

  • met regels kun je alles specificeren (aanname in de vraag)
  • er is voldoende opslagcapaciteit voor het vastleggen van een audit trail, inclusief de meetgegevens die daarbij zijn gebruikt (aanname bij oplossing)

Implicaties

  • de leverancier heeft een grote juridische afdeling nodig

Gezichtspunt

  • Maatschappij
  • Leverancier
  • Gebruikers
  • Elements of Thought

Gebaseerd op Elements of Thought sjabloon