Aansprakelijk voor AI in software?

Misschien herinner jij je de AI chatbot van Microsoft ‘Tay’ nog wel. Wat begon als een onschuldige zelflerende chatbot die bedoeld was voor ‘casual and playful conversation’, transformeerde binnen enkele uren in een kleingeestig digitaal monster dat allerlei racistische en discriminerende uitingen begon te twitteren. Dat Microsoft de chatbot binnen 24 uur weer offline haalde is logisch. Maar, ook in minder extreme gevallen ben je als bedrijf verantwoordelijk voor jouw AI (artificial intelligence) toepassing. In deze blog vertel ik je waar je op kunt letten om aansprakelijkheid te voorkomen.

Verdubbeling investeringen in artificial intelligence verwacht

AI wordt momenteel al veel toegepast, zoals voor marketing, klantenservice, wetenschappelijk onderzoek, maar ook om bepaalde risico’s in te schatten of koopgedrag te voorspellen. Met behulp van AI kunnen we energiekosten reduceren, duurzamer voedsel produceren en COVID-uitbraken voorspellen. Bedrijven maken steeds meer gebruik van big data en passen AI toe om processen efficiënter te maken. De mogelijkheden van AI lijken grenzeloos en er wordt substantieel in geïnvesteerd: zo begroot ING dat de investeringen door de overheid en bedrijven aan AI software, hardware en services zullen verdubbelen in de aankomende jaren van 1,6 miljard in 2020 naar 3,2 miljard in 2025.

De commercialisering en brede toepassing van AI zorgt naast positieve ontwikkelingen ook voor een grotere bewustwording van de mogelijke (ethische) bezwaren. Het gebruik van AI is niet zonder risico. Onjuiste, bevooroordeelde en discriminerende uitkomsten liggen op de loer. In haar jaarverslag over 2021 gaat de Europese Commissie (EC) uitgebreid in op de uitdaging om grondrechten te (blijven) beschermen in het digitale tijdperk. Mede om deze reden wil de EC de inzet van AI in Europa door overheden en bedrijven aan banden leggen. De EC heeft een verordening voorgesteld om de risico’s op verkeerd gebruik in te perken. Dit roept vragen op. Op welke manier is AI straks nog wél toegestaan en wat zijn de gevolgen van vastgesteld misbruik?

Lees verder voor een uitleg over de bestaande en toekomstige regelgeving, maar ook voor de praktische gevolgen daarvan bij het inzetten van AI binnen jouw bedrijf. Als je geen zin hebt om het uitgebreide verhaal te lezen, kun je ook meteen helemaal naar onder scrollen: daar vind je 7 belangrijke vereisten voor jouw AI software.

Huidige Nederlandse AI regelgeving

Op dit moment bestaan er nog geen specifieke wetten die AI/algoritmes reguleren. Dat betekent echter niet dat er geen regels zijn. AI wordt vaak verwerkt in producten, processen of diensten die al wel gereguleerd worden. Bovendien gelden natuurlijk meer algemene regels ook voor AI, zoals op het gebied van privacy en consumentenbescherming. Zonder overeenkomst of specifieke regels moet voor beantwoording van de vraag of je aansprakelijk bent voor een bepaalde AI toepassing in Nederland gekeken worden of je een ‘algemene zorgvuldigheidsnorm’ hebt geschonden. Als je een AI oplossing openbaar maakt die risico’s meebrengt, dan moet je voldoende voorzorgsmaatregelen nemen om schade te voorkomen. De basis voor deze aansprakelijkheid is het aloude Kelderluik-arrest (1965). Ter illustratie: dit is dezelfde juridische basis als bijvoorbeeld in de Shell-uitspraak over ‘klimaataansprakelijkheid’ eerder dit jaar, waarover ook een blog werd geschreven. De vraag hoe de zorgvuldigheidsnormen die voor ieder bedrijf gelden moeten worden ingevuld, is niet eenvoudig te beantwoorden. Helaas kan ik het niet anders dan juridisch omschrijven: het is afhankelijk van de omstandigheden van het geval. De rechtspraak is op dit punt bovendien op zijn zachtst gezegd ‘in beweging’. Hoewel geen rechtstreeks beroep kan worden gedaan op richtsnoeren die geen wettelijke status hebben, worden dergelijke vormen van ‘soft law’ wel gebruikt bij de invulling van zorgvuldigheidsnormen die voor ieder bedrijf gelden. Specifiek voor AI zijn op initiatief van de EC ethische richtsnoeren opgesteld die zijn gepubliceerd in 2019. Deze richtsnoeren geven een kader voor betrouwbare AI. Het is dan ook aan te raden om jouw AI toepassing te toetsen aan deze richtsnoeren, die ik onderaan dit artikel nog concreet zal toelichten.

Nieuwe Europese AI regelgeving: ‘strengste ter wereld’

Europa wil de mondiale hub voor betrouwbare kunstmatige intelligentie zijn en kwam vorig jaar met een voorstel voor een nieuwe AI verordening (Verordening). De Verordening is onderdeel van een gecoördineerd plan: de regels moeten Europeanen vertrouwen geven in de mogelijkheden van AI. Europa opteert voor de strengste regelgeving ter wereld voor AI, “om de leidende positie van Europa in de ontwikkeling van mensgerichte, duurzame, veilige, inclusieve en betrouwbare AI te versterken”. Doel is om de privacy en grondrechten van mensen te waarborgen en voor bedrijven duidelijkheid te scheppen over hoe zij AI mogen toepassen. De EC is al een aantal jaar bezig met het bevorderen en versterken van de samenwerking op het gebied van AI. Hoewel het wetgevingsproces nog wel een paar jaar zal duren, is het verstandig om daar nu alvast op voor te sorteren. Immers, als je jouw bedrijfsprocessen nog moet aanpassen op het moment dat de verordening in werking treedt, dan is het te laat: regels in verordeningen zijn direct rechtsreeks van toepassing in de alle lidstaten van de Europese Unie.

Op wie is het voorstel van toepassing?

Het voorstel richt zich met name op de ontwikkelaars, distributeurs en gebruikers van AI-toepassingen. Door regulering moeten AI-toepassingen gaan voldoen aan specifieke EU-regels voor productveiligheid. De regels gelden voor zowel publieke als private actoren binnen én buiten de Europese Unie. Hieronder vallen bedrijven die een AI-systeem zelf in de handel brengen of een dergelijk systeem gebruiken wanneer dit impact heeft op de burgers in de lidstaten. Het kan zowel betrekking hebben op aanbieders (denk aan een ontwikkelaar van een tool om cv’s te screenen) als op gebruikers van risicovolle AI-systemen (zoals een bank die een screeningtool koopt). Voor wie gelden de nieuwe regels dan niet? Alleen particuliere, niet-professionele gebruikers worden uitgezonderd.

De inhoud van de nieuwe spelregels voor AI

Wat worden de spelregels voor het gebruik van AI precies en welke vormen zijn niet meer toegestaan? De regels hebben met name grote gevolgen voor ontwikkelaars en gebruikers van zogenaamde ‘hoog risico’ AI-systemen. De EC gaat uit van een piramide waarin de mate van risico bepaalt hoeveel regels moeten worden nageleefd. Dit zou de burger vertrouwen moeten geven in correct gebruik van AI. Het goede gebruik wordt vervolgens afgedwongen door het instellen van torenhoge boetes bij overtreding van de regels, zelfs voor niet-Europese bedrijven, vergelijkbaar met de boetes die kunnen worden opgelegd bij het overtreden van privacywetgeving.

De voorgestelde nieuwe Verordening maakt onderscheid tussen vier risicocategorieën:

1. Minimaal risico

Een minimaal risico levert onschuldige AI software op waar geen of nauwelijks risico’s aan verbonden zijn. Voorbeelden hiervan zijn spamfilters, zoekmachines of aanbevelingsalgoritmen zoals we die kennen van Spotify en Netflix. Het wetsvoorstel laat dergelijke AI grotendeels ongemoeid.

2. Beperkt risico

Chatbots zoals Tay, maar bijvoorbeeld ook chatbots die worden gebruikt als ‘klantenservice’ of ‘deepfake’-video’s vallen in de categorie AI software die een beperkt risico oplevert. De Verordening vindt transparantie wel essentieel voor dat soort AI.

3. Hoog risico

Dit zijn AI-toepassingen waaraan grote risico’s verbonden kunnen zijn, zoals een bedreiging voor de gezondheid, veiligheid of grondrechten van personen. Het gaat hierbij onder andere om AI-toepassingen die een beoordeling kunnen maken van iemands financiële situatie. Dit kan vervolgens van invloed zijn op het verkrijgen van een financiering zoals een hypotheek. Andere voorbeelden zijn de selectie bij sollicitatieprocedures en de toegang van burgers tot sociale zekerheid. Het wetsvoorstel bevat strenge regels voor dergelijke AI om vormen van discriminatie te voorkomen.

4. Onaanvaardbaar risico

Een onaanvaardbaar risico vormt AI waaraan zeer grote risico’s verbonden zijn doordat daarmee de grondrechten en veiligheid van personen worden geschaad. Het geijkte voorbeeld zijn social scoring systemen, zoals we die uit Azië kennen en waarmee overheden burgers een score geven op basis van hun gedrag (je krijgt bijvoorbeeld minpunten omdat je door rood rijdt). Dit wordt verboden. Gezichtsherkenning in openbare ruimten is in principe ook verboden, behalve in sommige ‘hoog risico’ gevallen.

Wat betekent dit voor de praktijk?

De plannen van de EC, waaronder de Verordening, laten zien dat het gebruiken van AI steeds meer concrete verplichtingen voor ontwikkelaars en gebruikers met zich mee zal brengen. Ontwikkelaars moeten zich al bij de ontwikkeling bewust zijn van de ethische aspecten en toekomstige verplichtingen zoals de mogelijkheid van menselijk toezicht. De Verordening is vooral gericht op AI-toepassingen met een hoog of onaanvaardbaar risico voor personen. AI met een onaanvaardbaar risico zoals social scoring wordt, terecht, verboden. Alleen voor AI-toepassingen die wettelijk zijn toegestaan of die de openbare veiligheid waarborgen, geldt in bepaalde gevallen een uitzondering.

AI-toepassingen met hoog risico worden met de Verordening aan strikte regelgeving onderworpen. Voordat je dit soort AI op de markt kan brengen, moet een derde partij een conformiteitsbeoordeling uitvoeren. Deze beoordeling stelt eisen aan onder andere documentatie en administratie. Ook zaken als menselijk toezicht, veiligheid en transparantie naar gebruikers moeten worden vastgelegd. Daarnaast wordt het verplicht zulke AI-toepassingen te registreren in een centrale Europese database. Het overtreden van de regelgeving kan worden beboet met een geldboete van maximaal 6% van de jaaromzet in het voorafgaande kalenderjaar. De lidstaten zullen zelf een autoriteit moeten aanwijzen die toeziet op de naleving.

What’s next?

Het is nog niet duidelijk in welke vorm de Verordening uiteindelijk aangenomen wordt, want het wetgevingsproces is nog in volle gang. De verwachting is echter dat er geen grote wijzigingen meer worden doorgevoerd en dat de wetgeving over ongeveer twee jaar in werking treedt. Zodra de Verordening is vastgesteld, worden deze regels direct en rechtstreeks toepasselijk voor jouw onderneming.

Voor nu is het vooral van belang om te onthouden dat indien je AI wil toepassen met een hoog risico, je in de toekomst zal moet voldoen aan de hierboven genoemde verplichtingen. Maar dat betekent niet dat je nu nog geen rekening hoeft te houden met de toekomstige regels: de algemene regels voor aansprakelijkheid gelden ook nu gewoon en de bestaande richtsnoeren voor ethisch gebruik van AI kunnen in een concrete zaak worden meegenomen. Onze aanbeveling is dus om die richtsnoeren na te leven op het moment dat je een AI toepassing gaat of laat ontwikkelen. Wat zijn de belangrijkste punten?

• Zorg voor naleving van 4 ethische beginselen op basis van grondrechten:

1. 1. Respect voor menselijke autonomie
   2. Preventie van schade
   3. Rechtvaardigheid
   4. Verantwoording

• Houd rekening met 7 belangrijke vereisten:

1. 1. Menselijke controle en toezicht
   2. Technische robuustheid en veiligheid
   3. Privacy en data governance
   4. Transparantie
   5. Diversiteit, non-discriminatie en rechtvaardigheid
   6. Maatschappelijk en milieuwelzijn
   7. Aansprakelijkheid

En blijf controleren of jouw AI toepassing aan die belangrijke vereisten blijft voldoen. Het is verder verstandig om de ontwikkelingen goed in de gaten te houden.

Nog vragen over het gebruik van AI binnen je onderneming of meer in het algemeen over de inwerkingtreding van de nieuwe regels omtrent AI en haar gevolgen? Wij hebben ervaring met advisering over software en AI en denken graag met je mee.

Neem gerust vrijblijvend contact op met Martina van Eldik via +31(0)30-2322 373, of stuur een e-mail naar vaneldik@bvdv.nl