De cyberveiligheidsrisico’s van AI-systemen
Het einde van het onderhandelingsproces rondom de AI Act van de Europese Unie nadert. De nieuwe verordening heeft tot doel de regulering van AI-systemen als geheel te versterken op basis van een risk-based benadering. Toch lijken bepaalde cybersecurity-aspecten van AI-systemen zowel in de inhoud van het wetsvoorstel als in de institutionele discussies niet veel aandacht te krijgen. Dit geldt met name voor de beveiliging van de componenten waarop AI-systemen zijn gebouwd, zoals AI-modellen. Deze kwestie onderzoekt Giacomo Delinavelli in deze blog.
3 November 2023
Blog
Blog
bias
Aandachtspunten
Volgens het agentschap kunnen "al deze bedreigingen worden gekoppeld aan meerdere kwetsbaarheden, zoals gebrek aan training ten gevolge van gerichte aanvallen, slechte controle over welke informatie door het model wordt opgehaald, gebrek aan voldoende gegevens om vergiftiging te weerstaan, slecht beheer van toegangsrechten, gebruik van kwetsbare componenten en ontbrekende integratie met een bredere cyberweerbaarheidsstrategie."
Het beoordelen van de bijbehorende cybersecurityrisico's van een AI-systeem is niet alleen een best practice, maar ook een wettelijke verplichting die wordt voorzien in bestaande en aankomende wetgeving, zoals de Machinery Regulation (3), het AI-Act voorstel, het voorstel voor een Cybersecurity Resilience Act, en, voor bepaalde sectoren, de NIS2-richtlijn.
Volgens een recente studie van het JRC (4), moeten bepaalde aspecten in het bijzonder in gedachten worden gehouden:
1. De focus van de AI-wet ligt op AI-systemen.
De structuur van AI-systemen omvat verschillende interne componenten, waarvan sommige een verband met AI hebben, terwijl andere niet. Hoewel AI-modellen essentiële componenten van AI-systemen zijn, vormen ze op zichzelf geen AI-systemen. De in de AI Act vastgelegd cybersecurityvereiste is van toepassing op het AI-systeem als geheel en niet direct op de interne componenten.
2. Naleving van de AI Act vereist noodzakelijkerwijs een beoordeling van het beveiligingsrisico.
-
Het beveiligen van AI-systemen vereist een integrale en consistente benadering met gevestigde methoden en AI-specifieke controles.
4. Er zijn beperkingen in de stand van de techniek voor het beveiligen van AI-modellen.
In de huidige AI-markt is er een breed scala aan AI-technologieën met verschillende niveaus van volwassenheid. Niet alle AI-technologieën staan gereed voor gebruik in AI-systemen die zijn ontworpen voor inzet in hoogrisicoscenario's, tenzij hun cybersecuritybeperkingen adequaat worden aangepakt. In sommige gevallen, met name voor opkomende AI-technologieën, zijn er inherente beperkingen die niet uitsluitend op het niveau van het AI-model kunnen worden aangepakt. In dergelijke gevallen kan naleving van de cybersecurityvereisten van de AI Act alleen worden bereikt door de eerder beschreven holistische benadering.
Conclusie
,
Bronnen
https://www.enisa.europa.eu/publications/enisa-threat-landscape-2023;
https://www.technologyreview.com/2023/10/23/1082189/data-poisoning-artists-fight-generative-ai/amp/;
The cybersecurity risk is recognised in Recital 25 Machinery Regulation, which requires “manufacturers to adopt proportionate measures for the protection of the safety of the product within the scope of this Regulation notwithstanding, the application of other Union legal acts specifically addressing cybersecurity aspects.”;
https://publications.jrc.ec.europa.eu/repository/handle/JRC134461.
