Europeiska centralbankens yttrande av den 29 december 2021 över ett förslag till förordning om harmoniserade regler för artificiell intelligens (CON/2021/40) 2022/C 115/05

Inledning och rättslig grund

Den 3 november 2021 mottog Europeiska centralbanken (ECB) en begäran från Europeiska unionens råd om ett yttrande över ett förslag till Europaparlamentets och rådets förordning om harmoniserade regler för artificiell intelligens (rättsakt om artificiell intelligens) och om ändring av vissa unionslagstiftningsakter (nedan kallat förslaget till förordning).

ECB:s behörighet att avge ett yttrande grundas på artiklarna 127.4 och 282.5 i fördraget om Europeiska unionens funktionssätt eftersom förslaget till förordning innehåller bestämmelser som faller inom ECB:s behörighetsområde, särskilt vad gäller ECB:s uppgifter som rör tillsyn av kreditinstitut enligt artikel 127.6 i fördraget. I enlighet med artikel 17.5 första meningen i arbetsordningen för Europeiska centralbanken har detta yttrande antagits av ECB-rådet.

1. Allmänna kommentarer

1.1. ECB välkomnar att förslaget till förordning har till syfte att förbättra den inre marknadens funktionssätt genom att fastställa en enhetlig rättslig ram för i synnerhet utveckling, saluföring och användning av tillförlitlig artificiell intelligens i enlighet med unionens värden. ECB är medveten om betydelsen av att fastställa harmoniserade krav som är specifika för AI-system i syfte att säkerställa en konsekvent och hög skyddsnivå för övergripande allmänintressen som hälsa, säkerhet och grundläggande rättigheter.

1.2. ECB är även medveten om den ökande betydelsen av AI-baserad innovation inom banksektorn. Med beaktande av att AI-innovationen inom banksektorn är av gränsöverskridande natur och de möjligheter den ger stöder ECB, i egenskap av tillsynsmyndighet på unionsnivå, till fullo behovet av att säkerställa kreditinstitutens harmoniserade genomförande av förslaget till förordning vad gäller tillsynsrisker och krav. Av samma skäl och med tanke på AI:s ökande betydelse uppmanas unionslagstiftaren att i framtiden överväga möjligheten att inrätta en oberoende AI-myndighet på unionsnivå med ansvar för den harmoniserade tillämpningen av förslaget till förordning på hela den inre marknaden i frågor som rör hälsa, säkerhet och grundläggande rättigheter.

1.3. Vad gäller AI-system med hög risk som tillhandahålls eller används av kreditinstitut tolkar ECB det som att förslaget till förordning integrerar vissa skyldigheter i förfarandena enligt Europaparlamentets och rådets direktiv 2013/36/EU (nedan kallat kapitalkravsdirektivet). Genom förslaget till förordning eftersträvas framför allt överensstämmelse med kapitalkravsdirektivet genom att integrera vissa av leverantörernas och användarnas skyldigheter vad gäller riskhantering och styrning i kreditinstitutens system för intern styrning. Eftersom AI är nytt och komplext och förslaget till förordning innehåller allmänna krav behövs det ytterligare vägledning för att förtydliga tillsynsförväntningarna när det gäller skyldigheterna i samband med intern styrning.

1.4. ECB välkomnar att förslaget till förordning har till syfte att undvika överlappningar med den befintliga lagstiftningsramen genom att integrera vissa av dess bestämmelser i kapitalkravsdirektivets relevanta bestämmelser. I detta avseende välkomnar ECB att kreditinstitutsleverantörer av AI-system med hög risk ska vara skyldiga att införa ett kvalitetsledningssystem samt att kreditinstitut som använder AI-system med hög risk ska anses ha uppfyllt sin skyldighet att övervaka systemets drift genom att följa reglerna om former för intern styrning, processer och metoder enligt relevanta bestämmelser i kapitalkravsdirektivet.

1.5. ECB understryker att förslaget till förordning inte bör påverka kreditinstitutens mer specifika eller strikta tillsynskrav som fastställs i sektorslagstiftning och kompletteras av tillsynsvägledning. Exempelvis utökas skyldigheterna i fråga om intern styrning för kreditinstitut som använder AI-system enligt kapitalkravsdirektivet till faktisk kontroll av utkontraktering, inklusive identifiering, bedömning och minskning av alla tillhörande risker, vilket beskrivs närmare i EBA:s riktlinjer om utkontraktering. I förslaget till förordning har leverantörer och användare av AI-system med hög risk olika skyldigheter, men i EBA:s riktlinjer om utkontraktering görs ingen sådan åtskillnad mellan tredjepartsleverantörer av tekniska lösningar och kreditinstitut i samband med utkontraktering. I detta avseende medför inte utkontraktering att kreditinstitutens skyldighet att uppfylla lagstadgade krav minskar, och tillsynsmyndigheten är fortsatt behörig att övervaka de tillsynsrisker som utkontrakterade funktioner medför. Mot denna bakgrund skulle ECB välkomna ytterligare förtydliganden av vilka krav som är tillämpliga och vilka myndigheter som är behöriga när det gäller kreditinstitutsanvändares utkontraktering av AI-system med hög risk.

1.6. ECB:s roll enligt förslaget till förordning bör förtydligas, särskilt vad gäller 1) ECB:s tillsynsbefogenheter generellt sett samt i förhållande till marknadskontroll och bedömning av överensstämmelse och 2) tillämpningen av förslaget till förordning på utförandet av ECB:s uppgifter enligt fördraget.

1.7. ECB står fast vid sitt engagemang för en teknikneutral strategi i tillsynen av kreditinstitut. Dess roll är att säkerställa kreditinstitutens säkerhet och sundhet och upprätthålla en hög tillsynsnivå, oberoende av vilken specifik teknisk lösning som tillämpas. ECB avser att upprätthålla likvärdiga konkurrensvillkor tillsyn av kreditinstitut enligt den vägledande principen ”samma aktivitet, samma risker, samma tillsyn”.

2. ECB:s roll enligt förslaget till förordning

2.1. Förtydligande av ECB:s tillsynsbefogenhet vad gäller marknadskontroll

2.1.1. Enligt förslaget till förordning ska Europaparlamentets och rådets förordning (EU) 2019/1020 gälla för AI-system som omfattas av förslaget till förordning, och alla hänvisningar till en produkt inom ramen för förordning (EU) 2019/1020 ska förstås som att de omfattar alla AI-system som omfattas av förslaget till förordning. I detta avseende noterar ECB att syftet med förordning (EU) 2019/2020 är att förbättra den inre marknadens funktionssätt genom att stärka marknadskontrollen av produkter som omfattas av harmoniserad unionslagstiftning med syfte att säkerställa att endast produkter som uppfyller en hög kravnivå vad avser skydd för allmänintressen, såsom hälsa och säkerhet i allmänhet, hälsa och säkerhet på arbetsplatsen, konsumentskydd, miljöskydd och allmän trygghet samt annat allmänintresse som skyddas av harmoniserad unionslagstiftning, tillhandahålls på unionsmarknaden.

2.1.2. I förslaget till förordning definieras marknadskontrollmyndighet som den nationella myndighet som utför aktiviteter och vidtar åtgärder enligt förordning (EU) 2019/1020. I förordning (EU) 2019/1020 definieras i sin tur marknadskontrollmyndighet som en myndighet som av en medlemsstat enligt förordning (EU) 2019/1020 utses som ansvarig för att utföra marknadskontroll inom den medlemsstatens territorium. I skäl 9 i förordning (EU) 2019/1020 förtydligas att ansvaret för att genomdriva harmoniserad unionslagstiftning bör ligga hos medlemsstaterna, och deras marknadskontrollmyndigheter bör vara skyldiga att säkerställa att lagstiftningen respekteras fullt ut. På grundval av detta förstår ECB det som att ECB enligt förslaget till förordning inte på något sätt utgör en marknadskontrollmyndighet.

2.1.3. I förslaget till förordning anges även att för AI-system som släpps ut på marknaden, tas i bruk eller används av finansinstitut som regleras av unionslagstiftningen om finansiella tjänster ska marknadskontrollmyndigheten vid tillämpningen av förslaget till förordning vara den berörda myndighet som enligt den lagstiftningen ansvarar för den finansiella tillsynen över dessa institut. I skäl 80 i förslaget till förordning förtydligas även att unionslagstiftningen om finansiella tjänster omfattar regler och krav för interna styrelseformer och riskhantering som är tillämpliga på reglerade finansiella institut i samband med tillhandahållandet av dessa tjänster, även när de använder AI-system. Det förtydligas även att för att säkerställa en enhetlig tillämpning och kontroll av efterlevnaden av skyldigheterna enligt förslaget till förordning och relevanta regler och krav i unionslagstiftningen för finansiella tjänster, bör de myndigheter som ansvarar för tillsynen och kontrollen av efterlevnaden av lagstiftningen om finansiella tjänster, inbegripet i förekommande fall ECB, utses till behöriga myndigheter för tillsynen över genomförandet av förslaget till förordning, även med avseende på marknadskontroll, när det gäller AI-system som tillhandahålls eller används av reglerade och övervakade finansiella institut. I detta avseende hänvisas även till behovet att ytterligare öka konsekvensen mellan förslaget till förordning och de regler som är tillämpliga på kreditinstitut som regleras genom kapitalkravsdirektivet.

2.1.4. Enligt artikel 127.6 i fördraget får rådet med enhällighet tilldela ECB särskilda uppgifter i samband med tillsynen över kreditinstitut och andra finansinstitut med undantag av försäkringsföretag. På grundval av detta tilldelas genom rådets förordning (EU) nr 1024/2013 (nedan kallad SSM-förordningen) ECB särskilda uppgifter i samband med tillsynen över kreditinstitut i syfte att bidra till kreditinstitutens säkerhet och sundhet och det finansiella systemets stabilitet inom unionen och inom varje medlemsstat med fullständig hänsyn till och skyldighet att beakta den inre marknadens enhetlighet och integritet, på grundval av likabehandling av kreditinstitut i syfte att förebygga regelarbitrage. I detta hänseende har ECB exklusiv behörighet att för tillsynsändamål säkerställa efterlevnad med alla relevanta unionsakter, vilket ställer krav på att kreditinstitut bland annat har effektiva riskhanteringsprocesser och interna kontrollmekanismer. ECB:s tillsynsroll är i detta avseende begränsad till att säkerställa att kreditinstitut genomför strategier och processer för att utvärdera och hantera sin exponering för tillsynsrisker, inbegripet risker kopplade till olika aspekter av bankernas affärsmodeller, styrning och operativa risker, och som uppstår genom användning av tekniska lösningar för att säkerställa kreditinstitutens säkerhet och sundhet och det finansiella systemets stabilitet.

2.1.5. Marknadskontroll syftar inte till att säkerställa kreditinstitutens säkerhet och sundhet, utan fokus ligger i stället på att skydda enskilda personers intressen som kan påverkas av AI-system som medför missbruk genom att säkerställa att sådana system uppfyller de krav som krävs för att säkerställa en hög skyddsnivå för allmänna intressen såsom människors hälsa och säkerhet. Som ECB förstår det har unionslagstiftaren därför inte för avsikt att ECB ska fungera som marknadstillsynsmyndighet gentemot kreditinstitut under dess tillsyn enligt förslaget till förordning. Denna slutsats är i linje med skälen i SSM-förordningen, som förtydligar att de nationella myndigheterna har behörighet att säkra en hög nivå på konsumentskyddet.

2.1.6. Mot denna bakgrund och för att vara förenlig med ECB:s tillsynsbefogenheter enligt artikel 127.6 i fördraget och SSM-förordningen föreslår ECB att förslaget till förordning ska formuleras så att det tydligt framgår att ECB inte har utsetts till marknadskontrollmyndighet eller anförtrotts några marknadskontrolluppgifter.

2.1.7. Även om marknadskontrolluppgifterna inte har anförtrotts ECB kan vissa medlemsstater komma att överväga att utse nationella behöriga myndigheter som deltar i tillsynen av kreditinstitut som ansvariga för att utföra marknadskontroll inom ramen för förslaget till förordning, i den mån det är tillåtet enligt deras mandat och åtminstone i den mån som marknadskontrolluppgifter avser situationer där ett AI-system utnyttjas för eget bruk. Om nationella behöriga myndigheter som för närvarande deltar i tillsynen av kreditinstitut utses som ansvariga för sådan marknadskontroll, kan detta ses som en garanti för att tillsynsresultaten är samstämmiga och kostnadseffektiva samtidigt som man drar nytta av den sakkunskap som dessa myndigheter använder sig av för sina utrednings- och tillsynsbefogenheter i fråga om kreditinstitut.

2.1.8. Slutligen noterar ECB att bestämmelserna om marknadskontroll i förslaget till förordning inte behandlar situationer där ett AI-system utnyttjas för eget bruk på ett adekvat sätt. Den befogenhet som marknadskontrollmyndigheterna enligt förslaget till förordning har att dra tillbaka eller återkalla ett AI-system behöver t.ex. inte nödvändigtvis medföra att systemet upphör i situationer med eget bruk. Unionslagstiftaren uppmanas därför att förtydliga vilka restriktiva åtgärder som gäller och vilka relaterade behöriga myndigheters befogenheter som bör tillämpas i situationer med eget bruk.

2.2. Förtydligande av ECB:s tillsynsbefogenheter vad gäller bedömning av överensstämmelse

2.2.1. I förslaget till förordning fastställs att när det gäller AI-system med hög risk som är avsedda att användas för att utvärdera fysiska personers kreditvärdighet eller fastställa deras kreditbetyg, och som släpps ut på marknaden eller tas i bruk av kreditinstitut, ska en bedömning av överensstämmelse utföras som ett led i översyns- och utvärderingsprocessen (ÖUP). I förslaget till förordning definieras bedömning av överensstämmelse som processen där det kontrolleras om de obligatoriska kraven för AI-system med hög risk har uppfyllts.

2.2.2. Som tidigare har påpekats har rådet enligt artikel 127.6 i fördraget tilldelat ECB särskilda uppgifter i fråga om politiken för tillsyn över kreditinstitut i syfte att bland annat bidra till kreditinstitutens säkerhet och sundhet och det finansiella systemets stabilitet inom unionen och inom varje medlemsstat. För att undvika att gå utöver de uppgifter som ECB tilldelas genom fördraget understryker ECB att läget kan bli sådant att ECB ska övervaka genomförandet av de relevanta kraven inom ramen för ÖUP och samtidigt fokusera på de tillsynsrisker som kreditinstitut kan exponeras för. I detta avseende uppmanas unionslagstiftaren att överväga i vilken utsträckning flera delar av bedömningen av överensstämmelse möjligtvis inte är av tillsynskaraktär, eftersom de till stor del rör den tekniska bedömningen av AI-system för att skydda människors hälsa och säkerhet och säkerställa att de grundläggande rättigheterna respekteras genom att minimera risken för felaktiga eller snedvridna beslut med stöd av AI-processer. Enligt de relevanta bestämmelserna i förslaget till förordning ska framför allt AI-system med hög risk utformas eller utformas och utvecklas 1) på grundval av tränings-, validerings- och testningsdataset som uppfyller vissa kvalitetskriterier där de använder teknik som inbegriper träning av modeller med data, 2) med funktioner som möjliggör automatisk registrering av händelser (loggar) för att säkerställa en spårbarhetsnivå som omfattar systemets funktion under hela dess livscykel och som är lämplig för systemets avsedda ändamål, 3) på ett sätt som säkerställer att fysiska personer, inbegripet verktyg för användargränssnitt mellan människa och maskin, på ett effektivt sätt kan ha tillsyn över dem när de används, för att förebygga eller minimera de risker för hälsa, säkerhet eller grundläggande rättigheter som kan uppstå när ett AI-system med hög risk används och 4) i syfte att uppnå en lämplig nivå avseende noggrannhet, robusthet och cybersäkerhet. Som förtydligas i skälen i förslaget till förordning är dessa krav som gäller kvaliteten på använda dataset, teknisk dokumentation och arkivering, transparens och information till användarna, mänsklig tillsyn samt robusthet, noggrannhet och cybersäkerhet nödvändiga för att på ett effektivt sätt begränsa riskerna för hälsa, säkerhet och grundläggande rättigheter.

2.2.3. Mot denna bakgrund uppmanas unionslagstiftaren att ytterligare överväga behovet att utse relevanta behöriga myndigheter som ansvariga för tillsynen av den bedömning av överensstämmelse som utförs av kreditinstitut vad gäller frågor som rör hälsa, säkerhet och grundläggande rättigheter samt att överväga behovet att säkerställa en harmoniserad tillämpning av förslaget till förordning på hela den inre marknaden genom att i framtiden inrätta en AI-myndighet på unionsnivå.

2.2.4. Dessutom är vissa krav på AI-system med hög risk inte riktigt tydliga eller tillräckligt specifika för att ge en tillräcklig bild av tillsynsförväntningarna. Kravet att tränings-, validerings- och testningsdataset ska vara relevanta, representativa, felfria och fullständiga kan exempelvis behöva förtydligas ytterligare. Med tanke på det omfattande mandat som har tilldelats europeiska standardiseringsorganisationer och därmed den potentiella risken att försvaga de normer som fastställs genom förslaget till förordning, bör de krav som enligt förslaget till förordning gäller för AI-system med hög risk vara tillräckligt specifika.

2.2.5. Slutligen tolkar ECB det som att den bedömning av överensstämmelse som kreditinstitut gör för AI-system i syfte att utvärdera fysiska personers kreditvärdighet eller fastställa deras kreditbetyg utgör en del av kreditinstitutets interna förhandskontroll. I detta avseende bör förslaget till förordning ändras för att återspegla att den specifika bedömning som tillsynsmyndigheten ska utföra som en del av ÖUP genomförs i efterhand.

2.3. Förtydligande av ECB:s tillsynsbefogenhet, generellt sett

ECB kan endast anses vara behörig myndighet i den mån det är nödvändigt för att ECB ska kunna utföra de uppgifter som tilldelats enligt SSM-förordningen. För att undvika ovisshet om rättsläget huruvida förslaget till förordning tilldelar ECB nya uppgifter föreslår ECB att förslaget till förordning, i stället för att direkt hänvisa till ECB som behörig myndighet, bör hänvisa till behöriga myndigheter enligt definitionen i relevanta unionsrättsakter, såsom kapitalkravsdirektivet. Det skulle därefter följa av SSM-förordningen att ECB enbart ska anses vara behörig myndighet med avseende på att utföra sina tillsynsuppgifter.

2.4. Förtydligande av ECB:s oberoende vid utförandet av sina uppgifter enligt fördraget

Som ECB förstår det kan ECB själv omfattas av förslaget till förordning när ECB agerar som leverantör som släpper ut AI-system på marknaden eller tar sådana system i bruk i unionen eller agerar som användare av AI-system belägna inom unionen. Detsamma gäller för nationella centralbanker. Enligt förslaget till förordning ska Europeiska datatillsynsmannen fungera som behörig tillsynsmyndighet och marknadskontrollmyndighet när unionens institutioner omfattas av detta förslag. De nationella centralbankerna kan stå under tillsyn av nationella behöriga myndigheter. I detta avseende är det viktigt att understryka att ECB och de nationella centralbankerna bör vara i stånd att fullgöra sina uppgifter enligt fördraget på ett oberoende sätt, t.ex. när en tillämpning av artificiell intelligens används för att utforma och genomföra penningpolitiken och främja väl fungerande betalningssystem. Det måste dock erkännas att ECBS oberoende vid utförandet av sina uppgifter inte innebär att det undantas från alla unionsrättsliga bestämmelser. ECB förstår att Europeiska datatillsynsmannens eventuella tillsyn av ECB och de nationella behöriga myndigheternas eventuella tillsyn av de nationella centralbankerna skulle begränsas till lämpliga kontroller över och styrning av ett AI-system och inte på något sätt ha till syfte att påverka ECB:s och de nationella centralbankernas förmåga att självständigt utföra de uppgifter som de tilldelats genom fördraget.

3. Klassificering av AI-system

3.1. Förslaget till förordning har till syfte att säkerställa ett proportionerligt regelverk i förhållande till sina mål genom att införa en riskbaserad metod som medför regelbördor endast när AI-system sannolikt medför stora risker för de grundläggande rättigheterna och säkerheten. Med tanke på den framtida utvecklingen av AI-teknik innehåller dock förslaget till förordning en bred definition av programvara som klassificeras som AI-system. Ett AI-system utgör sålunda programvara som utvecklats för att generera utdata såsom innehåll, förutsägelser, rekommendationer eller beslut, med hjälp av statistiska metoder, metoder för maskininlärning samt sök- och optimeringsmetoder. En sådan bred definition skulle täcka in ett brett spektrum av kreditinstitutens verksamheter, framför allt vad gäller system avsedda att fastställa kreditbetyg för fysiska personer.

3.2. Enligt förslaget till förordning skulle den stora majoriteten av kreditbedömningsverksamheter som använder AI-system automatiskt omfattas av de övergripande minimikraven för AI-system med hög risk. Följaktligen måste samma krav uppfyllas av flera verksamheter, bland marknadsföring inriktad mot att värva nya kunder, modellering av insamlade data och standardiserade kreditbetygsmodeller (t.ex. en resultattavla som använder logistiska regressionsmetoder). För att öka tydligheten i tillsynsförväntningarna och i överensstämmelse med ECB:s teknikneutrala strategi föreslås att AI-system som är avsedda att användas för att utföra kreditbedömningar av fysiska personer eller fastställa deras kreditvärdighet och som bygger på fristående användning av linjära eller logistiska regressions- eller beslutsträd under mänsklig tillsyn inte bör klassificeras som AI-system med hög risk, förutsatt att sådana metoder har en obetydlig inverkan på fysiska personers kreditbedömningar eller kreditvärdighet.

3.3. Eftersom kreditbedömningar är något som kreditinstitut utför regelbundet i sin dagliga verksamhet, föreslår ECB att de krav som gäller kvalificering av AI-system avsedda att användas för att användas för att utvärdera fysiska personers kreditvärdighet eller fastställa deras kreditbetyg som ”AI-system med hög risk” bör träda i kraft först när kommissionen har antagit allmänna specifikationer om detta. Dessa allmänna specifikationer bör nämligen både fastställa villkoren för att AI-system med hög risk inom detta område förutsätts överensstämma med de tillämpliga kraven och definiera när AI-system bör anses som att de ”tas i bruk av småskaliga leverantörer för deras eget bruk” och sålunda omfattas av undantaget från att klassificeras som ett AI-system med hög risk. Mot denna bakgrund bör ECB inkluderas i den förteckning över organ med vilka samråd ska ske innan sådana allmänna specifikationer antas, i de fall då de gäller AI-system som är avsedda att användas för att utvärdera fysiska personers kreditvärdighet eller fastställa deras kreditbetyg.

3.4. Slutligen välkomnar ECB möjligheten att uppdatera förteckningen över AI-system med hög risk i bilaga III till förslaget till förordning och är redo för samarbete med, och samråd från, kommissionen om identifieringen av ytterligare potentiella risker med AI-system som kan utgöra en risk för skada på hälsa och säkerhet eller en risk för negativ inverkan på grundläggande rättigheter. Frånsett de AI-system som används för att utvärdera fysiska personers kreditvärdighet eller kreditbetyg betecknas inte andra system som kreditinstituten kan utnyttja som högrisksystem i förslaget till förordning. Men kreditinstituten är nu igång med att utveckla, eller överväger att utveckla och använda, AI-datamodeller som kopplar samman försäljnings-, transaktions- och resultatdata för att säkerställa en tydlig översikt över uppföranderisker inom ett visst område. På samma sätt kan AI-system användas vid realtidsövervakning av betalningar, eller profilering av kunder eller transaktioner med avseende på bekämpning av penningtvätt och finansiering av terrorism. I de fall där ECB rekommenderar att förslaget till förordning ska ändras anges ett specifikt förslag i ett separat tekniskt arbetsdokument som åtföljs av en förklaring. Det tekniska arbetsdokumentet finns på engelska på i EUR-Lex.

Utfärdat i Frankfurt am Main den 29 december 2021.

Christine Lagarde

ECB:s ordförande