Polisens användning av AI för ansiktsigenkänning i realtid

Denna lag träder i kraft den 1 juli 2026.

9.3Beslutets innehåll

kan antas att syftet med beslutade eller förutsedda åtgärder motverkas eller den framtida verksamheten skadas om uppgiften röjs. Sekretess ska även gälla om det inte står klart att uppgiften kan röjas utan att den enskilde eller någon närstående till honom eller henne lider skada eller men.

skyddas oavsett var de finns. Uppgifter i sådan verksamhet har samma skyddsbehov oavsett hos vilken myndighet uppgifterna förekommer. Säkerhetspolisen kan exempelvis i vissa fall bistå vid polisverksamhet som leds av Polismyndigheten och i enskilda fall kan Polismyndigheten lämna över en förundersökning eller annan liknande uppgift i den brottsbekämpande verksamheten till Säkerhetspolisen för fortsatt handläggning (13 § förordningen med instruktion för Säkerhetspolisen och 27 § förordningen med instruktion för Polismyndigheten).

I promemorian föreslås att lagarna om överlämnande och utlämning kompletteras med regler som uttryckligen gör den nu aktuella tekniken tillgänglig i det internationella straffrättsliga samarbetet. Åklagarmyndigheten hänvisar till vissa uttalanden i propositionen Bättre möjligheter att verkställa frihetsberövanden och menar att de ska uppfattas så att

innebär för den som åtgärden riktas mot eller för något annat motstående intresse, se avsnitt 7.2. Det framgår därmed att det måste vara proportionerligt att använda tekniken i det enskilda fallet, vilket också följer av AI-förordningen. När det inte längre finns stöd för användningen ska den omedelbart upphöra (se avsnitt 9.5). Ett ytterligare krav är att tekniken endast får användas om det är absolut nödvändigt för ändamålet (se avsnitt 7.1). Det innebär att tekniken endast får användas när det finns ett påtagligt behov av det och det inte finns några andra effektiva åtgärder att tillgå som är mindre ingripande för de berörda. En viktig begränsning som följer av AI-förordningen är att användningen alltid ska avse en på förhand utpekad person. Tekniken kommer därmed inte kunna användas för allmän bevakning. Det föreslås vidare att tillstånd endast får meddelas i den geografiska och tidsmässiga omfattning som är absolut nödvändig. Detta innebär att omfattningen av tillståndet alltid ska stå i rimlig proportion till ändamålet (se avsnitt 9.3). AI-förordningen föreskriver även att beslut som har negativa rättsliga följder för en person inte får fattas enbart på grundval av utdata från AI-system för ansiktsigenkänning i realtid (artikel 5.3). Integritetsskyddsmyndigheten och Myndigheten för säkerhet och integritetsskydd anser att det förbudet bör tas in i den nya lagen i förtydligande syfte. Förbudet är direkt tillämpligt och regeringen anser därför att det inte också bör återges i den nationella regleringen.

pågående brottsutredning eller som har dömts för brott till en frihetsberövande påföljd men som inte har inställt sig till eller avvikit från verkställighet av straffet. Förslagen innebär att AI-systemet granskar ett kameramaterial och lokaliserar eller identifierar en på förhand utpekad person i stället för att det görs av en fysisk person. Det innebär att polisens arbete kan effektiviseras. Den brottsutveckling som skett i Sverige är allvarlig och det har under de senaste åren skett en ökning av det dödliga skjutvapenvåldet i samhället. Det sagda ställer högre krav på att polisen måste arbeta på ett delvis annat sätt än tidigare och det finns därför ett stort behov av att polisens verktyg anpassas till den utvecklingen. Förslagen har utformats med hänsyn till dessa behov. En närmare redogörelse för behoven och den förväntade effektiviteten finns i avsnitt 6.1 och 7.1.

exploatering enlig 4 kap. 1 b § brottsbalken om exploateringen avser sexuella tjänster (punkten 1) eller som är försvunnen och som misstänks vara utsatt för brott (punkten 2), om det finns en överhängande risk för att personen kommer att begå ett allvarligt brott som innebär fara för någon annans liv eller fysiska säkerhet (punkten 3), eller som skäligen kan misstänkas ha begått ett sådant brott som avses i bilaga II till AI-förordningen och för vilket det i straffskalan ingår fängelse i fyra år eller mer eller sådant straff kan följa för försök, förberedelse eller stämpling till sådana brott, i syfte att utreda eller lagföra brottet (punkten 4).

om harmoniserade regler för artificiell intelligens och om ändring av förordningarna (EG) nr 300/2008, (EU) nr 167/2013, (EU) nr 168/2013, (EU) 2018/858, (EU) 2018/1139 och

(EU) 2019/2144 samt direktiven 2014/90/EU, (EU) 2016/797 och (EU) 2020/1828 (förordning om artificiell intelligens)

(Text av betydelse för EES)

EUROPAPARLAMENTET OCH EUROPEISKA UNIONENS RÅD HAR ANTAGIT DENNA FÖRORDNING med beaktande av fördraget om Europeiska unionens funktionssätt, särskilt artiklarna 16 och 114, med beaktande av Europeiska kommissionens förslag, efter översändande av utkastet till lagstiftningsakt till de nationella parlamenten, med beaktande av Europeiska ekonomiska och sociala kommitténs yttrande (1), med beaktande av Europeiska centralbankens yttrande (2), med beaktande av Regionkommitténs yttrande (3), ienlighet med det ordinarie lagstiftningsförfarandet (4), och av följande skäl:

(1)Syftet med denna förordning är att förbättra den inre marknadens funktion genom att fastställa en enhetlig rättslig ram för i synnerhet utveckling, utsläppande på marknaden, ibruktagande och användning av system för artificiell intelligens (AI-system) i unionen i enlighet med unionens värden, främja användningen av människocentrerad och tillförlitlig artificiell intelligens (AI) och samtidigt säkerställa en hög skyddsnivå för hälsa, säkerhet och grundläggande rättigheter såsom fastställs i Europeiska unionens stadga om de grundläggande rättigheterna (stadgan), inbegripet demokrati, rättsstatens principer och miljöskydd, skydda mot skadliga effekter av AI-system i unionen, och stödja innovation. Denna förordning säkerställer fri rörlighet över gränserna för AI-baserade varor och tjänster, och förhindrar således att medlemsstaterna inför begränsningar av utvecklingen, saluföringen och användningen av AIsystem, om sådana inte uttryckligen tillåts enligt denna förordning.

(2)Denna förordning bör tillämpas i enlighet med unionens värden, som fastställs i stadgan, och underlätta skyddet av fysiska personer, företag, demokratin, rättsstatens principer och miljöskyddet, och samtidigt främja innovation och sysselsättning och göra unionen ledande när det gäller användningen av tillförlitlig AI.

(3)AI-system kan enkelt utnyttjas inom ett stort antal olika ekonomiska sektorer och i många delar av samhället, inklusive över gränser, och kan enkelt cirkulera i hela unionen. Vissa medlemsstater har redan undersökt antagandet av nationella regler för att säkerställa att AI är tillförlitligt och säkert samt utvecklas och används i enlighet med skyldigheter som rör grundläggande rättigheter. Skiljaktiga nationella regler kan leda till fragmentering av den inre marknaden och minska rättssäkerheten för operatörer som utvecklar, importerar eller använder AI-system. En enhetlig och hög skyddsnivå bör därför säkerställas i hela unionen för att tillförlitlig AI ska uppnås, medan skillnader som hindrar den fria rörligheten för samt innovation inom och användning och spridning av AI-system och relaterade produkter och tjänster på den inre marknaden bör förhindras genom fastställande av enhetliga

skyldigheter för operatörer och garanterande av ett enhetligt skydd för tvingande hänsyn till allmänintresset och personers rättigheter på hela den inre marknaden på grundval av artikel 114 i fördraget om Europeiska unionens funktionssätt (EUF-fördraget). I den utsträckning som denna förordning omfattar särskilda regler för skydd av individer när det gäller behandling av personuppgifter avseende begränsning av användningen av AI-system för biometrisk fjärridentifiering för brottsbekämpande ändamål, av användningen av AI-system för riskbedömningar av fysiska personer för brottsbekämpande ändamål och av användningen av AI-system för biometrisk kategorisering för brottsbekämpande ändamål, är det, när det gäller dessa särskilda regler, lämpligt att grunda denna förordning på artikel 16 i EUF-fördraget. Mot bakgrund av dessa särskilda regler och användningen av artikel 16 i EUF-fördraget är det lämpligt att samråda med Europeiska dataskyddsstyrelsen.

(4)AI ingår i en teknikfamilj under snabb utveckling som bidrar till en mängd ekonomiska, miljömässiga och samhälleliga vinster över hela spektrumet av näringslivssektorer och samhällsverksamheter. Genom att förbättra förutsägelserna, optimera verksamheter och resurstilldelning och individanpassa de digitala lösningar som är tillgängliga för enskilda och organisationer kan användningen av AI ge företag viktiga konkurrensfördelar och stödja socialt och miljömässigt fördelaktiga utfall, exempelvis inom hälso- och sjukvård, jordbruk, livsmedelssäkerhet, utbildning, media, sport, kultur, infrastrukturförvaltning, energi, transport och logistik, offentliga tjänster, säkerhet, rättsväsende, resurs- och energieffektivitet. Miljöövervakning, bevarande och återställande av biologisk mångfald och ekosystem samt begränsning av och anpassning till klimatförändringar.

(5)Samtidigt kan AI, beroende på omständigheterna kring den specifika tillämpningen, användningen och den tekniska utvecklingsnivån, ge upphov till risker och skada allmänna intressen och grundläggande rättigheter som skyddas av unionsrätten. Dessa skador kan vara materiella eller immateriella, inbegripet fysiska, psykologiska, samhälleliga eller ekonomiska skador.

(6)Med tanke på den stora inverkan som AI kan ha på samhället, och behovet av att bygga upp förtroende, är det mycket viktigt att AI och dess regelverk utvecklas i enlighet med unionens värden såsom de fastställs i artikel 2 i fördraget om Europeiska unionen (EU-fördraget), de grundläggande rättigheter och friheter som fastställs i fördragen och, enligt artikel 6 i EU-fördraget, stadgan. En förutsättning är att AI bör vara en människocentrerad teknik. Den bör fungera som ett verktyg för människor, med slutmålet att öka människors välbefinnande.

(7)För att säkerställa en konsekvent och hög skyddsnivå för allmänintressen på områdena hälsa, säkerhet och grundläggande rättigheter bör gemensamma regler fastställas för AI-system med hög risk. Dessa regler bör vara förenliga med stadgan, icke-diskriminerande och i linje med unionens internationella handelsåtaganden. De bör också ta hänsyn till den europeiska förklaringen om digitala rättigheter och principer för det digitala decenniet och de etiska riktlinjerna för tillförlitlig AI från högnivåexpertgruppen för artificiell intelligens (AI-expertgruppen).

(8)Därmed behövs en rättslig ram för unionen som fastställer harmoniserade regler för AI för att främja utvecklingen, användningen och spridningen av AI på den inre marknaden, varigenom samtidigt en hög skyddsnivå uppnås för allmänintressen, såsom hälsa, säkerhet och skydd av grundläggande rättigheter, inbegripet demokrati, rättsstatens principer och miljöskydd, såsom erkänns och skyddas enligt unionsrätten. För att uppnå detta syfte bör det fastställas regler som reglerar utsläppandet på marknaden, ibruktagandet och användningen av vissa AI-system, för att på så sätt säkerställa en väl fungerande inre marknad och göra det möjligt för dessa system att omfattas av principen om fri rörlighet för varor och tjänster. Dessa regler bör vara tydliga och robusta när det gäller att skydda grundläggande rättigheter, stödja nya innovativa lösningar, möjliggöra ett europeiskt ekosystem av offentliga och privata aktörer som skapar AI-system i linje med unionens värden och ta tillvara den digitala omställningens potential i hela unionen. Genom fastställandet av dessa regler, och åtgärder till stöd för innovation med särskild inriktning på små och medelstora företag, inbegripet uppstartsföretag, stöder denna förordning unionens mål att främja den europeiska människocentrerade AI-strategin och att bli världsledande inom utvecklingen av säker, tillförlitlig och etisk AI, såsom fastställts av Europeiska rådet (5), och den säkerställer skyddet av etiska principer, vilket särskilt har begärts av Europaparlamentet (6).

(9)Harmoniserade regler som är tillämpliga på utsläppande på marknaden, ibruktagande och användning av AI-system med hög risk bör fastställas i enlighet med Europaparlamentets och rådets förordning (EG) nr 765/2008 (7), Europaparlamentets och rådets beslut nr 768/2008/EG (8) och Europaparlamentets och rådets förordning (EU) 2019/1020 (9) (den nya lagstiftningsramen). De harmoniserade regler som fastställs i den här förordningen bör gälla i alla sektorer och bör, i linje med den nya lagstiftningsramen, inte påverka befintlig unionsrätt, särskilt om dataskydd, konsumentskydd, grundläggande rättigheter, sysselsättning och skydd för arbetstagare, samt produktsäkerhet, vilken den här förordningen kompletterar. Alla rättigheter och rättsmedel som föreskrivs genom sådan unionsrätt för konsumenter, och andra personer som AI-system kan ha en negativ inverkan på, inbegripet när det gäller ersättning för eventuella skador enligt rådets direktiv 85/374/EEG (10), förblir som en följd av detta opåverkade och fullt tillämpliga. Vidare bör den här förordningen, när det gäller anställning och skydd för arbetstagare, därför inte påverka unionsrätten om socialpolitik och nationell arbetsrätt, i överensstämmelse med unionsrätten, om anställnings- och arbetsvillkor, inbegripet hälsa och säkerhet på arbetsplatsen och förhållandet mellan arbetsgivare och arbetstagare. Den här förordningen bör inte heller påverka utövandet av grundläggande rättigheter som erkänns i medlemsstaterna och på unionsnivå, inbegripet rätten eller friheten att strejka eller att vidta annan åtgärd som ingår i medlemsstaternas respektive arbetsmarknadsmodell, eller rätten att förhandla om, ingå och tillämpa kollektivavtal eller vidta kollektiva åtgärder i enlighet med nationell rätt. Den här förordningen bör inte påverka de bestämmelser som syftar till att förbättra arbetsvillkoren för plattformsarbete som fastställs i ett direktiv från Europaparlamentet och rådet om bättre arbetsvillkor för plattformsarbete. Dessutom syftar den här förordningen till att stärka effektiviteten hos sådana befintliga rättigheter och rättsmedel genom att särskilda krav och skyldigheter fastställs, bland annat när det gäller transparens, teknisk dokumentation och loggning avseende AI-system. Vidare bör de skyldigheter som åläggs olika operatörer som ingår i AI-värdekedjan enligt den här förordningen tillämpas utan att det påverkar nationell rätt i överensstämmelse med unionsrätten, med verkan att användningen av vissa AI-system begränsas när sådan rätt inte omfattas av den här förordningen eller eftersträvar andra legitima mål av allmänt intresse än dem som eftersträvas genom den här förordningen. Till exempel bör nationell arbetsrätt och nationell rätt om skydd av minderåriga, dvs. personer under 18 år, med beaktande av allmän kommentar nr 25 (2021) till FN:s barnkonvention om barns rättigheter i den digitala miljön, i den mån de inte är specifika för AI-system och eftersträvar andra legitima mål av allmänt intresse, inte påverkas av den här förordningen.

(10)Den grundläggande rätten till skydd av personuppgifter garanteras särskilt genom Europaparlamentets och rådets förordningar (EU) 2016/679 (11) och (EU) 2018/1725 (12) samt Europaparlamentets och rådets direktiv (EU) 2016/680 (13). Europaparlamentets och rådets direktiv 2002/58/EG (14) skyddar dessutom privatlivet och konfidentialitet vid kommunikation, bland annat genom att villkor föreskrivs för all lagring av personuppgifter och icke-personuppgifter i, och för åtkomst från, terminalutrustning. De unionsrättsakterna ger grunden för en hållbar och ansvarsfull databehandling, även i de fall då dataset innehåller en blandning av personuppgifter och icke-personuppgifter. Den här förordningen syftar inte till att påverka tillämpningen av befintlig unionsrätt om behandling av personuppgifter, inbegripet uppgifter och befogenheter för de oberoende tillsynsmyndigheter som är behöriga att övervaka efterlevnaden av dessa instrument. Den påverkar inte heller de skyldigheter som leverantörer och tillhandahållare av AI-system har i sin roll som personuppgiftsansvariga eller personuppgiftsbiträden enligt unionsrätten eller nationell rätt om skydd av personuppgifter, i den mån utformningen, utvecklingen eller användningen av AI-system inbegriper behandling av personuppgifter. Det är också lämpligt att klargöra att

registrerade fortsätter att åtnjuta alla de rättigheter och garantier som de tillerkänns genom sådan unionsrätt, inbegripet de rättigheter som rör uteslutande automatiserat individuellt beslutsfattande, inbegripet profilering. Harmoniserade regler för utsläppande på marknaden, ibruktagande och användning av AI-system som inrättas enligt den här förordningen bör underlätta ett effektivt genomförande och göra det möjligt för de registrerade att utöva sina rättigheter och andra rättsmedel som garanteras enligt unionsrätten om skydd av personuppgifter och av andra grundläggande rättigheter.

(11)Denna förordning bör inte påverka tillämpningen av bestämmelserna om ansvar för leverantörer av förmedlingstjänster i Europaparlamentets och rådets förordning (EU) 2022/2065 (15).

(12)Begreppet AI-system i denna förordning bör vara tydligt definierat och nära anpassat till det arbete som utförs av internationella organisationer som arbetar med AI för att säkerställa rättssäkerhet, underlätta internationell konvergens och bred acceptans, och samtidigt ge flexibilitet för att hantera den snabba tekniska utvecklingen på detta område. Dessutom bör definitionen baseras på centrala egenskaper hos AI-system som skiljer det från enklare traditionella programvarusystem eller programmeringsmetoder och inte omfatta system som bygger på de regler som fastställs endast av fysiska personer för att automatiskt utföra operationer. En viktig egenskap hos AI-system är deras förmåga att dra slutsatser. Denna slutsatsförmåga avser processen att erhålla utdata, såsom förutsägelser, innehåll, rekommendationer eller beslut, som kan påverka fysiska och virtuella miljöer och AI-systemens förmåga att härleda modeller eller algoritmer, eller både och, från indata eller data. De tekniker som gör inferens möjlig när ett AI-system byggs upp inbegriper metoder för maskininlärning för inlärning genom data om hur vissa mål uppnås, och logik- och kunskapsbaserade strategier som drar slutsatser av kodad kunskap om eller symbolisk representation av den uppgift som ska lösas. Ett AI-systems kapacitet att dra slutsatser går utöver grundläggande databehandling genom att möjliggöra inlärning, resonemang eller modellering. Termen maskinbaserad avser det faktum att AI-system körs på maskiner. Hänvisningen till uttryckliga eller underförstådda mål understryker att AI-system kan fungera enligt uttryckliga definierade mål eller underförstådda mål. AI-systemets mål kan skilja sig från AI-systemets avsedda ändamål i ett specifikt sammanhang. Vid tillämpningen av denna förordning bör miljöer förstås som de sammanhang där AI-systemen är i drift, medan utdata som genereras av AI-systemet återspeglar olika funktioner som utförs av AI-system och inbegriper förutsägelser, innehåll, rekommendationer eller beslut. AI-system är utformade för att fungera med varierande grad av autonomi, vilket innebär att de är oberoende av mänsklig kontroll i viss mån och har förmåga att fungera utan mänskligt ingripande. Den anpassningsförmåga som ett AI-system kan uppvisa när det införts avser förmågan till självlärande, vilket gör det möjligt för systemet att förändras under sin användning. AI-system kan användas fristående eller som komponent i en produkt, oavsett om systemet är fysiskt integrerat i produkten (inbyggt) eller tjänar produktens funktioner utan att vara integrerat i produkten (icke-inbyggt).

(13)Begreppet tillhandahållare, som det hänvisas till i denna förordning, bör tolkas som varje fysisk eller juridisk person, inbegripet en offentlig myndighet, offentlig byrå eller ett annat organ, som under eget överinseende använder ett AI-system, med undantag för om AI-systemet används under personlig icke-yrkesmässig verksamhet. Beroende på typen av AI-system kan användningen av systemet påverka andra personer än tillhandahållaren.

(14)Begreppet biometriska uppgifter som används i denna förordning bör tolkas mot bakgrund av begreppet biometriska uppgifter enligt definitionen i artikel 4.14 i förordning (EU) 2016/679, artikel 3.18 i förordning (EU) 2018/1725 och artikel 3.13 i direktiv (EU) 2016/680. Biometriska uppgifter kan ge möjlighet till autentisering, identifiering och kategorisering av fysiska personer och igenkänning av fysiska personers känslor.

(15)Begreppet biometrisk identifiering, som det hänvisas till i denna förordning, bör definieras som automatiserad igenkänning av fysiska, fysiologiska och beteendemässiga mänskliga särdrag såsom ansikte, ögonrörelser, kroppsform, röst, prosodi, gång, hållning, hjärtfrekvens, blodtryck, lukt eller tangenttryckningskarakteristik för att fastställa en enskild persons identitet genom att jämföra denna individs biometriska uppgifter med lagrade biometriska uppgifter tillhörande individer i en referensdatabas, oavsett om individen har givit sitt medgivande eller inte. Detta utesluter AI-system som är avsedda att användas för biometrisk verifiering, vilket inbegriper autentisering, vars enda syfte är att bekräfta att en specifik fysisk person är den person som denne utger sig för att vara och att bekräfta identiteten på en fysisk person med det enda syftet att få åtkomst till en tjänst, låsa upp en enhet eller ha säker tillgång till lokaler.

(16)Begreppet biometrisk kategorisering, som det hänvisas till i denna förordning, bör definieras som att fysiska personer hänförs till särskilda kategorier på grundval av deras biometriska uppgifter. Sådana särskilda kategorier kan avse aspekter som kön, ålder, hårfärg, ögonfärg, tatueringar, beteende- eller personlighetsdrag, språk, religion, tillhörighet till nationell minoritet, sexuell läggning eller politisk åskådning. Detta omfattar inte system för biometrisk kategorisering som har en ren extrafunktion som är oupplösligt kopplad till en annan kommersiell tjänst, vilket innebär att funktionen av objektiva tekniska skäl inte kan användas utan den huvudsakliga tjänsten, och integreringen av denna funktion är inte ett sätt att kringgå tillämpligheten av reglerna i denna förordning. Filter som kategoriserar ansikts- eller kroppsegenskaper som används på marknadsplatser online kan till exempel utgöra en sådan extrafunktion, eftersom de kan användas endast i förhållande till den huvudsakliga tjänsten, som är att sälja en produkt genom att göra det möjligt för konsumenten att i förväg se produkten på sig själv och hjälpa konsumenten att fatta ett köpbeslut. Filter som används på sociala nätverkstjänster online och som kategoriserar ansikts- eller kroppsfunktioner för att göra det möjligt för användare att lägga till eller ändra bilder eller videor kan också betraktas som extrafunktioner, eftersom ett sådant filter inte kan användas utan den huvudsakliga tjänsten hos de sociala nätverkstjänsterna som utgörs av delning av innehåll online.

(17)Begreppet system för biometrisk fjärridentifiering, som det hänvisas till i denna förordning, bör definieras utifrån funktion, som ett AI-system avsett för identifiering av fysiska personer utan deras aktiva medverkan, vanligtvis på distans, genom jämförelse mellan en persons biometriska uppgifter och biometriska uppgifter i en referensdatabas, oavsett den specifika teknik, process eller typ av biometriska uppgifter som används. Sådana system för biometrisk fjärridentifiering används vanligtvis för att samtidigt uppfatta flera personer eller deras beteende för att avsevärt underlätta identifieringen av fysiska personer utan deras aktiva medverkan. Detta utesluter AI-system som är avsedda att användas för biometrisk verifiering, vilket inbegriper autentisering, vars enda syfte är att bekräfta att en specifik fysisk person är den person som denne utger sig för att vara, och system som används för att bekräfta identiteten på en fysisk person med det enda syftet att få åtkomst till en tjänst, låsa upp en enhet eller ha säker tillgång till lokaler. Detta uteslutande motiveras av att sådana system sannolikt har mindre inverkan på fysiska personers grundläggande rättigheter än de system för biometrisk fjärridentifiering som kan användas för behandling av biometriska uppgifter om ett stort antal personer utan deras aktiva medverkan. När det gäller system i realtid sker insamlingen av biometriska uppgifter, jämförelsen och identifieringen omedelbart, näst intill omedelbart eller under alla omständigheter utan betydande dröjsmål. I detta avseende bör det inte finnas något utrymme för att kringgå denna förordnings regler om användning i realtid av de berörda AI-systemen genom att medge mindre fördröjningar. Realtidssystem involverar direktupptagningar eller näst intill direktupptagningar av material, såsom videoupptagningar, genererade med kamera eller annan utrustning med liknande funktion. Efterhandssystem baseras däremot på redan insamlade biometriska uppgifter och jämförelsen och identifieringen sker med en betydande fördröjning. Detta involverar sådant material som bilder eller videoupptagningar som genereras genom övervakningskameror (CCTV) eller privat utrustning och som har genererats före användningen av systemet avseende de berörda fysiska personerna.

(18)Begreppet system för känsloigenkänning, som det hänvisas till i denna förordning, bör definieras som ett AI-system vars syfte är att identifiera eller uttyda fysiska personers känslor eller avsikter på grundval av deras biometriska uppgifter. Begreppet avser känslor eller avsikter som lycka, sorg, ilska, överraskning, avsky, förlägenhet, sinnesrörelse, skam, förakt, nöjdhet och förnöjelse. Det omfattar inte fysiska tillstånd, såsom smärta eller trötthet, inbegripet till exempel system som används för att upptäcka trötthetstillståndet hos yrkespiloter eller yrkeschaufförer i syfte att förebygga olyckor. Detta omfattar inte heller enbart upptäckt av lätt skönjbara uttryck, gester eller rörelser, såvida de inte används för att identifiera eller dra slutsatser om känslor. De uttrycken kan vara grundläggande ansiktsuttryck såsom en sur min eller ett leende, eller gester som rörelser av händer, armar eller huvud, eller egenskaper hos en persons röst, till exempel höjd röst eller viskningar.

(19)I denna förordning bör begreppet allmänt tillgänglig plats förstås som varje fysisk plats som är tillgänglig för ett obestämt antal fysiska personer och oberoende av om platsen i fråga är privatägd eller offentligägd, oberoende av den verksamhet för vilken platsen får användas, såsom handel, till exempel för affärer, restauranger, kaféer, för tjänster, till exempel banker, yrkesverksamhet, besöksnäring, för idrott, till exempel simbassänger, gym, arenor, för transport, till exempel buss-, tunnelbane- och järnvägsstationer, flygplatser, transportmedel, för underhållning, till exempel biografer, teatrar, museer, konsert- och konferenslokaler, eller för fritidsändamål eller annat, till exempel allmänna vägar och torg, parker, skogar, lekplatser. En plats bör även klassificeras som allmänt tillgänglig om tillträdet, oavsett potentiella kapacitets- eller säkerhetsbegränsningar, omfattas av vissa på förhand fastställda villkor som kan uppfyllas av ett obestämt antal personer, såsom köp av en biljett, förhandsregistrering eller en viss ålder. Däremot bör en plats inte anses vara allmänt tillgänglig om åtkomsten är begränsad till specifika och definierade fysiska personer antingen genom unionsrätt eller nationell rätt med direkt anknytning till allmän säkerhet eller säkerhet eller genom att den person som har relevant befogenhet avseende platsen tydligt uttrycker sin vilja. Den

faktiska möjligheten till tillträde, till exempel en olåst dörr, en öppen grind i ett stängsel, innebär inte att platsen är allmänt tillgänglig om det finns indikationer eller omständigheter som tyder på motsatsen, till exempel skyltar som förbjuder eller begränsar tillträde. Företags-och fabrikslokaler samt kontor och arbetsplatser till vilka avsikten är att endast berörda anställda och tjänsteleverantörer ska ha tillträde är platser som inte är allmänt tillgängliga. Allmänt tillgängliga platser bör inte omfatta fängelser eller gränskontrollområden. Vissa andra områden kan bestå av både områden som är allmänt tillgängliga och områden som inte är allmänt tillgängliga, såsom en korridor i ett privat bostadshus som krävs för tillträde till en läkarmottagning eller en flygplats. Onlineplatser omfattas inte eftersom de inte är fysiska platser. Det bör dock avgöras från fall till fall om en viss plats är tillgänglig för allmänheten, med beaktande av den individuella situationens särdrag.

(20)För att dra största möjliga nytta av AI-system och samtidigt skydda grundläggande rättigheter, hälsa och säkerhet och möjliggöra demokratisk kontroll bör AI-kunnighet förse leverantörer, tillhandahållare och berörda personer med de begrepp som krävs för att fatta välgrundade beslut om AI-system. Dessa begrepp kan variera med avseende på det relevanta sammanhanget och kan inbegripa förståelse av den korrekta tillämpningen av tekniska delar under AI-systemets utvecklingsfas, de åtgärder som ska tillämpas under dess användning, lämpliga sätt att tolka AI-systemets utdata och, när det gäller berörda personer, den kunskap som krävs för att förstå hur beslut som fattas med hjälp av AI kommer att påverka dem. I samband med tillämpningen av denna förordning bör AI-kunnighet ge alla relevanta aktörer i AI-värdekedjan de insikter som krävs för att säkerställa lämplig efterlevnad och korrekt efterlevnadskontroll. Dessutom kan ett brett genomförande av åtgärder för AI-kunnighet och införandet av lämpliga uppföljningsåtgärder bidra till att förbättra arbetsvillkoren och i slutändan upprätthålla konsolideringen av och innovationsbanan för tillförlitlig AI i unionen. Den europeiska styrelsen för artificiell intelligens (styrelsen) bör stödja kommissionen för att främja AI-kunnighet, allmänhetens medvetenhet om och förståelse av fördelar, risker, skyddsåtgärder, rättigheter och skyldigheter i samband med användningen av AI-system. I samarbete med berörda parter bör kommissionen och medlemsstaterna underlätta utarbetandet av frivilliga uppförandekoder för att öka AI-kunnigheten hos personer som arbetar med utveckling, drift och användning av AI.

(21)För att säkerställa lika villkor och ett effektivt skydd av individers rättigheter och friheter i hela unionen bör de regler som fastställs genom denna förordning tillämpas på leverantörer av AI-system på ett icke-diskriminerande sätt, oavsett om de är etablerade i unionen eller i ett tredjeland, och på tillhandahållare av AI-system som är etablerade iunionen.

(22)Mot bakgrund av deras digitala natur bör vissa AI-system omfattas av denna förordning även om de inte släpps ut på marknaden, tas i bruk eller används i unionen. Detta är exempelvis fallet om en operatör som är etablerad i unionen lägger ut vissa tjänster på entreprenad hos en operatör som är etablerad i ett tredjeland i fråga om en aktivitet som ska utföras av ett AI-system som skulle klassificeras som AI-system med hög risk. Under dessa omständigheter kan det AI-system som används i ett tredjeland av operatören behandla data som på lagligt sätt samlats in och överförts från unionen och förse den avtalsslutande operatören i unionen med utdata från detta AI-system som är resultatet av denna behandling, utan att det berörda AI-systemet släpps ut på marknaden, tas i bruk eller används i unionen. För att förhindra att denna förordning kringgås och säkerställa ett effektivt skydd av fysiska personer som befinner sig iunionen, bör denna förordning också tillämpas på leverantörer och tillhandahållare av AI-system som är etablerade i tredjeländer, i den utsträckning som de utdata som produceras av dessa AI-system är avsedda att användas i unionen. För att ta hänsyn till befintliga arrangemang och särskilda behov av framtida samarbete med utländska partner med vilka information och bevis utbyts, bör denna förordning dock inte tillämpas på offentliga myndigheter i ett tredjeland eller internationella organisationer som agerar inom ramen för samarbete eller internationella avtal som ingåtts på unionsnivå eller nationell nivå och som avser brottsbekämpande och rättsligt samarbete med unionen eller medlemsstaterna, förutsatt att det tredjeland eller den internationella organisation som berörs erbjuder tillräckliga skyddsåtgärder vad avser skyddet av enskildas grundläggande rättigheter och friheter. I relevanta fall kan detta omfatta verksamhet som bedrivs av enheter som av tredjeländerna fått i uppdrag att utföra särskilda uppgifter till stöd för sådant brottsbekämpande och rättsligt samarbete. Sådana ramar för samarbete eller avtal har fastställts bilateralt mellan medlemsstater och tredjeländer eller mellan Europeiska unionen, Europol och andra unionsbyråer och tredjeländer och internationella organisationer. De myndigheter som är behöriga att utöva tillsyn över brottsbekämpande och rättsliga myndigheter enligt denna förordning bör bedöma huruvida dessa ramar för samarbete eller internationella avtal innehåller lämpliga skyddsåtgärder med avseende på skyddet av enskildas 6/144 ELI: http://data.europa.eu/eli/reg/2024/1689/oj

grundläggande rättigheter och friheter. Mottagande nationella myndigheter och unionsinstitutioner, unionsbyråer och unionsorgan som använder sådana utdata i unionen förblir ansvariga för att säkerställa att användningen av dessa är förenlig med unionsrätten. När dessa internationella avtal ses över eller när nya ingås i framtiden bör de avtalsslutande parterna göra sitt yttersta för att anpassa dessa avtal till kraven i denna förordning.

(23)Denna förordning bör också tillämpas på unionens institutioner, organ och byråer när de agerar som leverantör eller tillhandahållare av ett AI-system.

(24)Om och i den mån AI-system släpps ut på marknaden, tas i bruk eller används med eller utan ändringar av sådana system för militära ändamål, försvarsändamål eller ändamål som rör nationell säkerhet, bör dessa undantas från denna förordnings tillämpningsområde, oberoende av vilken typ av enhet som bedriver denna verksamhet, till exempel huruvida det är en offentlig eller privat enhet. När det gäller militära ändamål och försvarsändamål motiveras ett sådant undantagande både av artikel 4.2 i EU-fördraget och av särdragen i medlemsstaternas och unionens gemensamma försvarspolitik som omfattas av kapitel 2 i avdelning V i EU-fördraget och som omfattas av folkrätten, som därför är den lämpligaste rättsliga ramen för reglering av AI-system i samband med användning av dödligt våld och andra AI-system inom ramen för militär verksamhet och försvarsverksamhet. När det gäller ändamål som rör nationell säkerhet motiveras undantagandet både av att nationell säkerhet helt och hållet faller under medlemsstaternas ansvarsområde i enlighet med artikel 4.2 i EU-fördraget och av den särskilda karaktär och de operativa behov som verksamheten avseende nationell säkerhet har samt av de särskilda nationella regler som är tillämpliga på denna verksamhet. Om ett AI-system som utvecklas, släpps ut på marknaden, tas i bruk eller används för militära ändamål, försvarsändamål eller ändamål som rör nationell säkerhet tillfälligt eller permanent används för andra ändamål, till exempel civila eller humanitära ändamål, eller ändamål som rör brottsbekämpning eller allmän säkerhet, skulle ett sådant system ändå omfattas av denna förordning. I så fall bör den enhet som använder AI-systemet för andra ändamål än militära ändamål, försvarsändamål eller ändamål som rör nationell säkerhet säkerställa att AI-systemet överensstämmer med denna förordning, såvida inte systemet redan är förenligt med denna förordning. AI-system som släpps ut på marknaden eller tas i bruk för ett ändamål som är undantaget, dvs. militärt eller som rör försvar eller nationell säkerhet, och ett eller flera icke-undantagna ändamål, såsom civila ändamål eller brottsbekämpning, omfattas av denna förordning, och leverantörer av dessa system bör säkerställa efterlevnad av denna förordning. I dessa fall bör det faktum att ett AI-system kan omfattas av denna förordning inte påverka möjligheten för enheter som bedriver verksamhet inom nationell säkerhet, försvarsverksamhet och militär verksamhet, oavsett vilken typ av enhet som bedriver denna verksamhet, att använda AI-system för nationell säkerhet, militära ändamål och försvarsändamål, vars användning är undantagen från denna förordnings tillämpningsområde. Ett AI-system som släpps ut på marknaden för civila eller brottsbekämpande ändamål och som används med eller utan ändringar för militära ändamål, försvarsändamål eller ändamål som rör nationell säkerhet bör inte omfattas av denna förordning, oavsett vilken typ av enhet som bedriver denna verksamhet.

(25)Denna förordning bör stödja innovation, respektera forskningens frihet och inte underminera forsknings- och utvecklingsverksamhet. Det är därför nödvändigt att från dess tillämpningsområde undanta AI-system och AI-modeller som särskilt utvecklats och tagits i bruk enbart för vetenskaplig forskning och utveckling. Det är dessutom nödvändigt att säkerställa att denna förordning inte på annat sätt påverkar vetenskaplig forsknings- och utvecklingsverksamhet avseende AI-system eller AI-modeller innan dessa släpps ut på marknaden eller tas i bruk. Inte heller när det gäller produktorienterad forsknings-, testnings- och utvecklingsverksamhet avseende AI-system eller AI-modeller bör bestämmelserna i denna förordning tillämpas innan dessa system och modeller tas i bruk eller släpps ut på marknaden. Detta undantagande påverkar inte skyldigheten att följa denna förordning om ett AI-system som faller inom tillämpningsområdet för denna förordning släpps ut på marknaden eller tas i bruk till följd av sådan forsknings- och utvecklingsverksamhet eller tillämpningen av bestämmelser om regulatoriska sandlådor för AI och testning under verkliga förhållanden. Utan att det påverkar tillämpningen av undantagandet av AI-system som särskilt utvecklats och tagits i bruk enbart för vetenskaplig forskning och utveckling bör andra AI-system som kan användas för att genomföra forsknings- och utvecklingsverksamhet även fortsättningsvis omfattas av bestämmelserna i denna förordning. All forsknings- och utvecklingsverksamhet bör under alla omständigheter genomföras i enlighet med erkända etiska och yrkesmässiga standarder för vetenskaplig forskning och bör bedrivas i enlighet med tillämplig unionsrätt.

(26)För att införa en proportionell och effektiv uppsättning bindande regler för AI-system bör en tydligt definierad riskbaserad metod användas. Denna metod bör innebära att dessa reglers art och innehåll anpassas till intensiteten och omfattningen av de risker som AI-systemen kan generera. Det är därför nödvändigt att förbjuda vissa oacceptabla AI-användningsområden, fastställa vissa krav för AI-system med hög risk och skyldigheter för berörda operatörer samt fastställa transparensskyldigheter för vissa AI-system.

(27)Den riskbaserade metoden utgör grunden för en proportionell och effektiv uppsättning bindande regler, men det är viktigt att påminna om de etiska riktlinjer för tillförlitlig AI från 2019 som utarbetats av den oberoende AI-expertgruppen, som utsetts av kommissionen. I dessa riktlinjer utarbetade AI-expertgruppen sju icke-bindande etiska principer för AI som bör bidra till att säkerställa att AI är tillförlitlig och etiskt sund. De sju principerna omfattar mänskligt agentskap och mänsklig tillsyn, teknisk robusthet och säkerhet, integritet och dataförvaltning, transparens, mångfald, icke-diskriminering och rättvisa, samhällets och miljöns välbefinnande samt ansvarsskyldighet. Utan att det påverkar de rättsligt bindande kraven i denna förordning och annan tillämplig unionsrätt bidrar dessa riktlinjer till utformningen av konsekvent, tillförlitlig och människocentrerad AI, i linje med stadgan och de värden som unionen bygger på. Enligt AI-expertgruppens riktlinjer innebär mänskligt agentskap och mänsklig tillsyn att AI-system utvecklas och används som ett verktyg som tjänar människor, respekterar mänsklig värdighet och personlig självständighet och ska fungera så att de på ett lämpligt sätt kan kontrolleras och övervakas av människor. Teknisk robusthet och säkerhet innebär att AI-system ska utvecklas och användas på ett sätt som möjliggör robusthet i händelse av problem och resiliens mot försök att ändra AI-systemets användning eller prestanda för att möjliggöra olaglig användning från tredje parters sida, och minimerar oavsiktlig skada. Integritet och dataförvaltning innebär att AI-system utvecklas och används i enlighet med integritets- och dataskyddsregler, samtidigt som data som uppfyller höga standarder i fråga om kvalitet och integritet behandlas. Transparens innebär att AI-system utvecklas och används på ett sätt som möjliggör lämplig spårbarhet och förklarbarhet, samtidigt som människor informeras om att de kommunicerar eller interagerar med ett AI-system och att tillhandahållare vederbörligen informeras om AI-systemets kapacitet och begränsningar samt att personer som påverkas informeras om sina rättigheter. Mångfald, icke-diskriminering och rättvisa innebär att AI-system utvecklas och används på ett sätt som inkluderar olika aktörer och främjar lika tillgång, jämställdhet och kulturell mångfald, samtidigt som diskriminerande effekter och oskäliga biaser, som är förbjudna enligt unionsrätten eller nationell rätt undviks. Samhällets och miljöns välbefinnande innebär att AI-system utvecklas och används på ett hållbart och miljövänligt sätt samt för att gynna alla människor, samtidigt som de långsiktiga effekterna för individen, samhället och demokratin övervakas och bedöms. Tillämpningen av dessa principer bör, när så är möjligt, omsättas i utformningen och användningen av AI-modeller. De bör under alla omständigheter ligga till grund för utarbetandet av uppförandekoder inom ramen för denna förordning. Alla berörda parter, inbegripet industrin, den akademiska världen, det civila samhället och standardiseringsorganisationer, uppmanas att på lämpligt sätt beakta de etiska principerna för utveckling av frivillig bästa praxis och standarder.

(28)Vid sidan av de många nyttiga användningsområdena för AI kan den också missbrukas och tillhandahålla nya och kraftfulla verktyg för manipulation, utnyttjande och social kontroll. Sådana användningsområden är särskilt skadliga och kränkande och bör förbjudas eftersom de strider mot unionens värden och respekten för människans värdighet, frihet, jämlikhet, demokrati och rättsstatens principer samt grundläggande rättigheter som fastställs i stadgan, inbegripet rätten till icke-diskriminering, dataskydd och personlig integritet samt barnets rättigheter.

(29)AI-baserad manipulativ teknik kan användas för att övertyga personer att ägna sig åt oönskat beteende, eller för att vilseleda dem genom att driva dem till beslut på ett sätt som undergräver och försämrar deras autonomi, beslutsfattande och fria val. Utsläppandet på marknaden, ibruktagandet eller användningen av vissa AI-system med målet eller följden att det mänskliga beteendet väsentligt påverkas och som sannolikt kan medföra betydande skador, i synnerhet med tillräckligt betydande negativa konsekvenser för den fysiska eller psykiska hälsan eller ekonomiska intressen, är särskilt farliga och bör därför förbjudas. Sådana AI-system utnyttjar subliminala komponenter såsom ljud-, bild- och videostimuli som människor inte kan uppfatta, eftersom dessa stimuli ligger utanför människans uppfattningsförmåga, eller annan manipulativ eller vilseledande teknik som undergräver eller försämrar människors autonomi, beslutsfattande eller fria val på sätt där människor inte är medvetna om denna teknik, eller om de är medvetna om den, fortfarande kan vilseledas eller inte kan kontrollera eller stå emot den. Detta kan underlättas av till exempel maskin–hjärna-gränssnitt eller virtuell verklighet eftersom det möjliggör en högre grad av kontroll av vilka stimuli som personer utsätts för, i den mån som de väsentligt kan påverka deras beteende på ett betydande skadligt sätt. Dessutom kan AI-system också på annat sätt utnyttja sårbarheterna hos en person eller en viss grupp av personer på grund av ålder, funktionsnedsättning i den mening som avses i Europaparlamentets och rådets direktiv (EU) 2019/882 (16) eller en specifik social eller ekonomisk situation som sannolikt kommer att göra dessa personer mer sårbara för utnyttjande, såsom personer som lever i extrem fattigdom, etniska minoriteter eller religiösa minoriteter. Sådana AI-system kan släppas ut på marknaden, tas i bruk eller användas med målet eller verkan att väsentligt påverka en persons beteende och på ett sätt som orsakar eller med rimlig sannolikhet kommer att orsaka betydande skada för den personen eller en annan person eller grupper av personer, inbegripet skador som kan

ackumuleras över tid, och bör därför förbjudas. Det är kanske inte möjligt att anta att det finns en avsikt att påverka beteendet, om påverkan beror på faktorer utanför AI-systemet som ligger utanför leverantörens eller tillhandahållarens kontroll, dvs. faktorer som kanske inte är rimligen förutsebara och därför inte kan begränsas av leverantören eller tillhandahållaren av AI-systemet. I alla händelser är det inte nödvändigt att leverantören eller tillhandahållaren har för avsikt att orsaka den betydande skadan, förutsatt att sådan skada beror på de manipulativa eller utnyttjande AI-baserade användningsområdena. Förbuden mot sådana AI-användningsområden kompletterar bestämmelserna i Europaparlamentets och rådets direktiv 2005/29/EG (17), särskilt att otillbörliga affärsmetoder som leder till ekonomisk eller finansiell skada för konsumenter är förbjudna under alla omständigheter, oavsett om de har införts genom AI-system eller på annat sätt. Förbuden mot manipulativa och utnyttjande användningsområden i denna förordning bör inte påverka lagliga användningsområden i samband med medicinsk behandling, såsom psykologisk behandling av en psykisk sjukdom eller fysisk rehabilitering, när denna användning sker i enlighet med tillämplig lag och tillämpliga medicinska normer, till exempel de enskilda personernas eller deras ombuds uttryckliga samtycke. Dessutom bör vanliga och legitima affärsmetoder, till exempel på reklamområdet, som är förenliga med tillämplig rätt inte i sig anses utgöra skadliga manipulativa AI-baserade metoder.

(30)System för biometrisk kategorisering som baseras på fysiska personers biometriska uppgifter, såsom en enskild persons ansikte eller fingeravtryck, för att härleda eller dra slutsatser om en persons politiska åsikter, medlemskap ifackförening, religiösa eller filosofiska övertygelse, ras, sexualliv eller sexuella läggning bör förbjudas. Detta förbud omfattar inte laglig märkning, filtrering eller kategorisering av biometriska dataset som förvärvats i enlighet med unionsrätten eller nationell rätt på grundval av biometriska uppgifter, såsom sortering av bilder enligt hår-eller ögonfärg, som till exempel kan användas inom brottsbekämpning.

(31)AI-system som tillhandahåller offentliga eller privata aktörers sociala poängsättning av fysiska personer kan medföra diskriminering och uteslutning av vissa grupper. De kan strida mot rätten till värdighet och icke-diskriminering och värdena jämlikhet och rättvisa. Sådana AI-system utvärderar eller klassificerar fysiska personer eller grupper av sådana på grundval av flera datapunkter relaterade till deras sociala beteende i olika sammanhang eller kända, uttydda eller förutsedda personliga egenskaper eller personlighetsegenskaper under vissa tidsperioder. Den sociala poängsättning som erhålls från sådana AI-system kan leda till negativ eller ogynnsam behandling av fysiska personer eller hela grupper av fysiska personer i sociala sammanhang som saknar koppling till det sammanhang där berörda data ursprungligen genererades eller samlades in, eller till en negativ behandling som är oproportionerlig eller omotiverad i förhållande till hur allvarligt deras sociala beteende är. AI-system som medför sådana oacceptabla poängsättningsmetoder och som leder till sådana negativa eller ogynnsamma resultat bör därför förbjudas. Detta förbud bör inte påverka lagliga metoder för bedömning av fysiska personer som utförs för ett specifikt ändamål ienlighet med unionsrätten och nationell rätt.

(32)Användningen av system för biometrisk fjärridentifiering i realtid av fysiska personer på allmänt tillgängliga platser för brottsbekämpande ändamål inkräktar särskilt på de berörda personernas rättigheter och friheter, i och med att denna användning kan påverka privatlivet för en stor del av befolkningen, kan skapa en känsla av konstant övervakning och indirekt avskräcka från utövande av mötesfrihet och andra grundläggande rättigheter. Tekniska brister i AI-system som är avsedda för biometrisk fjärridentifiering av fysiska personer kan leda till biaser i resultat och medföra diskriminerande effekter. Sådana eventuella biaser i resultat och diskriminerande effekter är särskilt relevanta när det gäller ålder, etnicitet, ras, kön eller funktionsnedsättning. De omedelbara effekterna och de begränsade möjligheterna till ytterligare kontroll eller korrigering när det gäller användningen av sådana system som fungerar i realtid innebär ökade risker för rättigheterna och friheterna för berörda personer i samband med, eller som påverkas av, brottsbekämpande verksamhet.

(33)Användningen av sådana system för brottsbekämpning bör därför vara förbjuden, utom i de snävt definierade situationer som anges i den uttömmande förteckningen, i de fall då användningen är strikt nödvändig för att uppnå ett väsentligt allmänintresse vars betydelse är större än riskerna. Dessa situationer inbegriper sökandet efter vissa brottsoffer, inklusive försvunna personer, vissa hot mot fysiska personers liv eller fysiska säkerhet eller hot om en terroristattack, och lokalisering eller identifiering av gärningsmän till eller misstänkta för brott som förtecknas i en bilaga till denna förordning, om dessa brott i den berörda medlemsstaten kan leda till fängelse eller annan

frihetsberövande åtgärd under en längsta tidsperiod på minst fyra år och i enlighet med fastställda brottsrekvisit för dessa brott i den medlemsstatens nationella rätt. En sådan tröskel för påföljden fängelse eller annan frihetsberövande åtgärd i enlighet med nationell rätt bidrar till att säkerställa att brottet är allvarligt nog för att potentiellt motivera användningen av system för biometrisk fjärridentifiering i realtid. Vidare grundas förteckningen över brott i en bilaga till denna förordning på de 32 brott som förtecknas i rådets rambeslut 2002/584/RIF (18), med beaktande av att vissa av dessa brott i praktiken sannolikt kommer att vara mer relevanta än andra, i och med att det kommer att variera mycket hur nödvändig och proportionell användningen av biometrisk fjärridentifiering i realtid kan förutses vara för det praktiska arbetet med lokalisering eller identifiering av gärningsmän eller misstänkta när det gäller brott som anges i förteckningen, och med beaktande av de sannolika skillnaderna vad gäller allvarlighetsgrad, sannolikhet och omfattning på skadan eller de möjliga negativa konsekvenserna. Ett överhängande hot mot en persons liv eller fysiska säkerhet kan också vara följden av en allvarlig driftsstörning vid kritisk infrastruktur enligt definitionen i artikel 2.4 i Europaparlamentets och rådets direktiv (EU) 2022/2557 (19), om en driftsstörning vid eller förstörelse av sådan kritisk infrastruktur skulle leda till en omedelbar fara för en persons liv eller fysiska säkerhet, inbegripet genom allvarlig skada på tillhandahållandet av basförnödenheter till befolkningen eller på utövandet av statens kärnfunktion. Dessutom bör denna förordning bevara möjligheten för brottsbekämpande myndigheter, gränskontrollmyndigheter, immigrations- eller asylmyndigheter att utföra identitetskontroller i närvaro av den berörda personen i enlighet med villkoren i unionsrätten och nationell rätt för sådana kontroller. I synnerhet bör brottsbekämpande myndigheter, gränskontrollmyndigheter, migrationsmyndigheter eller asylmyndigheter kunna använda informationssystem, i enlighet med unionsrätten eller nationell rätt, för att identifiera personer som under en identitetskontroll antingen vägrar att identifieras eller inte kan ange eller bevisa sin identitet, utan att det enligt denna förordning krävs förhandstillstånd. Detta kan till exempel röra sig om en person som är inblandad i ett brott, är ovillig eller på grund av en olycka eller ett medicinskt tillstånd är oförmögen att uppge sin identitet för brottsbekämpande myndigheter.

(34)För att säkerställa att dessa system används på ett ansvarsfullt och proportionellt sätt är det också viktigt att fastställa att hänsyn bör tas till vissa faktorer i var och en av de snävt definierade situationerna i den uttömmande förteckningen, i synnerhet vad gäller arten av den situation som ger upphov till begäran och användningens konsekvenser för alla berörda personers rättigheter och friheter samt de skyddsåtgärder och villkor som föreskrivs isamband med användningen. Användningen av system för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats för brottsbekämpande ändamål bör utnyttjas endast för att bekräfta identiteten på den individ som särskilt avses och bör begränsas till vad som är strikt nödvändigt vad gäller tidsperiod samt det geografiska tillämpningsområdet och de personer som omfattas, med särskild hänsyn till bevis eller indikationer vad gäller hoten, offren eller gärningsmännen. Användningen av systemet för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats bör tillåtas endast om den relevanta brottsbekämpande myndigheten har slutfört en konsekvensbedömning avseende grundläggande rättigheter och, om inte annat föreskrivs i denna förordning, har registrerat systemet i den databas som föreskrivs i denna förordning. Referensdatabasen över personer bör vara ändamålsenlig för varje användningsfall i var och en av de situationer som anges ovan.

(35)Varje användning av system för biometrisk fjärridentifiering i realtid på allmänt tillgängliga platser för brottsbekämpande ändamål bör vara föremål för ett uttryckligt och specifikt tillstånd som lämnas av en rättslig myndighet eller en oberoende administrativ myndighet i en medlemsstat vars beslut är bindande. Dessa tillstånd bör iprincip erhållas innan AI-systemet används för att identifiera en eller flera personer. Undantag från denna regel bör tillåtas av hänsyn till vederbörligen motiverade brådskande situationer, dvs. situationer då behovet av att använda de ifrågavarande systemen är sådant att det i praktiken är objektivt omöjligt att erhålla ett tillstånd innan användningen av AI-systemet inleds. I sådana brådskande situationer bör användningen av AI-systemet begränsas till det absoluta minimum som är nödvändigt och bör omfattas av lämpliga skyddsmekanismer och villkor som fastställs i nationell rätt och som specificeras av den berörda brottsbekämpande myndigheten i samband med varje enskilt fall av brådskande användning. Dessutom bör den brottsbekämpande myndigheten i sådana situationer begära ett sådant tillstånd samtidigt som den anger skälen till att den inte har kunnat begära det tidigare, utan oskäligt dröjsmål och senast inom 24 timmar. Om ett sådant tillstånd nekas bör användningen av system för biometrisk identifiering irealtid som är kopplade till det tillståndet stoppas med omedelbar verkan och alla uppgifter som rör sådan användning bör förstöras och raderas. Sådana data omfattar indata som erhållits direkt av ett AI-system i samband

med användningen av ett sådant system samt resultat och utdata från den användning som är kopplad till det tillståndet. Det bör inte omfatta indata som lagligen förvärvats i enlighet med annan unionsrätt eller nationell rätt. Under inga omständigheter bör beslut som har negativa rättsliga följder för en person fattas enbart på grundval av utdata från systemet för biometrisk fjärridentifiering.

(36)För att kunna utföra sina uppgifter i enlighet med kraven i denna förordning och i nationella regler bör den berörda marknadskontrollmyndigheten och den nationella dataskyddsmyndigheten underrättas om varje användning av systemet för biometrisk identifiering i realtid. Marknadskontrollmyndigheterna och de nationella dataskyddsmyndigheter som har underrättats bör lämna in en årlig rapport till kommissionen om användningen av system för biometrisk identifiering i realtid.

(37)Det är också lämpligt att, inom den uttömmande ram som fastställs genom denna förordning, föreskriva att en sådan användning på en medlemsstats territorium i enlighet med denna förordning endast bör vara möjlig i de fall och iden utsträckning som den berörda medlemsstaten har beslutat att uttryckligen föreskriva möjligheten att tillåta sådan användning i sina närmare bestämmelser i nationell rätt. Enligt denna förordning behåller alltså medlemsstaterna sin frihet att inte alls föreskriva någon sådan möjlighet eller att endast föreskriva en sådan möjlighet med avseende på några av de syften som kan motivera användning som tillåten enligt denna förordning. Sådana nationella bestämmelser bör anmälas till kommissionen senast 30 dagar efter det att de har antagits.

(38)Användningen av system för biometrisk fjärridentifiering i realtid av fysiska personer på allmänt tillgängliga platser för brottsbekämpande ändamål involverar med nödvändighet behandling av biometriska uppgifter. Reglerna i denna förordning som med vissa undantag förbjuder sådan användning, och som baseras på artikel 16 i EUF-fördraget, bör tillämpas som lex specialis med avseende på de regler om behandling av biometriska uppgifter som anges i artikel 10 idirektiv (EU) 2016/680, och reglerar därmed sådan användning och behandling av berörda biometriska uppgifter på ett uttömmande sätt. Därför bör sådan användning och behandling vara möjlig endast i den utsträckning som den är förenlig med den ram som fastställs i denna förordning, utan att de behöriga myndigheterna har något utrymme, då de agerar för brottsbekämpande ändamål, att utanför den ramen använda sådana system och behandla sådana data i samband med detta av de skäl som förtecknas i artikel 10 i direktiv (EU) 2016/680. I det sammanhanget är denna förordning inte avsedd att tillhandahålla en rättslig grund för behandling av personuppgifter enligt artikel 8 idirektiv (EU) 2016/680. Användningen av system för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats för andra ändamål än brottsbekämpning, inbegripet av behöriga myndigheter, bör inte omfattas av den särskilda ram för sådan användning för brottsbekämpande ändamål som fastställs i denna förordning. Sådan användning för andra ändamål än brottsbekämpning bör därför inte omfattas av kravet på tillstånd enligt denna förordning och de tillämpliga närmare bestämmelser i nationell rätt som kan ge verkan åt det tillståndet.

(39)Användning av biometriska uppgifter och andra personuppgifter i samband med användningen av AI-system för biometrisk identifiering som inte sker i samband med användning av system för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats för brottsbekämpande ändamål som regleras av denna förordning bör även fortsättningsvis uppfylla alla krav som följer av artikel 10 i direktiv (EU) 2016/680. För andra ändamål än brottsbekämpning förbjuds enligt artikel 9.1 i förordning (EU) 2016/679 och artikel 10.1 i förordning (EU) 2018/1725 behandling av biometriska uppgifter med förbehåll för begränsade undantag enligt de artiklarna. Med tillämpning av artikel 9.1 i förordning (EU) 2016/679 har användningen av biometrisk fjärridentifiering för andra ändamål än brottsbekämpning redan förbjudits av nationella dataskyddsmyndigheter.

(40)I enlighet med artikel 6a i protokoll nr 21 om Förenade kungarikets och Irlands ställning med avseende på området med frihet, säkerhet och rättvisa, fogat till EU-fördraget och EUF-fördraget, är Irland inte bundet av reglerna i artikel 5.1 första stycket g i den mån den är tillämplig på system för biometrisk kategorisering inom polissamarbete och straffrättsligt samarbete, artikel 5.1 första stycket d i den mån den är tillämplig på användning av AI-system som omfattas av den bestämmelsen, artikel 5.1 första stycket h samt artiklarna 5.2–5.6 och 26.10 i denna förordning som antagits på grundval av artikel 16 i EUF-fördraget och som avser medlemsstaternas behandling av personuppgifter när de bedriver verksamhet som omfattas av avdelning V kapitel 4 eller 5 i tredje delen av EUF-fördraget i det fall då Irland inte är bundet av bestämmelserna om formerna för straffrättsligt samarbete eller polissamarbete inom ramen för vilka de bestämmelser måste iakttas som fastställs på grundval av artikel 16 i EUF-fördraget.

(41)I enlighet med artiklarna 2 och 2a i protokoll nr 22 om Danmarks ställning, fogat till EU-fördraget och EUF-fördraget, är Danmark inte bundet av reglerna i artikel 5.1 första stycket g i den mån den är tillämplig på användning av system för biometrisk kategorisering inom polissamarbete och straffrättsligt samarbete, artikel 5.1 första stycket d i den mån den är tillämplig på användning av AI-system som omfattas av den bestämmelsen, artikel 5.1 första stycket h samt artiklarna 5.2–5.6 och 26.10 i denna förordning som antagits på grundval av

artikel 16 i EUF-fördraget, eller tillämpningen av dessa, som avser medlemsstaternas behandling av personuppgifter när dessa utövar verksamhet som omfattas av tillämpningsområdet för avdelning V kapitel 4 eller 5 i tredje delen av EUF-fördraget.

(42)I enlighet med presumtionen för oskuld bör fysiska personer i unionen alltid bedömas utifrån sitt faktiska beteende. Fysiska personer bör aldrig bedömas på grundval av genom AI förutsett beteende enbart grundat på deras profilering, personlighetsdrag eller egenskaper, såsom nationalitet, födelseort, bostadsort, antal barn, skuldsättning eller typ av bil, utan rimlig misstanke om att personen är inblandad i en brottslig verksamhet på grundval av objektiva, kontrollerbara fakta och utan mänsklig bedömning av detta. Därför bör riskbedömningar som genomförs med avseende på fysiska personer för att bedöma sannolikheten för att de begår brott eller för att förutsäga förekomsten av ett faktiskt eller potentiellt brott enbart på grundval av deras profilering eller en bedömning av deras personlighetsdrag och egenskaper förbjudas. I vilket fall som helst avser eller berör förbudet inte riskanalyser som inte baseras på profilering av enskilda personer eller på enskilda personers personlighetsdrag och egenskaper, såsom AI-system som använder riskanalyser för att bedöma sannolikheten för ekonomiska bedrägerier från företags sida på grundval av misstänkta transaktioner eller riskanalysverktyg för förutsägelser om sannolikheten för tullmyndigheters lokalisering av narkotika eller olagliga varor, till exempel på grundval av kända smugglingsvägar.

(43)Utsläppande på marknaden, ibruktagande för detta specifika ändamål eller användningen av AI-system som skapar eller utvidgar databaser för ansiktsigenkänning genom oriktad skrapning av ansiktsbilder från internet eller övervakningskameror bör förbjudas, eftersom metoden ökar känslan av att det förekommer massövervakning och kan leda till grova kränkningar av grundläggande rättigheter, inbegripet rätten till integritet.

(44)Det råder allvarlig oro över den vetenskapliga grunden för AI-system som syftar till att identifiera eller uttyda känslor, särskilt som uttryck för känslor varierar avsevärt mellan olika kulturer och situationer och till och med hos en och samma individ. Några av de största bristerna i sådana system är begränsad tillförlitlighet, brist på specificitet och begränsad generaliserbarhet. AI-system som identifierar eller uttyder fysiska personers känslor eller avsikter på grundval av deras biometriska uppgifter kan därför leda till diskriminerande resultat och kan inkräkta på de berörda personernas rättigheter och friheter. Med tanke på maktobalansen i fråga om arbete eller utbildning, i kombination med dessa systems inkräktande karaktär, kan sådana system leda till skadlig eller ogynnsam behandling av vissa fysiska personer eller hela grupper av fysiska personer. Därför bör utsläppande på marknaden, ibruktagande eller användning av AI-system som är avsedda att användas för att upptäcka känslomässiga förhållanden hos enskilda personer i situationer som rör arbetsplats och utbildning förbjudas. Förbudet bör inte omfatta AI-system som släpps ut på marknaden uteslutande av medicinska skäl eller säkerhetsskäl, såsom system som är avsedda för terapeutisk användning.

(45)Metoder som är förbjudna enligt unionsrätten, inbegripet dataskyddslagstiftning, lagstiftning om icke-diskriminer- ing, konsumentskyddslagstiftning och konkurrensrätt, bör inte påverkas av denna förordning.

(46)AI-system med hög risk bör endast släppas ut på unionsmarknaden eller tas i bruk om de uppfyller vissa obligatoriska krav. Dessa krav bör säkerställa att AI-system med hög risk vilka finns tillgängliga i unionen eller vars utdata på annat sätt används i unionen inte utgör någon oacceptabel risk för viktiga allmänna intressen för unionen som erkänns och skyddas av unionsrätten. Baserat på den nya lagstiftningsramen, som klargörs i kommissionens meddelande 2022 års blåbok om genomförandet av EU:s produktbestämmelser (20), är den allmänna regeln att mer än en rättsakt inom unionens harmoniseringslagstiftning, exempelvis Europaparlamentets och rådets förordningar (EU) 2017/745 (21) och (EU) 2017/746 (22) eller Europaparlamentets och rådets direktiv 2006/42/EG (23), kan äga tillämpning med avseende på en produkt, eftersom tillhandahållandet eller ibruktagandet endast kan ske när produkten överensstämmer med all tillämplig unionsharmoniseringslagstiftning. För att säkerställa samstämmighet

och undvika onödig administrativ börda eller onödiga kostnader bör leverantörer av en produkt som innehåller ett eller flera AI-system med hög risk som omfattas av kraven i den här förordningen och i unionens harmoniseringslagstiftning som förtecknas i en bilaga till den här förordningen ha flexibilitet när det gäller operativa beslut om hur det ska säkerställas att en produkt som innehåller ett eller flera AI-system uppfyller alla tillämpliga krav i unionens harmoniseringslagstiftning på ett optimalt sätt. AI-system som identifieras som AI-system med hög risk bör begränsas till sådana som har en betydande skadlig inverkan på hälsa, säkerhet och grundläggande rättigheter för personer i unionen och denna avgränsning bör minimera de potentiella begränsningarna av den internationella handeln.

(47)AI-system kan ha negativa effekter för människors hälsa och säkerhet, i synnerhet när sådana system fungerar som säkerhetskomponenter i produkter. I enlighet med syftena för unionens harmoniseringslagstiftning, som är att främja den fria rörligheten för produkter på den inre marknaden och säkerställa att endast säkra produkter som uppfyller kraven släpps ut på marknaden, är det viktigt att de säkerhetsrisker som kan genereras av produkten som helhet på grund av dess digitala komponenter, inklusive AI-system, förhindras och begränsas. Robotar som blir allt mer autonoma, oavsett om det är i samband med tillverkning eller personlig assistans och vård, bör också kunna arbeta säkert och utföra sina funktioner i komplexa miljöer. Inom vårdsektorn, där liv och hälsa i särskilt hög grad kan påverkas, bör de allt mer sofistikerade diagnossystemen och systemen som stöder mänskliga beslut vara tillförlitliga och noggranna.

(48)Omfattningen av de negativa effekter som AI-systemet har på de grundläggande rättigheter som skyddas av stadgan har särskilt stor betydelse när ett AI-system klassificeras som AI-system med hög risk. Dessa rättigheter innefattar rätten till människans värdighet, respekt för privatlivet och familjelivet, skydd av personuppgifter, yttrandefrihet och informationsfrihet, mötesfrihet och organisationsfrihet, rätten till icke-diskriminering, rätten till utbildning, konsumentskydd, arbetstagares rättigheter, rättigheter för personer med funktionsnedsättning, jämställdhet, immateriella rättigheter, rätten till ett effektivt rättsmedel och till en opartisk domstol, rätten till försvar och presumtionen för oskuld och rätten till god förvaltning. Vid sidan av dessa rättigheter är det viktigt att lyfta fram den omständigheten att barn har särskilda rättigheter i enlighet med artikel 24 i stadgan och Förenta nationernas konvention om barnets rättigheter, som vidareutvecklas i allmän kommentar nr 25 till FN:s barnkonvention vad gäller den digitala miljön, som båda kräver att barns utsatthet beaktas och att de ges ett sådant skydd och sådan omsorg som krävs för deras välbefinnande. Även den grundläggande rättigheten till en hög nivå av miljöskydd, som också ingår i stadgan och genomförs i unionspolitik, bör beaktas vid bedömningen av allvarlighetsgraden i den skada som ett AI-system kan orsaka, inbegripet vad gäller människors hälsa och säkerhet.

(49)När det gäller AI-system med hög risk som är säkerhetskomponenter i produkter eller system, eller som i sig själva utgör produkter eller system som omfattas av Europaparlamentets och rådets förordning (EG) nr 300/2008 (24), Europaparlamentets och rådets förordning (EU) nr 167/2013 (25), Europaparlamentets och rådets förordning (EU) nr 168/2013 (26), Europaparlamentets och rådets direktiv 2014/90/EU (27), Europaparlamentets och rådets direktiv (EU) 2016/797 (28), Europaparlamentets och rådets förordning (EU) 2018/858 (29), Europaparlamentets och rådets

förordning (EU) 2018/1139 (30) och Europaparlamentets och rådets förordning (EU) 2019/2144 (31), är det lämpligt att ändra de akterna för att säkerställa att kommissionen, på grundval av de tekniska och regleringsmässiga särdragen för varje sektor och utan att inkräkta på befintliga mekanismer för styrelseformer, för kontroll av överensstämmelse och för kontroll av efterlevnad och myndigheter som inrättats inom ramen för dessa, beaktar de obligatoriska krav för AI-system med hög risk som fastställs i den här förordningen när de antar relevanta delegerade akter eller genomförandeakter på grundval av de akterna.

(50)När det gäller AI-system som är säkerhetskomponenter i produkter, eller som i sig själva utgör produkter, vilka omfattas av viss unionsharmoniseringslagstiftning som förtecknas i en bilaga till denna förordning, är det lämpligt att klassificera dessa som AI-system med hög risk enligt denna förordning om den berörda produkten genomgår förfarandet för bedömning av överensstämmelse hos ett tredjepartsorgan för bedömning av överensstämmelse enligt relevant unionsharmoniseringslagstiftning. Det handlar närmare bestämt om sådana produkter som maskiner, leksaker, hissar, utrustning och skyddssystem avsedda för användning i potentiellt explosionsfarliga omgivningar, radioutrustning, tryckutrustning, utrustning för fritidsfartyg, linbaneanläggningar, anordningar för förbränning av gasformiga bränslen, medicintekniska produkter, medicintekniska produkter för in vitro-diagnostik, fordon och luftfart.

(51)En klassificering av ett AI-system som AI-system med hög risk enligt denna förordning bör inte nödvändigtvis innebära att den produkt vars säkerhetskomponent utgörs av AI-systemet, eller AI-systemet i sig självt som produkt, anses utgöra ett system med hög risk enligt de kriterier som fastställs i den relevanta unionsharmoniseringslagstiftning som är tillämplig på produkten. Detta gäller i synnerhet för förordningarna (EU) 2017/745 och (EU) 2017/746, i vilka tredjepartsbedömning av överensstämmelse föreskrivs för produkter med medelhög risk och hög risk.

(52)När det gäller fristående AI-system, det vill säga andra AI-system med hög risk än sådana som utgör säkerhetskomponenter i produkter, eller som i sig själva utgör produkter, är det lämpligt att klassificera dem som AI-system med hög risk om de mot bakgrund av sitt avsedda ändamål utgör en hög risk för skada på personers hälsa och säkerhet eller grundläggande rättigheter, med beaktande både den möjliga skadans allvarlighetsgrad och sannolikheten för att den ska uppstå, och de används på ett antal specifikt fördefinierade områden som anges i denna förordning. Identifieringen av sådana system baseras på samma metoder och kriterier som även är avsedda att användas för framtida ändringar av förteckningen över AI-system med hög risk som kommissionen bör ges befogenhet att anta genom delegerade akter, för att ta hänsyn till den snabba tekniska utvecklingen samt potentiella förändringar i användningen av AI-system.

(53)Det är också viktigt att klargöra att det kan finnas särskilda fall där AI-system som det hänvisas till inom fördefinierade områden som anges i denna förordning inte leder till en betydande risk för skada för de rättsliga intressen som skyddas inom dessa områden, eftersom de inte väsentligt påverkar beslutsfattandet eller inte skadar dessa intressen väsentligt. Vid tillämpningen av denna förordning bör ett AI-system som inte väsentligt påverkar resultatet av beslutsfattande förstås som ett AI-system som inte påverkar innehållet, och därmed resultatet, av beslutsfattande, oavsett om det är mänskligt eller automatiserat. Ett AI-system som inte väsentligt påverkar resultatet av beslutsfattande kan omfatta situationer där ett eller flera av nedanstående villkor är uppfyllda. Det första sådana villkoret bör vara att AI-systemet är avsett att utföra en snäv processuell uppgift, såsom ett AI-system som omvandlar ostrukturerade data till strukturerade data, ett AI-system som klassificerar inkommande handlingar i kategorier eller ett AI-system som används för att upptäcka dubbletter bland ett stort antal applikationer. Dessa uppgifter är av så snäv och begränsad art att de endast medför begränsade risker som inte ökar genom användning av ett AI-system i ett sammanhang som förtecknas som användning med hög risk i en bilaga till denna förordning.

Det andra villkoret bör vara att den uppgift som utförs av AI-systemet är avsedd att förbättra resultatet av tidigare slutförd mänsklig verksamhet som kan vara relevant för den användning med hög risk som förtecknas i en bilaga till denna förordning. Med tanke på dessa egenskaper tillhandahåller AI-systemet endast ett extra skikt till mänsklig verksamhet och innebär följaktligen lägre risk. Detta villkor skulle till exempel tillämpas på AI-system som är avsedda att förbättra det språk som används i tidigare utarbetade dokument, till exempel när det gäller yrkesmässig ton eller akademisk språkstil eller genom att anpassa texten till ett visst varumärkesbudskap. Det tredje villkoret bör vara att AI-systemet är avsett att upptäcka beslutsmönster eller avvikelser från tidigare beslutsmönster. Risken skulle minska eftersom användningen av AI-systemet följer en tidigare slutförd mänsklig bedömning som den inte avser ersätta eller påverka utan ordentlig mänsklig granskning. Sådana AI-system omfattar till exempel system som, med tanke på en viss lärares betygsättningsmönster, kan användas för att i efterhand kontrollera om läraren har avvikit från betygsättningsmönstret för att på så sätt uppmärksamma potentiella inkonsekvenser eller avvikelser. Det fjärde villkoret bör vara att AI-systemet är avsett att utföra en uppgift som endast är förberedande för en bedömning som är relevant för de AI-system som förtecknas i en bilaga till denna förordning, så att den möjliga effekten av systemets utdata blir mycket låg när det gäller att utgöra en risk för den bedömning som ska följa. Detta villkor omfattar bland annat smarta lösningar för ärendehandläggning som omfattar olika funktioner såsom indexering, sökning, text- och talbehandling eller länkning av data till andra datakällor, eller AI-system som används för översättning av ursprungliga dokument. Under alla omständigheter bör AI-system som används i användningsfall med hög risk som förtecknas i en bilaga till denna förordning anses utgöra en betydande risk för skada på hälsa, säkerhet eller grundläggande rättigheter om AI-systemet innebär profilering i den mening som avses i artikel 4.4 i förordning (EU) 2016/679 eller artikel 3.4 i direktiv (EU) 2016/680 eller artikel 3.5 i förordning (EU) 2018/1725. För att säkerställa spårbarhet och transparens bör en leverantör som anser att ett AI-system inte är ett AI-system med hög risk på grundval av de villkor som avses ovan upprätta dokumentation om bedömningen innan systemet släpps ut på marknaden eller tas i bruk och bör på begäran tillhandahålla den dokumentationen till de nationella behöriga myndigheterna. En sådan leverantör bör vara skyldig att registrera AI-systemet i den EU-databas som inrättas enligt den här förordningen. I syfte att ge ytterligare vägledning för det praktiska genomförandet av de villkor enligt vilka AI-system som förtecknas i en bilaga till denna förordning undantagsvis inte är förenade med hög risk bör kommissionen, efter samråd med styrelsen, tillhandahålla riktlinjer som specificerar detta praktiska genomförande, kompletterat med en omfattande förteckning över praktiska exempel på fall av användning av AI-system som medför hög risk och fall av användning som inte medför hög risk.

(54)Eftersom biometriska uppgifter utgör en särskild kategori av personuppgifter är det lämpligt att klassificera flera kritiska användningsfall av biometriska system som användningsfall med hög risk, i den mån användningen av dem är tillåten enligt relevant unionsrätt och nationell rätt. Tekniska brister i AI-system som är avsedda för biometrisk fjärridentifiering av fysiska personer kan leda till biaser i resultat och medföra diskriminerande effekter. Risken för sådana biaser i resultat och diskriminerande effekter är särskilt relevant när det gäller ålder, etnicitet, ras, kön eller funktionsnedsättning. System för biometrisk fjärridentifiering bör därför klassificeras som system med hög risk med tanke på de risker de medför. En sådan klassificering utesluter AI-system som är avsedda att användas för biometrisk verifiering, inbegripet autentisering, vars enda syfte är att bekräfta att en specifik fysisk person är den som vederbörande utger sig för att vara och för att bekräfta identiteten på en fysisk person med det enda syftet att få åtkomst till en tjänst, låsa upp en enhet eller ha säker tillgång till lokaler. Dessutom bör AI-system som är avsedda att användas för biometrisk kategorisering enligt känsliga attribut eller egenskaper som skyddas enligt artikel 9.1 i förordning (EU) 2016/679 på grundval av biometriska uppgifter, i den mån dessa inte är förbjudna enligt den här förordningen, och system för känsloigenkänning som inte är förbjudna enligt den här förordningen, klassificeras som AI-system med hög risk. Biometriska system som är avsedda att användas enbart för att möjliggöra cybersäkerhet och åtgärder för skydd av personuppgifter bör inte betraktas som AI-system med hög risk.

(55)När det gäller förvaltning och drift av kritisk infrastruktur är det lämpligt att som AI-system med hög risk klassificera AI-system avsedda att användas som säkerhetskomponenter i förvaltningen och driften av kritisk digital infrastruktur enligt förteckningen i punkt 8 i bilagan till direktiv (EU) 2022/2557, vägtrafik och tillhandahållandet av vatten, gas, uppvärmning och el, eftersom funktionsavbrott eller funktionsstörning i sådana system kan medföra risk för personers liv och hälsa i stor skala och leda till märkbara störningar av det normala bedrivandet av social och ekonomisk verksamhet. Säkerhetskomponenter i kritisk infrastruktur, inbegripet kritisk digital infrastruktur, är system som används för att direkt skydda kritisk infrastrukturs fysiska integritet eller människors hälsa och säkerhet och egendom, men som inte är nödvändiga för att systemet ska fungera. Funktionsavbrott eller funktionsstörning

i sådana komponenter kan direkt leda till risker för den kritiska infrastrukturens fysiska integritet och därmed till risker för människors hälsa och säkerhet och egendom. Komponenter som är avsedda att användas enbart för cybersäkerhetsändamål bör inte betraktas som säkerhetskomponenter. Exempel på säkerhetskomponenter i sådan kritisk infrastruktur kan omfatta system för övervakning av vattentryck eller styrsystem för brandlarm vid centrum för molntjänster.

(56)Införandet av AI-system inom utbildning är viktigt för att främja digital utbildning av hög kvalitet och göra det möjligt för alla studerande och lärare att förvärva och dela de digitala färdigheter och kompetenser som krävs, inbegripet mediekunnighet, och kritiskt tänkande, för att aktivt delta i ekonomin, samhället och i demokratiska processer. AI-system som används för yrkesutbildning eller annan utbildning, i synnerhet när det gäller fastställandet av personers tillgång till eller antagning till institutioner för yrkesutbildning eller annan utbildning eller program på alla nivåer, för utvärdering av personers läranderesultat, för bedömning av en persons lämpliga utbildningsnivå och för väsentlig påverkan av den utbildningsnivå som personer kommer att få eller kommer kunna få tillgång till, eller för övervakning och upptäckt av förbjudet beteende bland studerande under provtillfällen, bör klassificeras som AI-system med hög risk eftersom de kan avgöra en persons utbildningsväg och yrkeskarriär och därmed påverka en persons försörjningsmöjligheter. När sådana system utformas och används på otillbörligt sätt kan de vara särskilt inkräktande och kan innebära en kränkning av rätten till utbildning liksom rätten att inte utsättas för diskriminering eller för en fortsättning på historiska diskrimineringsmönster mot till exempel kvinnor, vissa åldersgrupper, personer med funktionsnedsättning eller personer av vissa etniska ursprung eller av viss sexuell läggning.

(57)AI-system som används för anställning, arbetsledning och tillgång till egenföretagande, i synnerhet när det gäller rekrytering eller urval av personer, för beslutsfattande som påverkar villkoren för arbetsrelaterad befordran, eller uppsägning av arbetsrelaterade avtalsförhållanden, för fördelning av uppgifter på grundval av individuellt beteende eller personlighetsdrag och egenskaper och för övervakning eller utvärdering av personer i arbetsrelaterade avtalsförhållanden, bör också klassificeras som AI-system med hög risk, eftersom dessa system märkbart kan påverka framtida karriärutsikter och försörjning för dessa personer samt arbetstagares rättigheter. Relevanta arbetsrelaterade avtalsförhållanden bör på ett meningsfullt sätt innefatta arbetstagare och personer som tillhandahåller tjänster via plattformar enligt kommissionens arbetsprogram för 2021. Under hela rekryteringsförfarandet och vid utvärdering, befordran eller bibehållande av personer i arbetsrelaterade avtalsförhållanden, kan sådana system reproducera historiska mönster av diskriminering, exempelvis mot kvinnor, vissa åldersgrupper, personer med funktionsnedsättning eller mot personer på grund av ras, etniskt ursprung eller sexuell läggning. AI-system som används för att övervaka sådana personers prestation och beteende kan också undergräva deras grundläggande rätt till dataskydd och personlig integritet.

(58)Ett annat område där användningen av AI-system förtjänar särskild vaksamhet är när det gäller tillgång till och åtnjutande av vissa väsentliga privata och offentliga tjänster och förmåner som är nödvändiga för att människor fullt ut ska kunna delta i samhället eller förbättra sin levnadsstandard. I synnerhet är fysiska personer som ansöker om eller får viktiga offentliga bidragsförmåner och tjänster från offentliga myndigheter, nämligen hälso- och sjukvårdstjänster, sociala trygghetsförmåner, sociala tjänster som tillhandahåller skydd i fall som moderskap, sjukdom, arbetsolyckor, vårdbehov eller ålderdom och arbetslöshet samt socialbidrag och bostadsbidrag, vanligtvis beroende av dessa förmåner och tjänster och befinner sig i en utsatt situation i förhållande till de ansvariga myndigheterna. Om AI-system används för att avgöra om sådana förmåner och tjänster ska beviljas, vägras, minskas, upphävas eller återkallas av myndigheterna, inbegripet huruvida mottagarna är legitimt berättigade till sådana förmåner eller tjänster, kan dessa system ha en betydande inverkan på personers försörjning och kan inkräkta på deras grundläggande rättigheter, såsom rätten till socialt skydd, icke-diskriminering, mänsklig värdighet eller ett effektivt rättsmedel och bör där klassificeras som AI-system med hög risk. Denna förordning bör dock inte hämma utvecklingen och användningen av innovativa metoder inom offentlig förvaltning, som kan gagnas av en bredare användning av säkra AI-system som uppfyller kraven, förutsatt att dessa system inte medför hög risk för juridiska och fysiska personer. Dessutom bör AI-system som används för att utvärdera fysiska personers kreditbetyg eller kreditvärdighet klassificeras som AI-system med hög risk, eftersom de avgör de berörda personernas tillgång till ekonomiska resurser eller väsentliga tjänster som bostad, el och telekommunikationstjänster. AI-system som används för dessa ändamål kan medföra diskriminering av personer eller grupper och kan reproducera sådana historiska diskrimineringsmönster som det som baseras på rasmässigt eller etniskt ursprung, kön, funktionsnedsättning, ålder eller sexuell läggning, eller skapa nya former av diskriminerande effekter. AI-system som föreskrivs i unionsrätten i syfte att upptäcka bedrägerier i samband med tillhandahållande av finansiella tjänster och för tillsynsändamål för att beräkna kreditinstituts och försäkringsföretags kapitalkrav bör dock inte betraktas som AI-system med hög risk enligt denna förordning. Vidare kan AI-system som är avsedda att användas för riskbedömning och prissättning när

det gäller fysiska personer av sjuk- och livförsäkring också ha en betydande inverkan på människors försörjningsmöjligheter och kan, om de inte utformas, utvecklas och används på rätt sätt, inkräkta på deras grundläggande rättigheter och leda till allvarliga konsekvenser för människors liv och hälsa, inbegripet ekonomisk utestängning och diskriminering. Slutligen bör även AI-system som används för att utvärdera och klassificera nödsamtal från fysiska personer eller för att sända ut eller fastställa prioriteringsordning för utsändning av larmtjänster, inbegripet av polis, brandkår och sjukvård, samt av patientsorteringssystem för akutsjukvård klassificeras som AI-system med hög risk, eftersom dessa system fattar beslut i situationer som är mycket kritiska för personers liv, hälsa och egendom.

(59)Med tanke på brottsbekämpande myndigheters roll och ansvar kännetecknas deras åtgärder, när de omfattar vissa typer av användning av AI-system, av en betydande grad av maktobalans och kan leda till övervakning, gripande eller frihetsberövande av en fysisk person, liksom annan negativ inverkan på grundläggande rättigheter som garanteras i stadgan. AI-system kan – i synnerhet om de inte tränats med data av hög kvalitet, inte uppfyller lämpliga krav i fråga om prestanda, riktighet eller robusthet, eller inte har utformats och testats tillräckligt innan de släpps ut på marknaden eller på annat sätt tas i bruk – peka ut människor på ett diskriminerande eller på ett annat oriktigt eller orättvist sätt. Dessutom kan utövandet av viktiga processuella grundläggande rättigheter, såsom rätten till ett effektivt rättsmedel och till en opartisk domstol samt rätten till försvar och presumtionen för oskuld, hämmas, i synnerhet i de fall då AI-systemen inte är tillräckligt transparenta, förklarade och dokumenterade. Det är därför lämpligt att, i den mån deras användning är tillåten enligt relevant unionsrätt och nationell rätt, som AI-system med hög risk klassificera ett antal AI-system som är avsedda att användas i brottsbekämpningssammanhang där det är särskilt viktigt med riktighet, tillförlitlighet och transparens för att undvika negativa effekter, upprätthålla allmänhetens förtroende och säkerställa ansvarsskyldighet och effektiv rättslig prövning. Mot bakgrund av åtgärdernas art och relaterade risker bör dessa AI-system med hög risk i synnerhet inbegripa AI-system avsedda att användas av brottsbekämpande myndigheter eller för deras räkning, eller av unionens institutioner, organ eller byråer till stöd för brottsbekämpande myndigheter vid bedömning av risken för att en fysisk person ska falla offer för brott, som lögndetektorer och liknande verktyg, för utvärdering av bevisens tillförlitlighet i samband med utredning eller lagföring av brott, och, i den mån det inte är förbjudet enligt denna förordning, för bedömning av risken för att en fysisk person begår brott eller återfaller i brott inte enbart på grundval av profilering av fysiska personer eller en bedömning av personlighetsdrag och egenskaper eller tidigare brottsligt beteende hos fysiska personer eller grupper, för profilering i samband med upptäckt, utredning eller lagföring av brott. AI-system som är specifikt avsedda att användas av skattemyndigheter och tullmyndigheter för administrativa förfaranden samt av finansunderrättelseenheter som utför administrativa uppgifter för analys av information enligt unionsrätt på området penningtvätt bör inte klassificeras som AI-system med hög risk som används av brottsbekämpande myndigheter i syfte att förebygga, förhindra, upptäcka, utreda eller lagföra brott. Användningen av AI-verktyg av brottsbekämpande myndigheter och andra relevanta myndigheter bör inte bli en faktor som bidrar till ojämlikhet, sociala klyftor eller utestängning. Den inverkan som användningen av AI-verktyg har på misstänktas rätt till försvar bör inte ignoreras, särskilt svårigheten att få meningsfull information om hur dessa system fungerar och den därav följande svårigheten att överklaga resultaten i domstol, särskilt för fysiska personer som är under utredning.

(60)AI-system som används i samband med migration, asyl och gränskontrollförvaltning påverkar människor som ofta är i en särskilt utsatt situation och som är beroende av resultatet av de behöriga offentliga myndigheternas åtgärder. Det är därmed särskilt viktigt att de AI-system som används i dessa sammanhang är tillförlitliga, ickediskriminerande och transparenta, för att garantera iakttagandet av de påverkade personernas grundläggande rättigheter, särskilt deras rätt till fri rörlighet, icke-diskriminering, skydd av privatliv och personuppgifter, internationellt skydd och god förvaltning. I den mån deras användning är tillåten enligt relevant unionsrätt och nationell rätt är det därför lämpligt att som AI-system med hög risk klassificera AI-system som är avsedda att användas som lögndetektorer eller liknande verktyg av behöriga offentliga myndigheter eller för deras räkning, eller av unionens institutioner, organ eller byråer som anförtrotts uppgifter på områdena migration, asyl och gränskontrollförvaltning, för bedömning av vissa risker som fysiska personer som reser in till en medlemsstats territorium eller som ansöker om visering eller asyl medför, för att bistå behöriga offentliga myndigheter i granskningen, inbegripet den relaterade bedömningen av bevisens tillförlitlighet, av ansökningar om asyl, visering och uppehållstillstånd och därmed förbundna klagomål med avseende på syftet att fastställa om den ansökande fysiska personen uppfyller kraven för denna status, i syfte att upptäcka, känna igen eller identifiera fysiska personer i samband med migration, asyl och gränskontrollförvaltning, med undantag för kontroll av resehandlingar. AI-system på området migration, asyl och gränskontrollförvaltning vilka omfattas av denna förordning bör uppfylla de relevanta förfarandemässiga krav som fastställs i Europaparlamentets och rådets förordning (EG) nr 810/2009 (32),

(32) Europaparlamentets och rådets förordning (EG) nr 810/2009 av den 13 juli 2009 om införande av en gemenskapskodex om viseringar (viseringskodex) (EUT L 243, 15.9.2009, s. 1).

Europaparlamentets och rådets direktiv 2013/32/EU (33) och annan relevant unionsrätt. AI-system som används i samband med migration, asyl och gränskontrollförvaltning bör under inga omständigheter användas av medlemsstater eller unionens institutioner, organeller byråer som ett medel för att kringgå sina internationella skyldigheter enligt FN-konventionen om flyktingars rättsliga ställning, som undertecknades i Genève den 28 juli 1951 i dess ändrade lydelse genom protokollet av den 31 januari 1967. De bör inte heller användas för att på något sätt bryta mot principen om non-refoulement eller neka säkra och effektiva lagliga vägar in på unionens territorium, inbegripet rätten till internationellt skydd.

(61)Vissa AI-system som är avsedda för rättsskipning och demokratiska processer bör klassificeras som AI-system med hög risk, mot bakgrund av deras potentiellt betydande inverkan på demokrati, rättsstatens principer, individuella friheter och rätten till ett effektivt rättsmedel och till en opartisk domstol. För att motverka riskerna för potentiella biaser, felaktigheter och bristande insyn är det i synnerhet lämpligt att som AI-system med hög risk klassificera sådana AI-system som är avsedda att användas av en rättslig myndighet eller på dess vägnar för att hjälpa de rättsliga myndigheterna att efterforska och tolka fakta och lagstiftning och att tillämpa denna lagstiftning på en konkret uppsättning fakta. AI-system som är avsedda att användas av organ för alternativ tvistlösning för dessa ändamål bör också anses vara förenade med hög risk när resultaten av förfarandena för alternativ tvistlösning har rättsverkan för parterna. Användningen av AI-verktyg kan stödja domarnas beslutanderätt eller rättsväsendets oberoende men bör inte ersätta det: det slutliga beslutsfattandet måste förbli en människodriven verksamhet. Klassificeringen av AI-system som AI-system med hög risk bör dock inte omfatta AI-system som är avsedda för rent administrativa stödfunktioner som inte påverkar den faktiska rättskipningen i enskilda fall, exempelvis anonymisering eller pseudonymisering av rättsliga beslut, handlingar eller data, kommunikation mellan anställda, administrativa uppgifter.

(62)Utan att det påverkar de regler som föreskrivs i Europaparlamentets och rådets förordning (EU) 2024/900 (34) och för att hantera riskerna för otillbörlig extern inblandning i rösträtten enligt artikel 39 i stadgan och negativa följder för demokrati och rättsstatens principer bör AI-system som är avsedda att användas för att påverka resultatet av ett val eller en folkomröstning eller fysiska personers röstbeteende vid val eller folkomröstningar klassificeras som AI-system med hög risk, med undantag för AI-system vars utdata fysiska personer inte är direkt exponerade för, såsom verktyg som används för att organisera, optimera och strukturera politiska kampanjer ur administrativ och logistisk synvinkel.

(63)Det faktum att ett AI-system klassificerats som ett AI-system med hög risk enligt denna förordning bör inte tolkas som att användningen av det systemet är laglig enligt andra unionsrättsliga akter eller enligt nationell rätt som är förenlig med unionsrätten, exempelvis vad gäller skydd av personuppgifter, användning av lögndetektorer och liknande verktyg eller andra system för att läsa av fysiska personers känslomässiga tillstånd. All sådan användning bör även fortsättningsvis endast ske i enlighet med de tillämpliga krav som följer av stadgan eller av tillämpliga rättsakter i unionens sekundärrätt och nationell rätt. Denna förordning bör inte tolkas som att den omfattar en rättslig grund för behandling av personuppgifter, inbegripet särskilda kategorier av personuppgifter, i förekommande fall, såvida inte annat uttryckligen föreskrivs i denna förordning.

(64)För att begränsa riskerna med AI-system med hög risk som släpps ut på marknaden eller tas i bruk och för att säkerställa hög tillförlitlighet bör vissa obligatoriska krav gälla för AI-system med hög risk, med beaktande av AI-systemets avsedda ändamål och det sammanhang i vilket det används samt enligt det riskhanteringssystem som ska upprättas av leverantören. De åtgärder som antas av leverantörerna för att uppfylla de obligatoriska kraven i denna förordning bör ta hänsyn till den allmänt erkända senaste utvecklingen när det gäller AI och vara proportionella och effektiva för att uppnå målen i denna förordning. På grundval av den nya lagstiftningsramen, som klargörs i kommissionens meddelande 2022 års blåbok om genomförandet av EU:s produktbestämmelser, är den allmänna regeln att mer än en rättsakt inom unionens harmoniseringslagstiftning kan vara tillämplig på en produkt, eftersom tillhandahållandet eller ibruktagandet endast kan ske först när produkten överensstämmer med alla tillämpliga delar av unionens harmoniseringslagstiftning. Riskerna med AI-system som omfattas av kraven i denna förordning rör andra aspekter än unionens befintliga harmoniseringslagstiftning, och därför skulle kraven i denna förordning komplettera det befintliga innehållet i unionens harmoniseringslagstiftning. Maskiner eller medicintekniska produkter som innehåller ett AI-system kan till exempel utgöra risker som inte hanteras genom de grundläggande hälso- och säkerhetskrav som fastställs i berörd unionsharmoniseringslagstiftning, eftersom denna

sektorsspecifika lagstiftning inte behandlar risker som är specifika för AI-system. Det krävs därför att de olika lagstiftningsakterna tillämpas samtidigt och komplementärt. För att säkerställa samstämmighet och undvika en onödig administrativ börda eller onödiga kostnader bör leverantörer av en produkt som innehåller ett eller flera AI-system med hög risk som omfattas av kraven i denna förordning eller i unionens harmoniseringslagstiftning som bygger på den nya lagstiftningsramen och som förtecknas i en bilaga till denna förordning ha flexibilitet när det gäller operativa beslut om hur det på bästa sätt ska säkerställas att en produkt som innehåller ett eller flera AI-system uppfyller alla tillämpliga krav i unionens harmoniseringslagstiftning på ett optimalt sätt. Denna flexibilitet kan till exempel innebära att leverantören beslutar att integrera en del av de nödvändiga testnings- och rapporteringsprocesser, den information och den dokumentation som krävs enligt denna förordning i dokumentation och förfaranden som redan finns och som krävs enligt befintlig unionsharmoniseringslagstiftning som bygger på den nya lagstiftningsramen och som förtecknas i en bilaga till denna förordning. Detta bör dock inte på något sätt undergräva leverantörens skyldighet att uppfylla alla tillämpliga krav.

(65)Riskhanteringssystemet bör bestå av en kontinuerlig iterativ process som planeras och löper under hela livscykeln för ett AI-system med hög risk. Den processen bör syfta till att identifiera och begränsa de relevanta riskerna med AI-system för hälsa, säkerhet och grundläggande rättigheter. Riskhanteringssystemet bör regelbundet ses över och uppdateras för att säkerställa dess fortsatta effektivitet samt motivet för och dokumentationen av alla viktiga beslut och åtgärder som vidtas i enlighet med denna förordning. Denna process bör säkerställa att leverantören identifierar risker eller negativa effekter och genomför begränsningsåtgärder för de kända och rimligen förutsebara riskerna med AI-system för hälsa, säkerhet och grundläggande rättigheter mot bakgrund av deras avsedda ändamål och rimligen förutsebar felaktig användning, inbegripet de möjliga risker som uppstår till följd av interaktionen mellan AI-systemet och den miljö där det är i drift. Riskhanteringssystemet bör välja de lämpligaste riskhanteringsåtgärderna mot bakgrund av den senaste utvecklingen inom AI. Vid identifieringen av de lämpligaste riskhanteringsåtgärderna bör leverantören dokumentera och förklara de val som gjorts och, när så är relevant, involvera experter och externa berörda parter. Vid identifieringen av den rimligen förutsebara felaktiga användningen av AI-system med hög risk bör leverantören inkludera användningar av AI-system som, även om de inte direkt täcks av det avsedda ändamålet och anges i bruksanvisningen, ändå rimligen kan förväntas bli resultatet av ett lätt förutsägbart mänskligt beteende i samband med det specifika AI-systemets särskilda egenskaper och användning. Varje känd eller förutsebar omständighet med anknytning till användningen av AI-systemet med hög risk i enlighet med dess avsedda ändamål eller under förhållanden där det kan förekomma rimligen förutsebar felaktig användning som kan leda till risker för hälsa och säkerhet eller grundläggande rättigheter bör ingå i den bruksanvisning som leverantören tillhandahåller. Syftet med detta är att säkerställa att tillhandahållaren är medveten om och tar hänsyn till dessa när AI-systemet med hög risk används. Identifiering och genomförande av riskbegränsningsåtgärder för förutsebar felaktig användning enligt denna förordning bör inte kräva särskild ytterligare träning för AI-systemet med hög risk från leverantörens sida för att hantera förutsebar felaktig användning. Leverantörerna uppmanas dock att överväga sådana ytterligare träningsåtgärder för att begränsa rimligen förutsebar felaktig användning om de är nödvändiga och lämpliga.

(66)Kraven bör tillämpas på AI-system med hög risk när det gäller riskhantering, kvaliteten på och relevansen av använda dataset, teknisk dokumentation och loggning, transparens och information till tillhandahållare, mänsklig kontroll samt robusthet, riktighet och cybersäkerhet. Dessa krav är nödvändiga för att på ett effektivt sätt begränsa riskerna för hälsa, säkerhet och grundläggande rättigheter. Eftersom inga andra åtgärder som är mindre handelsbegränsande finns rimligen tillgängliga så utgör dessa krav inte omotiverade begränsningar av handeln.

(67)Data av hög kvalitet och tillgång till data av hög kvalitet spelar en avgörande roll när det gäller att tillhandahålla struktur och att säkerställa många AI-systems prestanda, i synnerhet vid användning av teknik som förutsätter träning av modeller för att säkerställa att AI-system med hög risk fungerar säkert och på avsett sätt och inte blir en källa till diskriminering som är förbjuden enligt unionsrätten. Högkvalitativa dataset för träning, validering och testning förutsätter genomförande av lämpliga metoder för dataförvaltning och datahantering. Dataset för träning, validering och testning, inbegripet märkningarna, bör vara relevanta, tillräckligt representativa och i största möjliga utsträckning fria från fel och fullständiga med tanke på systemets avsedda ändamål. För att underlätta efterlevnaden av unionens dataskyddslagstiftning, såsom förordning (EU) 2016/679, bör dataförvaltnings- och datahanteringsmetoderna när det gäller personuppgifter inbegripa transparens om det ursprungliga syftet med uppgiftsinsamlingen. Dataseten bör också ha lämpliga statistiska egenskaper, även när det gäller de personer eller grupper av personer i fråga om vilka AI-systemet med hög risk är avsett att användas, med särskild uppmärksamhet på att begränsa eventuella biaser i dataseten som sannolikt påverkar människors hälsa och säkerhet, inverkar negativt på grundläggande rättigheter eller leder till diskriminering som är förbjuden enligt unionsrätten, särskilt när utdata

påverkar indata för framtida operationer (återföring). Biaser kan exempelvis vara inneboende i underliggande dataset, särskilt när historiska data används eller genereras när systemen tillämpas i verkliga sammanhang. De resultat som AI-system ger kan påverkas av sådana inneboende biaser som tenderar att gradvis öka och därigenom vidmakthålla och förstärka befintliga diskriminering, särskilt för personer som tillhör vissa sårbara grupper, inbegripet rasgrupper eller etniska grupper. Kravet på att dataseten i största möjliga utsträckning ska vara fullständiga och fria från fel bör inte påverka användningen av integritetsbevarande teknik i samband med utveckling och testning av AI-system. I synnerhet bör dataset, i den mån som krävs för deras avsedda ändamål, beakta funktioner, särdrag eller element som är specifika för den särskilda geografiska, kontextuella, beteendemässiga eller funktionsmässiga situation där AI-systemet är avsett att användas. De krav som rör dataförvaltning kan uppfyllas genom att tredje parter anlitas som erbjuder certifierade tjänster för uppfyllelse av kraven, inbegripet kontroll av dataförvaltning, datasetens integritet och metoder för träning, validering och testning av data, i den mån överensstämmelse med uppgiftskraven i denna förordning säkerställs.

(68)För utvecklingen och bedömningen av AI-system med hög risk bör vissa aktörer, såsom leverantörer, anmälda organ och andra berörda enheter – exempelvis europeiska digitala innovationsknutpunkter, test- och experimentfaciliteter och forskare – kunna få åtkomst till och använda dataset av hög kvalitet inom sina respektive verksamhetsområden som är relaterade till denna förordning. Gemensamma europeiska dataområden som inrättas av kommissionen och främjande av datadelning mellan företag och med offentlig förvaltning i allmänhetens intresse kommer att vara avgörande för tillhandahållandet av förtroendefull, ansvarsskyldig och icke-diskriminerande åtkomst till högkvalitativa data för träning, validering och testning av AI-system. På exempelvis hälsoområdet kommer det europeiska hälsodataområdet att främja icke-diskriminerande åtkomst till hälsodata och träning av AI-algoritmer på dessa dataset, på ett sätt som bevarar den personliga integriteten och är säkert, snabbt, transparent och tillförlitligt och med lämpliga institutionella styrelseformer. Berörda behöriga myndigheter, även sektorsbaserade sådana, som tillhandahåller eller stöder åtkomst till data får också stödja tillhandahållandet av högkvalitativa data för träning, validering och testning av AI-system.

(69)Rätten till integritet och skydd av personuppgifter måste garanteras under AI-systemets hela livscykel. I detta avseende är principerna om uppgiftsminimering och inbyggt dataskydd och dataskydd som standard, i enlighet med unionens dataskyddslagstiftning, tillämpliga när personuppgifter behandlas. De åtgärder som leverantörer vidtar för att säkerställa efterlevnaden av dessa principer kan omfatta inte bara anonymisering och kryptering, utan även användning av teknik som gör det möjligt att föra in algoritmer i data och möjliggöra träning av AI-system utan överföring mellan parter eller kopiering av rådata eller strukturerade data i sig, utan att det påverkar tillämpningen av de krav på dataförvaltning som föreskrivs i denna förordning.

(70)För att skydda andras rätt att slippa diskriminering som kan följa av bias i AI-system bör leverantörerna undantagsvis, i den utsträckning det är absolut nödvändigt för att säkerställa upptäckt och korrigering av bias i samband med AI-systemen med hög risk, med förbehåll för lämpliga skyddsåtgärder för fysiska personers grundläggande rättigheter och friheter och enligt tillämpningen av alla tillämpliga villkor som fastställs i denna förordning och i förordningarna (EU) 2016/679, (EU) 2018/1725 och (EU) nr 2016/680, kunna behandla även särskilda kategorier av personuppgifter, av hänsyn till ett viktigt allmänt intresse i den mening som avses i artikel 9.2 g i förordning (EU) 2016/679 och artikel 10.2 g i förordning (EU) 2018/1725.

(71)Det är mycket viktigt att ha begriplig information om hur AI-system med hög risk har utvecklats och hur de presterar under hela sin livstid, för att möjliggöra att dessa system är spårbara, kontrollera att kraven enligt denna förordning uppfylls samt kunna utföra övervakning av deras drift och övervakning efter utsläppande på marknaden. Detta förutsätter arkivering och tillgång till teknisk dokumentation som innehåller den information som krävs för att bedöma om AI-systemet uppfyller de berörda kraven och underlätta övervakning efter utsläppande på marknaden. Denna information bör innefatta systemets allmänna egenskaper, kapacitet och begränsningar samt algoritmer, data, de förfaranden som används för träning, testning och validering samt dokumentation av relevanta riskhanteringssystem och ha utformats i tydlig och begriplig form. Den tekniska dokumentationen bör vara lämpligt uppdaterad under hela AI-systemets livstid. AI-system med hög risk bör dessutom tekniskt möjliggöra automatisk registrering av händelser genom loggar under systemets livstid.

(72)För att ta itu med farhågor som hör samman med den bristande insynen och komplexiteten i vissa AI-system och göra det lättare för tillhandahållare att fullgöra sina skyldigheter enligt denna förordning bör transparens krävas för AI-system med hög risk innan de släpps ut på marknaden eller tas i bruk. AI-system med hög risk bör utformas på ett sätt som gör det möjligt för tillhandahållare att förstå hur AI-systemet fungerar, utvärdera dess funktionalitet och förstå dess styrkor och begränsningar. AI-system med hög risk bör åtföljas av lämplig information i form av bruksanvisningar. Sådan information bör omfatta AI-systemets egenskaper, kapacitet och prestandabegränsningar. Dessa skulle omfatta information om eventuella kända och förutsebara omständigheter som har samband med användningen av AI-systemet med hög risk, inbegripet tillhandahållares åtgärder som kan påverka systemets beteende och prestanda, under vilka AI-systemet kan leda till risker för hälsa, säkerhet och grundläggande rättigheter, om de förändringar som på förhand har fastställts och bedömts för överensstämmelse av leverantören och om relevanta åtgärder för mänsklig kontroll, inbegripet åtgärderna för att underlätta tillhandahållarnas tolkning av AI-systemets utdata. Transparens, inklusive åtföljande bruksanvisningar bör hjälpa tillhandahållare att använda systemet och stödja deras välgrundade beslutsfattande. Tillhandahållare bör bland annat ha bättre förutsättningar att göra rätt val av vilket system de avser att använda mot bakgrund av de skyldigheter som gäller för dem, få kunskap om avsedd och utesluten användning samt använda AI-systemet korrekt och när så är lämpligt. För att förbättra läsbarheten och tillgängligheten för den information som ingår i bruksanvisningen bör, när så är lämpligt, belysande exempel om exempelvis begränsningar och om avsedd och utesluten användning av AI-systemet inkluderas. Leverantörer bör säkerställa att all dokumentation, inbegripet bruksanvisningen, innehåller meningsfull, heltäckande, tillgänglig och begriplig information, med beaktande av de behov och den förmodade kunskap som de tillhandahållare som man riktar sig till har. Bruksanvisningen bör tillhandahållas på ett språk som lätt kan förstås av de tillhandahållare som man riktar sig till, i enlighet med vad som fastställs av den berörda medlemsstaten.

(73)AI-system med hög risk bör utformas och utvecklas på ett sådant sätt att fysiska personer kan övervaka deras funktionssätt, säkerställa att de används som avsett och att deras effekter hanteras under systemets livscykel. För det ändamålet bör lämpliga åtgärder för mänsklig kontroll identifieras av leverantören av systemet innan detta släpps ut på marknaden eller tas i bruk. Sådana åtgärder bör i synnerhet, när så är lämpligt, garantera att systemet är föremål för inbyggda operativa begränsningar som inte kan åsidosättas av systemet självt och som lyder den mänskliga operatören, och att de fysiska personer som anförtros uppgiften att utöva mänsklig kontroll har den kompetens, utbildning och auktoritet som de behöver för att utföra sina uppgifter. Det är också viktigt, beroende på vad som är lämpligt, att säkerställa att AI-system med hög risk innehåller mekanismer för att vägleda och informera den fysiska person som anförtros uppgiften att utöva mänsklig kontroll när det gäller att fatta välgrundade beslut om, när och hur ett ingripande ska ske för att undvika negativa konsekvenser eller risker eller stoppa systemet om det inte fungerar som avsett. Med tanke på de betydande konsekvenserna för personer vid vissa biometriska identifieringssystems felaktiga träffar är det lämpligt att föreskriva ett förstärkt krav på mänsklig kontroll för dessa system så att tillhandahållaren inte kan vidta åtgärder eller fatta beslut på grundval av den identifiering som systemet ger upphov till såvida inte detta har verifierats och bekräftats separat av minst två fysiska personer. Dessa personer kan komma från en eller flera enheter och inbegripa den person som driver eller använder systemet. Detta krav bör inte medföra onödiga bördor eller förseningar och det kan vara tillräckligt att de olika personernas separata kontroller automatiskt registreras i de loggar som genereras av systemet. Med tanke på särdragen inom brottsbekämpning, migration, gränskontroll och asyl bör detta krav inte tillämpas i fall där tillämpningen av detta krav enligt unionsrätten eller nationell rätt betraktas som oproportionerlig.

(74)AI-system med hög risk bör fungera konsekvent under hela sin livscykel och uppnå en lämplig nivå av riktighet, robusthet och cybersäkerhet mot bakgrund av sitt avsedda ändamål och i enlighet med den allmänt erkända senaste utvecklingen. Kommissionen och relevanta organisationer och berörda parter uppmanas att ta vederbörlig hänsyn till riskbegränsning och AI-systemets negativa konsekvenser. Den förväntade graden av prestandamått bör anges i den medföljande bruksanvisningen. Leverantörer uppmanas att förmedla denna information till tillhandahållare på ett tydligt och lättbegripligt sätt, utan missförstånd eller vilseledande uttalanden. Unionsrätten om legal metrologi, inbegripet Europaparlamentets och rådets direktiv 2014/31/EU (35) och 2014/32/EU (36), syftar till att säkerställa mätningarnas noggrannhet och att bidra till öppenhet och rättvisa i handelstransaktioner. I detta sammanhang bör kommissionen, i samarbete med relevanta berörda parter och organisationer, såsom metrologi- och riktmärkningsmyndigheter, vid behov uppmuntra utvecklingen av riktmärken och mätmetoder för AI-system. Därvid bör kommissionen följa och samarbeta med internationella partner som arbetar med metrologi och relevanta mätindikatorer som rör AI.

(75)Teknisk robusthet är ett nyckelkrav för AI-system med hög risk. De bör vara resilienta mot skadligt eller på annat sätt oönskat beteende som kan bero på begränsningar inom de system eller den miljö där systemen fungerar (t.ex. felaktigheter, funktionsfel, inkonsekvenser, oväntade situationer). Därför bör tekniska och organisatoriska åtgärder vidtas för att säkerställa robustheten i AI-system med hög risk, till exempel genom att utforma och utveckla lämpliga tekniska lösningar för att förebygga eller minimera skadligt eller på annat sätt oönskat beteende. Dessa tekniska lösningar kan till exempel omfatta mekanismer som gör det möjligt för systemet att på ett säkert sätt avbryta sin drift (felsäkra planer) vid vissa avvikelser eller när driften sker utanför vissa på förhand fastställda gränser. Bristande skydd mot dessa risker kan leda till säkerhetskonsekvenser eller inverka negativt på grundläggande rättigheter, exempelvis på grund av felaktiga beslut eller felaktigheter eller bias i den utdata som genereras av AI-systemet.

(76)Cybersäkerhet har avgörande betydelse för att säkerställa att AI-system är resilienta mot försök att ändra deras användning, beteende eller prestanda eller att undergräva deras säkerhetsegenskaper genom tredje parter med avsikt att vålla skada som utnyttjar systemets svagheter. Cyberattacker mot AI-system kan riktas mot AI-specifika tillgångar, såsom träningsdataset (t.ex. dataförgiftning) eller tränade modeller (t.ex. antagonistiska attacker eller medlemskapsinferens), eller utnyttja sårbarheter i AI-systemets digitala tillgångar eller i den underliggande IKT-infrastruktu- ren. För att säkerställa en cybersäkerhetsnivå som är anpassad till riskerna bör lämpliga åtgärder såsom säkerhetskontroller därför vidtas av leverantörerna av AI-system med hög risk, även med beaktande av den underliggande IKT-infrastrukturen när så är lämpligt.

(77)Utan att det påverkar de krav avseende robusthet och riktighet som fastställs i denna förordning kan AI-system med hög risk som omfattas av tillämpningsområdet för en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element i enlighet med den förordningen visa överensstämmelse med cybersäkerhetskraven i den här förordningen genom att uppfylla de grundläggande cybersäkerhetskrav som anges i den förordningen. Om AI-system med hög risk uppfyller de grundläggande kraven i en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element, bör de anses uppfylla de cybersäkerhetskrav som fastställs i den här förordningen, i den mån uppfyllandet av dessa krav visas i den EU-försäkran om överensstämmelse eller delar av den som utfärdats enligt den förordningen. I detta syfte bör den bedömning av cybersäkerhetsrisker som är förknippade med en produkt med digitala element som klassificeras som AI-system med hög risk enligt den här förordningen och som utförs enligt en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element, beakta risker för ett AI-systems cyberresiliens när det gäller obehöriga tredje parters försök att ändra dess användning, beteende eller prestanda, inbegripet AI-specifika sårbarheter såsom dataförgiftning eller antagonistiska attacker, samt, i relevanta fall, risker för grundläggande rättigheter i enlighet med kraven i den här förordningen.

(78)Det förfarande för bedömning av överensstämmelse som föreskrivs i denna förordning bör tillämpas på de grundläggande cybersäkerhetskraven för en produkt med digitala element som omfattas av en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element och som klassificeras som ett AI-system med hög risk enligt den här förordningen. Denna regel bör dock inte leda till att den nödvändiga assuransnivån sänks för kritiska produkter med digitala element som omfattas av en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element. Genom undantag från denna regel omfattas därför också AI-system med hög risk som omfattas av den här förordningen och som också kategoriseras som viktiga eller kritiska produkter med digitala element enligt en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element, och på vilka förfarandet för bedömning av överensstämmelse baserat på intern kontroll enligt en bilaga till den här förordningen är tillämpligt, av bestämmelserna om bedömning av överensstämmelse i en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element i den mån som de grundläggande cybersäkerhetskraven i den förordningen berörs. Om så är fallet bör de respektive bestämmelserna om bedömning av överensstämmelse på grundval av intern kontroll i en bilaga till den här förordningen gälla för alla andra aspekter som omfattas av den här förordningen. Med utgångspunkt i Enisas kunskap och expertis om den cybersäkerhetspolicy och de uppgifter som tilldelats Enisa enligt Europaparlamentets och rådets förordning (EU) 2019/881 (37) bör kommissionen samarbeta med Enisa i frågor som rör cybersäkerhet i AI-system.

(79)Det är lämpligt att en specifik fysisk eller juridisk person, definierad som leverantören, tar ansvaret för utsläppande på marknaden eller ibruktagandet av ett AI-system med hög risk, oavsett om denna fysiska eller juridiska person är den person som utformat eller utvecklat systemet.

(80)Som signatärer av FN:s konvention om rättigheter för personer med funktionsnedsättning är unionen och alla medlemsstater rättsligt förpliktigade att skydda personer med funktionsnedsättning från diskriminering och främja deras jämlikhet, att säkerställa att personer med funktionsnedsättning på lika villkor som andra har tillgång till informations- och kommunikationsteknik och informations- och kommunikationssystem samt att säkerställa att integriteten hos personer med funktionsnedsättning respekteras. Med tanke på den ökande betydelsen och användningen av AI-system bör tillämpningen av universella konstruktionsprinciper för all ny teknik och alla nya tjänster säkerställa fullständig och jämlik tillgång för alla som potentiellt påverkas av eller använder AI-teknik, inbegripet personer med funktionsnedsättning, på ett sätt som tar full hänsyn till deras inneboende värdighet och mångfald. Det är därför viktigt att leverantörer säkerställer full överensstämmelse med tillgänglighetskrav, inbegripet Europaparlamentets och rådets direktiv (EU) 2016/2102 (38) och direktiv (EU) 2019/882. Leverantörer bör säkerställa att dessa krav uppfylls genom utformning. Därför bör de nödvändiga åtgärderna i så stor utsträckning som möjligt integreras i utformningen av AI-systemet med hög risk.

(81)Leverantören bör inrätta ett sunt kvalitetsstyrningssystem, säkerställa att det föreskrivna förfarandet för bedömning av överensstämmelse genomförs, utarbeta den relevanta dokumentationen och inrätta ett robust system för övervakning efter utsläppande på marknaden. Leverantörer av AI-system med hög risk som omfattas av skyldigheter avseende kvalitetsstyrningssystem enligt relevant sektorsspecifik unionsrätt bör ha möjlighet att inkludera delarna av det kvalitetsstyrningssystem som föreskrivs i denna förordning som en del av befintliga kvalitetsstyrningssystem som föreskrivs i denna andra sektorsspecifika unionsrätt. Komplementariteten mellan denna förordning och befintlig sektorsspecifik unionsrätt bör också beaktas i framtida standardiseringsverksamhet eller vägledning som antas av kommissionen. Offentliga myndigheter som för egen användning tar i bruk AI-system med hög risk kan anta och genomföra reglerna för kvalitetsstyrningssystem som en del av det kvalitetsstyrningssystem som införs på nationell eller regional nivå, beroende på vad som är lämpligt, med beaktande av sektorns särdrag och den berörda offentliga myndighetens kompetensområde och organisation.

(82)För att möjliggöra kontroll av efterlevnaden av denna förordning och skapa lika villkor för operatörer, och med beaktande av de olika formerna för att tillhandahålla digitala produkter, är det viktigt att säkerställa att en person som är etablerad i unionen under alla omständigheter kan förse myndigheterna med all nödvändig information om AI-systemens överensstämmelse. Innan leverantörer etablerade i tredjeländer tillhandahåller sina AI-system i unionen bör de genom skriftlig fullmakt utse ett ombud som är etablerat i unionen. Detta ombud har en central roll för att säkerställa att de AI-system med hög risk som släpps ut på marknaden eller tas i bruk av de leverantörer som inte är etablerade i unionen uppfyller kraven och för att fungera som leverantörernas kontaktperson etablerad i unionen.

(83)Mot bakgrund av karaktären hos och komplexiteten i värdekedjan för AI-system och i linje med den nya lagstiftningsramen är det viktigt att säkerställa rättssäkerhet och underlätta efterlevnaden av denna förordning. Det är därför nödvändigt att klargöra rollen och de särskilda skyldigheterna för berörda operatörer längs den värdekedjan, såsom importörer och distributörer som kan bidra till utvecklingen av AI-system. I vissa situationer kan dessa operatörer agera i mer än en roll samtidigt och bör därför kumulativt fullgöra alla relevanta skyldigheter med anknytning till dessa roller. En operatör kan till exempel samtidigt agera som distributör och importör.

(84)För att säkerställa rättssäkerhet är det nödvändigt att klargöra att under vissa särskilda villkor bör varje distributör, importör, tillhandahållare eller annan tredje part betraktas som leverantör av ett AI-system med hög risk och därför åta sig alla relevanta skyldigheter. Detta skulle vara fallet om den parten sätter sitt namn eller varumärke på ett AI-system med hög risk som redan släppts ut på marknaden eller tagits i bruk, utan att det påverkar avtalsarrangemang som föreskriver att skyldigheterna tilldelas på annat sätt. Detta skulle även vara fallet om den parten gör en väsentlig ändring av ett AI-system med hög risk som redan släppts ut på marknaden eller redan tagits i bruk på ett sätt som innebär att det förblir ett AI-system med hög risk i enlighet med denna förordning, eller om den ändrar det avsedda ändamålet med ett AI-system, inbegripet ett AI-system för allmänna ändamål, som inte har klassificerats som system med hög risk och som redan släppts ut på marknaden eller tagits i bruk, på ett sätt som innebär att AI-systemet blir ett AI-system med hög risk i enlighet med denna förordning. Dessa bestämmelser bör tillämpas utan att det påverkar tillämpningen av mer specifika bestämmelser som fastställs i vissa delar av unionens harmoniseringslagstiftning som bygger på den nya lagstiftningsramen, med vilken denna förordning bör tillämpas

gemensamt. Till exempel bör artikel 16.2 i förordning (EU) 2017/745, där det fastställs att vissa ändringar inte bör anses vara en ändring av en produkt som kan påverka dess överensstämmelse med de tillämpliga kraven, fortsätta att tillämpas på AI-system med hög risk som är medicintekniska produkter i den mening som avses i den förordningen.

(85)AI-system för allmänna ändamål kan själva användas som AI-system med hög risk eller kan vara komponenter iandra AI-system med hög risk. Därför bör leverantörerna av sådana system, på grund av systemens särskilda karaktär och för att säkerställa en rättvis ansvarsfördelning längs AI-värdekedjan, oavsett om systemen som sådana kan användas som AI-system med hög risk av andra leverantörer eller som komponenter i AI-system med hög risk och utom i de fall annat föreskrivs i denna förordning, ha ett nära samarbete med leverantörerna av de berörda AI-systemen med hög risk för att göra det möjligt för dem att uppfylla de relevanta skyldigheterna enligt denna förordning och rätta sig efter de behöriga myndigheter som inrättats enligt denna förordning.

(86)Om den leverantör som ursprungligen släppte ut AI-systemet på marknaden eller tog det i bruk, i enlighet med de villkor som fastställs i denna förordning, inte längre bör anses vara leverantör vid tillämpning av denna förordning, och om denna leverantör inte uttryckligen har uteslutit omvandlingen av AI-systemet till ett AI-system med hög risk, bör den förstnämnda leverantören detta till trots ha ett nära samarbete och tillgängliggöra den nödvändiga informationen och tillhandahålla den rimligen förväntade tekniska åtkomsten och annat stöd som krävs för att fullgöra de skyldigheter som fastställs i denna förordning, särskilt när det gäller efterlevnaden av bedömningen av överensstämmelse för AI-system med hög risk.

(87)Om ett AI-system med hög risk som ingår som säkerhetskomponent i en produkt som omfattas av unionens harmoniseringslagstiftning som bygger på den nya lagstiftningsramen inte släpps ut på marknaden och inte heller tas i bruk fristående från produkten, bör den produkttillverkare som definieras i den lagstiftningen fullgöra de leverantörsskyldigheter som fastställs i denna förordning och i synnerhet säkerställa att det AI-system som ingår islutprodukten uppfyller kraven i denna förordning.

(88)Längs AI-värdekedjan tillhandahåller flera parter ofta AI-system, verktyg och tjänster, men även komponenter eller processer som leverantören integrerar i AI-systemet för olika ändamål som bland annat omfattar träning, omträning, testning och utvärdering av modeller samt integrering i programvara eller andra aspekter av modellutveckling. Dessa parter har en viktig roll i värdekedjan gentemot leverantören av AI-systemet med hög risk i vilken deras AI-system, verktyg, tjänster, komponenter eller processer är integrerade, och bör genom skriftligt avtal tillhandahålla denna leverantör nödvändig information, kapacitet, teknisk åtkomst och annat stöd baserat på den allmänt erkända senaste utvecklingen, för att göra det möjligt för leverantören att fullt ut uppfylla de skyldigheter som fastställs i denna förordning, utan att äventyra sina egna immateriella rättigheter eller företagshemligheter.

(89)Tredje parter som för allmänheten tillgängliggör andra verktyg, tjänster, processer eller AI-komponenter än AI-modeller för allmänna ändamål bör inte åläggas att uppfylla krav som är inriktade på ansvarsområdena längs AI-värdekedjan, särskilt gentemot den leverantör som har använt eller integrerat dem, när dessa verktyg, tjänster, processer eller AI-komponenter görs tillgängliga med en kostnadsfri licens med öppen källkod. Utvecklare av kostnadsfria verktyg, tjänster eller processer med öppen källkod, eller andra AI-modeller än AI-modeller för allmänna ändamål, bör uppmuntras att tillämpa allmänt vedertagen dokumentationspraxis, såsom modellkort och datablad, som ett sätt att påskynda informationsutbytet längs AI-värdekedjan, vilket gör det möjligt att främja tillförlitliga AI-system i unionen.

(90)Kommissionen kan utveckla och rekommendera frivilliga standardavtalsvillkor mellan leverantörer av AI-system med hög risk och tredje parter som tillhandahåller verktyg, tjänster, komponenter eller processer som används eller är integrerade i AI-system med hög risk för att underlätta samarbetet längs värdekedjan. Vid utarbetandet av frivilliga standardavtalsvillkor bör kommissionen också ta hänsyn till eventuella avtalskrav som är tillämpliga inom specifika sektorer eller affärsförhållanden.

(91)Mot bakgrund av AI-systemens natur och de risker för säkerhet och grundläggande rättigheter som kan vara förknippade med användningen av dem, inbegripet när det gäller behovet av att säkerställa en korrekt övervakning av ett AI-systems prestanda under verkliga förhållanden, är det lämpligt att fastställa särskilda ansvarsområden för tillhandahållare. Tillhandahållare bör i synnerhet vidta lämpliga tekniska och organisatoriska åtgärder för att säkerställa att de använder AI-system med hög risk i enlighet med bruksanvisningarna, och vissa andra skyldigheter bör föreskrivas när det gäller övervakning av AI-systemens funktionssätt och i fråga om loggning, på lämpligt sätt.

Tillhandahållare bör dessutom säkerställa att de personer som anförtros uppgiften att implementera bruksanvisningarna och mänsklig kontroll enligt denna förordning har den kompetens som krävs, särskilt en lämplig nivå av AI-kunnighet, utbildning och befogenhet för att korrekt fullgöra dessa uppgifter. Dessa skyldigheter bör inte påverka andra skyldigheter för tillhandahållare i samband med AI-system med hög risk enligt unionsrätten eller nationell rätt.

(92)Denna förordning påverkar inte arbetsgivares skyldigheter att informera eller att informera och samråda med arbetstagare eller deras företrädare enligt unionsrätten eller nationell rätt och praxis, inbegripet Europaparlamentets och rådets direktiv 2002/14/EG (39), avseende beslut att ta i bruk eller använda AI-system. Det måste fortfarande säkerställas att arbetstagarna och deras företrädare informeras om det planerade införandet av AI-system med hög risk på arbetsplatsen om villkoren för dessa informations- eller informations- och samrådsskyldigheter i andra rättsliga instrument inte är uppfyllda. Denna rätt till information är dessutom kompletterande och nödvändig för att skydda de grundläggande rättigheter som ligger till grund för denna förordning. Därför bör ett informationskrav för detta fastställas i denna förordning utan att det påverkar arbetstagares befintliga rättigheter.

(93)Risker med anknytning till AI-system kan ha att göra med hur systemen utformas, men de kan även härröra från hur dessa AI-system används. Tillhandahållare av AI-system med hög risk spelar därför en avgörande roll när det gäller att säkerställa att grundläggande rättigheter skyddas, och kompletterar leverantörens skyldigheter vid utvecklingen av AI-systemet. Tillhandahållare har bäst förutsättningar att förstå hur AI-system med hög risk kommer att användas i praktiken och kan därför fastställa potentiella risker som inte har förutsetts under utvecklingsfasen, tack vare mer exakt kunskap om sammanhanget för användningen och de personer eller grupper av personer som sannolikt kommer att påverkas, däribland sårbara grupper. Tillhandahållare av AI-system med hög risk som förtecknas i en bilaga till denna förordning spelar också en avgörande roll när det gäller att informera fysiska personer och bör när de fattar beslut eller hjälper till att fatta beslut som rör fysiska personer i förekommande fall informera de fysiska personerna om att de är föremål för användning av AI-systemet med hög risk. Denna information bör omfatta det avsedda ändamålet och typen av beslut som det fattar. Tillhandahållaren bör också informera fysiska personer om deras rätt till en förklaring enligt denna förordning. När det gäller AI-system med hög risk som används för brottsbekämpande ändamål bör denna skyldighet genomföras i enlighet med artikel 13 i direktiv (EU) 2016/680.

(94)All behandling av biometriska uppgifter som ingår i användningen av AI-system för biometrisk identifiering för brottsbekämpning måste vara förenlig med artikel 10 i direktiv (EU) 2016/680, som medger sådan behandling endast när det är absolut nödvändigt, med förbehåll för lämpliga skyddsåtgärder för den registrerades rättigheter och friheter, och när detta är tillåtet enligt unionsrätten eller medlemsstaternas nationella rätt. När sådan användning är tillåten måste den också respektera de principer som fastställs i artikel 4.1 i direktiv (EU) 2016/680, inbegripet laglighet, rättvisa och öppenhet, ändamålsbegränsning, korrekthet och lagringsbegränsning.

(95)Utan att det påverkar tillämplig unionsrätt, särskilt förordning (EU) 2016/679 och direktiv (EU) 2016/680, bör användningen av system för biometrisk fjärridentifiering i efterhand omfattas av skyddsåtgärder, med tanke på den inkräktande karaktären hos system för biometrisk fjärridentifiering i efterhand. System för biometrisk fjärridentifiering i efterhand bör alltid användas på ett sätt som är proportionellt, legitimt och strikt nödvändigt, och därmed målinriktat, när det gäller de personer som ska identifieras, plats och tidsmässig omfattning samt baserat på ett slutet dataset av lagligen förvärvade videoupptagningar. Under alla omständigheter bör system för biometrisk fjärridentifiering i efterhand inte användas inom ramen för brottsbekämpning för att leda till urskillningslös övervakning. Villkoren för biometrisk fjärridentifiering i efterhand bör under inga omständigheter utgöra en grund för att kringgå villkoren för förbudet och de strikta undantagen för biometrisk fjärridentifiering i realtid.

(96)För att effektivt säkerställa att grundläggande rättigheter skyddas bör tillhandahållare av AI-system med hög risk som är offentligrättsliga organ, eller privata enheter som tillhandahåller offentliga tjänster och tillhandahållare av vissa AI-system med hög risk som förtecknas i en bilaga till denna förordning, såsom bank- eller försäkringsenheter, genomföra en konsekvensbedömning avseende grundläggande rättigheter innan systemen tas i bruk. Tjänster som är viktiga för enskilda personer och som är av offentlig karaktär kan också tillhandahållas av privata enheter. Privata enheter som tillhandahåller offentliga tjänster är kopplade till uppgifter av allmänt intresse, såsom inom utbildning, hälso- och sjukvård, sociala tjänster, bostäder och rättsskipning. Syftet med konsekvensbedömningen avseende grundläggande rättigheter är att tillhandahållaren ska identifiera de specifika riskerna för rättigheterna för enskilda personer eller grupper av enskilda personer som sannolikt kommer att beröras och identifiera åtgärder som ska

(39) Europaparlamentets och rådets direktiv 2002/14/EG av den 11 mars 2002 om inrättande av en allmän ram för information till och samråd med arbetstagare i Europeiska gemenskapen (EGT L 80, 23.3.2002, s. 29).

vidtas om dessa risker förverkligas. Konsekvensbedömningen bör göras innan AI-systemet med hög risk införs och bör uppdateras när tillhandahållaren anser att någon av de relevanta faktorerna har förändrats. Konsekvensbedömningen bör identifiera tillhandahållarens relevanta processer där AI-systemet med hög risk kommer att användas i linje med dess avsedda ändamål, och bör innehålla en beskrivning av den tidsperiod under vilken och den frekvens med vilken systemet är avsett att användas samt av specifika kategorier av fysiska personer och grupper som sannolikt kommer att påverkas i det specifika användningssammanhanget. Bedömningen bör också omfatta identifiering av särskilda risker för skada som sannolikt kommer att påverka dessa personers eller gruppers grundläggande rättigheter. Vid utförandet av denna bedömning bör tillhandahållaren beakta information som är relevant för en korrekt konsekvensbedömning, inbegripet men inte begränsat till den information som tillhandahålls av leverantören av AI-systemet med hög risk i bruksanvisningen. Mot bakgrund av de risker som identifierats bör tillhandahållare fastställa vilka åtgärder som ska vidtas om dessa risker förverkligas, inbegripet till exempel styrningsformer i det specifika användningssammanhanget, såsom arrangemang för mänsklig kontroll i enlighet med bruksanvisningen eller klagomålshanteringsförfaranden och prövningsförfaranden, eftersom de kan vara avgörande för att bidra till att begränsa riskerna för grundläggande rättigheter i konkreta användningsfall. Efter att ha utfört denna konsekvensbedömning bör tillhandahållaren underrätta den berörda marknadskontrollmyndigheten. För att samla in relevant information som är nödvändig för att utföra konsekvensbedömningen kan tillhandahållare av AI-system med hög risk, särskilt när AI-system används i den offentliga sektorn, involvera relevanta berörda parter, inbegripet företrädare för grupper av personer som sannolikt kommer att påverkas av AI-systemet, oberoende experter och organisationer i det civila samhället i genomförandet av sådana konsekvensbedömningar och utformningen av åtgärder som ska vidtas om riskerna förverkligas. Europeiska byrån för artificiell intelligens (AI-byrån) bör utarbeta en mall för ett frågeformulär för att underlätta efterlevnad och minska den administrativa bördan för tillhandahållare.

(97)För att skapa rättssäkerhet bör begreppet AI-modeller för allmänna ändamål definieras tydligt och särskiljas från begreppet AI-system. Definitionen bör baseras på de viktigaste funktionella egenskaperna hos en AI-modell för allmänna ändamål, generaliteten och förmågan att på ett kompetent sätt utföra ett stort antal olika uppgifter. Dessa modeller tränas vanligtvis med stora mängder data genom olika metoder, såsom självövervakad inlärning, oövervakad inlärning eller återkopplingsinlärning. AI-modeller för allmänna ändamål får släppas ut på marknaden på olika sätt, bland annat genom bibliotek, gränssnitt för applikationsprogrammering, som direkt nedladdning eller som fysisk kopia. Dessa modeller kan ändras ytterligare eller finjusteras till nya modeller. Även om AI-modeller är väsentliga komponenter i AI-system utgör de inte AI-system i sig. AI-modeller kräver tillägg av ytterligare komponenter, till exempel ett användargränssnitt, för att bli AI-system. AI-modeller är vanligtvis integrerade i och utgör en del av AI-system. I denna förordning fastställs särskilda regler för AI-modeller för allmänna ändamål och för AI-modeller för allmänna ändamål som medför systemrisker, vilka bör gälla även när dessa modeller är integrerade eller ingår i ett AI-system. Det bör förstås att skyldigheterna för leverantörer av AI-modeller för allmänna ändamål bör gälla när AI-modellerna för allmänna ändamål släpps ut på marknaden. När leverantören av en AI-modell för allmänna ändamål integrerar en egen modell i sitt eget AI-system som tillhandahålls på marknaden eller tas i bruk, bör den modellen anses ha släppts ut på marknaden, och skyldigheterna i denna förordning för modeller bör därför fortsätta att gälla utöver skyldigheterna för AI-system. De skyldigheter som föreskrivs för modeller bör under alla omständigheter inte gälla när en egen modell används för rent interna processer som inte är väsentliga för att tillhandahålla en produkt eller tjänst till tredje parter och fysiska personers rättigheter inte påverkas. Med tanke på att de har potentiellt betydande negativa effekter bör AI-modeller för allmänna ändamål med systemrisk alltid omfattas av de relevanta skyldigheterna enligt denna förordning. Definitionen bör inte omfatta AI-modeller som används innan de släpps ut på marknaden enbart för forsknings-, utvecklings- och prototypverksamhet. Detta påverkar inte skyldigheten att följa denna förordning när en modell släpps ut på marknaden efter sådan verksamhet.

(98)En modells generalitet kan, bland annat, också bestämmas av ett antal parametrar, men modeller med minst en miljard parametrar som tränats med en stor mängd data med hjälp av självövervakning i stor skala bör anses uppvisa betydande generalitet och på ett kompetent sätt utföra ett brett spektrum av olika uppgifter.

(99)Stora generativa AI-modeller är ett typiskt exempel på en AI-modell för allmänna ändamål, eftersom de möjliggör flexibel generering av innehåll, exempelvis i form av text, ljud, bilder eller video, som lätt kan rymma ett brett spektrum av olika uppgifter.

(100)När en AI-modell för allmänna ändamål integreras i eller ingår i ett AI-system bör detta system anses vara ett AI-system för allmänna ändamål när systemet, på grund av denna integrering, har förmåga att tjäna en rad olika ändamål. Ett AI-system för allmänna ändamål kan användas direkt eller integreras i andra AI-system.

(101)Leverantörer av AI-modeller för allmänna ändamål har en särskild roll och ett särskilt ansvar i AI-värdekedjan, eftersom de modeller som de tillhandahåller kan utgöra grunden för en rad system i efterföljande led, som ofta tillhandahålls av leverantörer i efterföljande led, vilka behöver ha god kunskap om modellerna och deras kapacitet, både för att möjliggöra integrering av sådana modeller i sina produkter och för att fullgöra sina skyldigheter enligt denna eller andra förordningar. Därför bör proportionella transparensåtgärder föreskrivas, inbegripet utarbetande och uppdatering av dokumentation och tillhandahållande av information om AI-modellen för allmänna ändamål för dess användning av leverantörer i efterföljande led. Den tekniska dokumentationen bör utarbetas och hållas uppdaterad av leverantören av AI-modellen för allmänna ändamål så att den på begäran kan tillhandahållas AI-byrån och de nationella behöriga myndigheterna. Den minimiuppsättning element som ska ingå i sådan dokumentation bör anges i särskilda bilagor till denna förordning. Kommissionen bör ges befogenhet att ändra dessa bilagor genom delegerade akter mot bakgrund av ny teknisk utveckling.

(102)Programvara och data, inbegripet modeller, som släpps ut med en kostnadsfri licens med öppen källkod som gör det möjligt att dela dem öppet och där användarna fritt kan få tillgång till, använda, modifiera och omdistribuera dem eller ändrade versioner av dem, kan bidra till forskning och innovation på marknaden och ge betydande tillväxtmöjligheter för unionens ekonomi. AI-modeller för allmänna ändamål som släpps ut med kostnadsfria licenser med öppen källkod bör övervägas för att säkerställa en hög grad av transparens och öppenhet om modellernas parametrar, inbegripet vikter, information om modellarkitekturen samt information om modellanvändning görs allmänt tillgängliga. Licensen bör betraktas som kostnadsfri licens med öppen källkod även när den gör det möjligt för användare att köra, kopiera, distribuera, studera, ändra och förbättra programvara och data, inbegripet modeller under förutsättning att den ursprungliga leverantören av modellen krediteras och att identiska eller jämförbara distributionsvillkor respekteras.

(103)Kostnadsfria AI-komponenter med öppen källkod omfattar programvara och data, inbegripet modeller och AI-modeller för allmänna ändamål, verktyg, tjänster eller processer i ett AI-system. Kostnadsfria AI-komponenter med öppen källkod kan tillhandahållas genom olika kanaler, inbegripet utveckling av dem i öppna databaser. Vid tillämpningen av denna förordning bör AI-komponenter som tillhandahålls mot en kostnad eller på annat sätt monetariseras, inbegripet genom tillhandahållande av tekniskt stöd eller andra tjänster, inbegripet genom en programvaruplattform, som rör AI-komponenten, eller användning av personuppgifter av andra skäl än uteslutande för att förbättra programvarans säkerhet, kompatibilitet eller interoperabilitet, med undantag för transaktioner mellan mikroföretag, inte omfattas av de undantag som föreskrivs för kostnadsfria AI-komponenter med öppen källkod. Det faktum att AI-komponenter tillhandahålls via öppna databaser bör inte i sig utgöra en monetarisering.

(104)Leverantörer av AI-modeller för allmänna ändamål som släpps ut med en kostnadsfri licens med öppen källkod och vars parametrar, inbegripet vikter, information om modellarkitekturen och information om modellanvändning, görs allmänt tillgängliga bör omfattas av undantag från de transparensrelaterade krav som gäller för AI-modeller för allmänna ändamål, såvida de inte kan anses utgöra en systemrisk, i vilket fall den omständigheten att modellen är transparent och åtföljs av en licens med öppen källkod inte bör anses vara ett tillräckligt skäl för att utesluta efterlevnad av skyldigheterna enligt denna förordning. Med tanke på att utsläppandet av AI-modeller för allmänna ändamål med en kostnadsfri licens med öppen källkod inte nödvändigtvis avslöjar väsentlig information om det dataset som används för träning eller finjustering av modellen och om hur efterlevnaden av upphovsrätten därmed säkerställdes, bör det undantag som föreskrivs för AI-modeller för allmänna ändamål från efterlevnad av transparensrelaterade krav under alla omständigheter inte avse skyldigheten att utarbeta en sammanfattning av det innehåll som används för modellträning och skyldigheten att införa en policy för efterlevnad av unionens upphovsrättsliga lagstiftning, särskilt för att identifiera och efterleva förbehållet för rättigheter enligt artikel 4.3 i Europaparlamentets och rådets direktiv (EU) 2019/790 (40).

(105)AI-modeller för allmänna ändamål, särskilt stora generativa AI-modeller, som kan generera text, bilder och annat innehåll, erbjuder unika innovationsmöjligheter men utgör även utmaningar för konstnärer, författare och andra upphovsmän och för det sätt på vilket deras kreativa innehåll skapas, distribueras, används och konsumeras. Utvecklingen och träningen av sådana modeller kräver tillgång till stora mängder text, bilder, videor och andra data. Text- och datautvinningstekniker kan användas i stor utsträckning i detta sammanhang för hämtning och analys av sådant innehåll, som kan vara skyddat av upphovsrätt och närstående rättigheter. All användning av upphovsrättsligt skyddat innehåll kräver tillstånd från den berörda rättsinnehavaren, såvida inte relevanta upphovsrättsliga undantag och inskränkningar tillämpas. Genom direktiv (EU) 2019/790 infördes undantag och inskränkningar som tillåter mångfaldigande av och utdrag ur verk eller andra alster, för text- och datautvinningsändamål, på vissa villkor. Enligt

(40) Europaparlamentets och rådets direktiv (EU) 2019/790 av den 17 april 2019 om upphovsrätt och närstående rättigheter på den digitala inre marknaden och om ändring av direktiven 96/9/EG och 2001/29/EG (EUT L 130, 17.5.2019, s. 92).

dessa regler får rättsinnehavare välja att rättigheterna till deras verk eller andra alster ska förbehållas dem för att förhindra text- och datautvinning, såvida detta inte sker för forskningsändamål. Om undantaget har förbehållits uttryckligen på lämpligt sätt måste leverantörer av AI-modeller för allmänna ändamål erhålla ett tillstånd från rättsinnehavarna om de vill utföra text- och datautvinning från sådana verk.

(106)Leverantörer som släpper ut AI-modeller för allmänna ändamål på unionsmarknaden bör säkerställa efterlevnad av de relevanta skyldigheterna i denna förordning. För detta ändamål bör leverantörer av AI-modeller för allmänna ändamål införa en policy för efterlevnad av unionsrätten om upphovsrätt och närstående rättigheter, särskilt för att identifiera och efterleva förbehåll om rättigheter som uttryckts av rättsinnehavare enligt artikel 4.3 i direktiv (EU) 2019/790. Alla leverantörer som släpper ut en AI-modell för allmänna ändamål på unionsmarknaden bör uppfylla denna skyldighet, oavsett i vilken jurisdiktion de upphovsrättsligt relevanta handlingar som ligger till grund för träningen av dessa AI-modeller för allmänna ändamål äger rum. Detta är nödvändigt för att säkerställa lika villkor för leverantörer av AI-modeller för allmänna ändamål, så att ingen leverantör får en konkurrensfördel på unionsmarknaden genom att tillämpa lägre upphovsrättsstandarder än de som tillhandahålls i unionen.

(107)För att öka transparensen när det gäller de data som används i förträning och träning av AI-modeller för allmänna ändamål, inbegripet text och data som skyddas av upphovsrätt, är det lämpligt att leverantörer av sådana modeller utarbetar en tillräckligt detaljerad sammanfattning av det innehåll som används för att träna AI-modellen för allmänna ändamål och gör denna allmänt tillgänglig. Samtidigt som vederbörlig hänsyn tas till behovet av att skydda företagshemligheter och konfidentiell affärsinformation bör denna sammanfattning ha en allmän omfattning med avseende på tillämpningsområde i stället för att vara tekniskt detaljerad, så att det blir det lättare för parter med legitima intressen, inbegripet upphovsrättsinnehavare, att utöva och hävda sina rättigheter enligt unionsrätten, till exempel genom att förteckna de viktigaste datauppsättningarna eller dataseten som ingick i träningen av modellen, såsom stora privata eller offentliga databaser eller dataarkiv, och genom att tillhandahålla en beskrivande förklaring om andra datakällor som använts. Det är lämpligt att AI-byrån tillhandahåller en mall för sammanfattningen, som bör vara enkel och effektiv och göra det möjligt för leverantören att tillhandahålla den sammanfattning som krävs ibeskrivande form.

(108)När det gäller de skyldigheter som åläggs leverantörer av AI-modeller för allmänna ändamål att införa en policy för efterlevnad av unionens upphovsrättslagstiftning och göra en sammanfattning av det innehåll som används för träningen allmänt tillgänglig, bör AI-byrån övervaka huruvida leverantören har uppfyllt dessa skyldigheter utan att kontrollera eller gå vidare till en bedömning verk för verk av träningsdata när det gäller efterlevnaden av upphovsrätten. Denna förordning påverkar inte kontrollen av efterlevnaden av upphovsrättsliga bestämmelser enligt unionsrätten.

(109)Efterlevnaden av de skyldigheter som är tillämpliga på leverantörer av AI-modeller för allmänna ändamål bör stå iproportion till typen av modelleverantör, vilket utesluter behovet av efterlevnad för personer som utvecklar eller använder modeller för icke-yrkesmässiga ändamål eller vetenskapliga forskningsändamål, vilka dock bör uppmuntras att frivilligt uppfylla dessa krav. Utan att det påverkar tillämpningen av unionens upphovsrättslagstiftning bör fullgörandet av dessa skyldigheter ta vederbörlig hänsyn till leverantörens storlek och möjliggöra förenklade efterlevnadsmetoder för små och medelstora företag, inbegripet uppstartsföretag, som inte bör innebära en alltför stor kostnad och inte avskräcka från användningen av sådana modeller. Vid ändring eller finjustering av en modell bör skyldigheterna för leverantörer av AI-modeller för allmänna ändamål begränsas till den ändringen eller finjusteringen, till exempel genom att komplettera den redan befintliga tekniska dokumentationen med information om ändringarna, inbegripet nya träningsdatakällor, som ett sätt att uppfylla de skyldigheter avseende värdekedjan som föreskrivs i denna förordning.

(110)AI-modeller för allmänna ändamål kan medföra systemrisker som omfattar, men inte är begränsade till, faktiska eller rimligen förutsebara negativa effekter i samband med allvarliga olyckor, störningar i kritiska sektorer och allvarliga konsekvenser för folkhälsan och säkerheten, alla faktiska eller rimligen förutsebara negativa effekter på demokratiska processer, allmän och ekonomisk säkerhet, och spridning av olagligt, falskt eller diskriminerande innehåll. Det bör antas att systemrisker ökar med modellkapacitet och modellräckvidd, kan uppstå under modellens hela livscykel och påverkas av förhållanden med felaktig användning, modellens tillförlitlighet, rättvisa och säkerhet, dess grad av autonomi, tillgång till verktyg, nya eller kombinerade metoder, strategier för utsläppande och distribution, potentialen att avlägsna skyddsmekanismer och andra faktorer. I synnerhet har internationella strategier hittills identifierat behovet av att ägna uppmärksamhet åt risker till följd av potentiellt avsiktlig felaktig användning eller oavsiktliga kontrollproblem i samband med anpassning till mänsklig avsikt, kemiska, biologiska, radiologiska och nukleära risker, såsom de sätt på vilka inträdeshindren kan minskas, inbegripet för utveckling, konstruktion, förvärv

eller användning av vapen, offensiv cyberkapacitet, såsom de sätt på vilka upptäckt, utnyttjande eller operativ användning av sårbarheter kan möjliggöras, effekterna av interaktion och verktygsanvändning, inklusive till exempel kapaciteten att styra fysiska system och störa kritisk infrastruktur, risker med modeller för framställning av kopior av dem själva eller självreplikering eller träning av andra modeller, de sätt på vilka modeller kan ge upphov till skadlig bias och diskriminering med risker för enskilda personer, grupper eller samhällen, underlättandet av desinformation eller skada på integritet med hot mot demokratiska värden och mänskliga rättigheter, och risk för att en viss händelse kan leda till en kedjereaktion med betydande negativa effekter som kan påverka upp till en hel stad, en hel domäns verksamhet eller ett helt lokalsamhälle.

(111)En metod bör fastställas för klassificering av AI-modeller för allmänna ändamål som AI-modeller för allmänna ändamål med systemrisker. Eftersom systemrisker härrör från särskilt hög kapacitet bör en AI-modell för allmänna ändamål anses medföra systemrisker om den har kapacitet med hög påverkansgrad, utvärderad på grundval av lämpliga tekniska verktyg och metoder, eller har betydande inverkan på den inre marknaden på grund av sin räckvidd. Med kapacitet med hög påverkansgrad i AI-modeller för allmänna ändamål avses kapacitet som motsvarar eller överstiger den kapacitet som registrerats i de mest avancerade AI-modellerna för allmänna ändamål. Hela spektrumet av kapacitet i en modell kan förstås bättre efter det att den släppts ut på marknaden eller när tillhandahållare interagerar med modellen. Enligt den senaste utvecklingen vid tidpunkten för denna förordnings ikraftträdande är den sammanlagda beräkningsmängd som används för träning av AI-modellen för allmänna ändamål, mätt i flyttalsberäkningar, en av de relevanta approximationerna för modellkapacitet. Den sammanlagda beräkningsmängd som används för träning inkluderar den beräkning som används för de verksamheter och metoder som är avsedda att förbättra modellens kapacitet före införandet, såsom förträning, generering av syntetiska data och finjustering. Därför bör ett inledande tröskelvärde för flyttalsberäkningar fastställas som, om det uppfylls av en AI-modell för allmänna ändamål, leder till en presumtion om att modellen är en AI-modell för allmänna ändamål med systemrisker. Detta tröskelvärde bör justeras med tiden för att återspegla tekniska och industriella förändringar, såsom algoritmiska förbättringar eller ökad hårdvarueffektivitet, och bör kompletteras med riktmärken och indikatorer för modellkapacitet. För att ta fram underlag för detta bör AI-byrån samarbeta med forskarsamhället, industrin, det civila samhället och andra experter. Tröskelvärden, liksom verktyg och riktmärken för bedömning av kapacitet med hög påverkansgrad, bör vara kraftfulla prediktorer för generalitet, dess kapacitet och tillhörande systemrisk hos AI-modeller för allmänna ändamål, och kan ta hänsyn till hur modellen kommer att släppas ut på marknaden eller hur många användare den kan påverka. För att komplettera detta system bör kommissionen ha möjlighet att fatta enskilda beslut om att utse en AI-modell för allmänna ändamål till en AI-modell för allmänna ändamål med systemrisk, om det konstateras att en sådan modell har en kapacitet eller en inverkan som är likvärdig med den som blir resultatet med det fastställda tröskelvärdet. Det beslutet bör fattas på grundval av en övergripande bedömning av de kriterier för utseende av en AI-modell för allmänna ändamål med systemrisk som förtecknas i en bilaga till denna förordning, såsom kvaliteten på eller storleken på träningsdatasetet, antalet företags- och slutanvändare, dess metoder för in- och utdata, dess grad av autonomi och skalbarhet, eller de verktyg som det har tillgång till. På motiverad begäran av en leverantör vars modell har betecknats som en AI-modell för allmänna ändamål med systemrisk bör kommissionen beakta begäran och kan besluta att ompröva huruvida AI-modellen för allmänna ändamål fortfarande kan anses medföra systemrisker.

(112)En metod bör fastställas för klassificeringen av AI-modeller för allmänna ändamål som AI-modeller för allmänna ändamål med systemrisker. En AI-modell för allmänna ändamål som uppfyller det tillämpliga tröskelvärdet för kapacitet med hög påverkansgrad bör antas vara en AI-modell för allmänna ändamål med systemrisk. Leverantören bör underrätta AI-byrån senast två veckor efter det att kraven har uppfyllts eller det blir känt att en AI-modell för allmänna ändamål kommer att uppfylla de krav som leder till presumtionen. Detta är särskilt relevant när det gäller tröskelvärdet för flyttalsberäkningar, eftersom träning av AI-modeller för allmänna ändamål kräver betydande planering, vilket inbegriper förhandstilldelning av beräkningskraftsresurser, och därför kan leverantörer av AI-modeller för allmänna ändamål veta om deras modell skulle uppfylla tröskelvärdet innan träningen avslutas. I samband med denna underrättelse bör leverantören kunna visa att en AI-modell för allmänna ändamål på grund av sina särskilda egenskaper undantagsvis inte medför några systemrisker och att den därför inte bör klassificeras som en AI-modell för allmänna ändamål med systemrisker. Denna information är värdefull för att AI-byrån ska kunna förutse utsläppandet på marknaden av AI-modeller för allmänna ändamål med systemrisker, och leverantörerna kan börja samarbeta med AI-byrån i ett tidigt skede. Den informationen är särskilt viktig när det gäller AI-modeller för

allmänna ändamål som planeras att släppas ut med öppen källkod, med tanke på att de åtgärder som krävs för att säkerställa efterlevnaden av skyldigheterna enligt denna förordning kan vara svårare att genomföra efter att modellen med öppen källkod har släppts ut.

(113)Om kommissionen får kännedom om att en AI-modell för allmänna ändamål uppfyller kraven för att klassificeras som en AI-modell för allmänna ändamål med systemrisk, som antingen inte tidigare varit känd eller som den berörda leverantören inte har underrättat kommissionen om, bör kommissionen ges befogenhet att beteckna den som sådan. Ett system med kvalificerade varningar bör säkerställa att den vetenskapliga panelen uppmärksammar AI-byrån på AI-modeller för allmänna ändamål som eventuellt bör klassificeras som AI-modeller för allmänna ändamål med systemrisk, utöver AI-byråns övervakningsverksamhet.

(114)Utöver de skyldigheter som föreskrivs för leverantörer av AI-modeller för allmänna ändamål bör leverantörer av AI-modeller för allmänna ändamål som medför systemrisker omfattas av skyldigheter som syftar till att identifiera och begränsa dessa risker och säkerställa en lämplig nivå av cybersäkerhetsskydd, oavsett om den tillhandahålls som en fristående modell eller inbyggd i ett AI-system eller en produkt. För att uppnå dessa mål bör det genom denna förordning krävas att leverantörer utför nödvändiga utvärderingar av modeller, särskilt innan de släpps ut på marknaden för första gången, vilket bör inbegripa att genomföra och dokumentera antagonistiska tester av modeller, även när så är lämpligt genom intern eller oberoende extern testning. Dessutom bör leverantörer av AI-modeller för allmänna ändamål med systemrisker kontinuerligt bedöma och begränsa systemriskerna, bland annat genom att införa riskhanteringspolicyer, såsom processer för ansvarsskyldighet och styrning, genomföra övervakning efter utsläppande på marknaden, vidta lämpliga åtgärder längs hela modellens livscykel och samarbeta med relevanta aktörer längs AI-värdekedjan.

(115)Leverantörer av AI-modeller för allmänna ändamål med systemrisker bör bedöma och begränsa eventuella systemrisker. Om utvecklingen eller användningen av modellen, trots insatser för att identifiera och förebygga risker i samband med en AI-modell för allmänna ändamål som kan medföra systemrisker, orsakar en allvarlig incident, bör leverantören av AI-modellen för allmänna ändamål utan oskäligt dröjsmål bevaka incidenten och rapportera all relevant information och möjliga korrigerande åtgärder till kommissionen och de nationella behöriga myndigheterna. Dessutom bör leverantörer säkerställa en lämplig nivå av cybersäkerhetsskydd för modellen och dess fysiska infrastruktur, om så är lämpligt, under modellens hela livscykel. Cybersäkerhetsskydd som avser systemrisker i samband med skadlig användning eller attacker bör ta vederbörlig hänsyn till oavsiktligt modelläckage, otillåtet utsläppande, kringgående av säkerhetsåtgärder och försvar mot cyberattacker, obehörig åtkomst eller modellstöld. Detta skydd kan underlättas genom att modellvikter, algoritmer, servrar och dataset säkras, exempelvis genom operativa säkerhetsåtgärder för informationssäkerhet, särskilda cybersäkerhetspolicyer, lämpliga tekniska och etablerade lösningar samt kontroller av cyberåtkomst och fysisk åtkomst som är lämpliga för de relevanta omständigheterna och riskerna i samband med detta.

(116)AI-byrån bör uppmuntra och underlätta utarbetandet, översynen och anpassningen av förfarandekoder, med beaktande av internationella strategier. Alla leverantörer av AI-modeller för allmänna ändamål kan bjudas in att delta. För att säkerställa att förfarandekoderna återspeglar den senaste utvecklingen och tar vederbörlig hänsyn till en rad olika perspektiv bör AI-byrån samarbeta med relevanta nationella behöriga myndigheter och kan, när så är lämpligt, samråda med det civila samhällets organisationer och andra relevanta intressenter och experter, inbegripet den vetenskapliga panelen, för att utarbeta sådana koder. Förfarandekoder bör omfatta skyldigheter för leverantörer av AI-modeller för allmänna ändamål och AI-modeller för allmänna ändamål som medför systemrisker. När det gäller systemrisker bör förfarandekoder dessutom bidra till att fastställa en risktaxonomi för systemriskernas typ och art på unionsnivå, inbegripet källorna till dem. Förfarandekoder bör också inriktas på särskilda riskbedömnings- och riskbegränsningsåtgärder.

(117)Förfarandekoderna bör utgöra ett centralt verktyg för korrekt fullgörande av de skyldigheter som föreskrivs i denna förordning för leverantörer av AI-modeller för allmänna ändamål. Leverantörerna bör kunna förlita sig på förfarandekoder för att visa att skyldigheterna fullgörs. Genom genomförandeakter kan kommissionen besluta att godkänna en förfarandekod och ge den en allmän giltighet inom unionen, eller alternativt att tillhandahålla gemensamma regler för genomförandet av de relevanta skyldigheterna, om en förfarandekod vid den tidpunkt då denna förordning blir tillämplig inte kan färdigställas eller inte anses vara lämplig av AI-byrån. När en harmoniserad

standard har offentliggjorts och bedömts vara lämplig för att täcka AI-byråns relevanta skyldigheter bör efterlevnad av en europeisk harmoniserad standard ge leverantörer presumtion om överensstämmelse. Leverantörer av AI-modeller för allmänna ändamål bör dessutom kunna påvisa efterlevnad med hjälp av alternativa lämpliga sätt, om förfarandekoder eller harmoniserade standarder inte finns tillgängliga, eller om de väljer att inte förlita sig på dessa.

(118)Denna förordning reglerar AI-system och AI-modeller genom att införa vissa krav och skyldigheter för relevanta marknadsaktörer som släpper ut dem på marknaden, tar dem i bruk eller använder dem i unionen, och kompletterar därigenom skyldigheterna för leverantörer av förmedlingstjänster som bygger in sådana system eller modeller i sina tjänster som regleras genom förordning (EU) 2022/2065. I den mån sådana system eller modeller är inbyggda iutsedda mycket stora onlineplattformar eller mycket stora onlinesökmotorer omfattas de av den riskhanteringsram som föreskrivs i förordning (EU) 2022/2065. Följaktligen bör motsvarande skyldigheter i den här förordningen förutsättas vara uppfyllda, såvida inte betydande systemrisker som inte omfattas av förordning (EU) 2022/2065 uppstår och identifieras i sådana modeller. Inom denna ram är leverantörer av mycket stora onlineplattformar och mycket stora onlinesökmotorer skyldiga att bedöma potentiella systemrisker som härrör från utformningen, funktionen och användningen av deras tjänster, inbegripet hur utformningen av algoritmiska system som används itjänsten kan bidra till sådana risker, samt systemrisker som härrör från potentiell felaktig användning. Dessa leverantörer är också skyldiga att vidta lämpliga riskbegränsningsåtgärder med respekt för grundläggande rättigheter.

(119)Med tanke på den snabba innovationstakten och den tekniska utvecklingen av digitala tjänster som omfattas av olika unionsrättsliga instrument, särskilt med tanke på mottagarnas användning och uppfattning, kan de AI-system som omfattas av denna förordning tillhandahållas som förmedlingstjänster eller delar av sådana i den mening som avses iförordning (EU) 2022/2065, som bör tolkas på ett teknikneutralt sätt. AI-system kan till exempel användas för att tillhandahålla onlinesökmotorer, särskilt i den mån ett AI-system såsom en onlinechatbot gör sökningar på,

kunskapen för att generera ett enda resultat som kombinerar olika informationskällor.

(120)Dessutom är de skyldigheter som åläggs leverantörer och tillhandahållare av vissa AI-system i denna förordning för att det ska vara möjligt att upptäcka och visa att utdata från dessa system genereras eller manipuleras artificiellt särskilt relevanta för att underlätta ett effektivt genomförande av förordning (EU) 2022/2065. Detta gäller särskilt i fråga om skyldigheterna för leverantörer av mycket stora onlineplattformar eller mycket stora onlinesökmotorer att identifiera och begränsa systemrisker som kan uppstå till följd av spridning av innehåll som genererats eller manipulerats artificiellt, särskilt risken för faktiska eller förutsebara negativa effekter på demokratiska processer, samhällsdebatten och valprocesser, inbegripet genom desinformation.

(121)Standardisering bör ha en nyckelroll för att förse leverantörer med tekniska lösningar för att säkerställa efterlevnaden av denna förordning i linje med den senaste utvecklingen, för att främja innovation samt konkurrenskraft och tillväxt på den inre marknaden. Överenstämmelse med harmoniserade standarder enligt definitionen i artikel 2.1 c i Europaparlamentets och rådets förordning (EU) nr 1025/2012 (41), som normalt förväntas återspegla den senaste utvecklingen, bör vara ett sätt för leverantörer att visa att de uppfyller kraven i den här förordningen. En balanserad representation av intressen som involverar alla berörda parter i utarbetandet av standarder, särskilt små och medelstora företag, konsumentorganisationer samt miljö-och arbetstagarintressenter i enlighet med artiklarna 5 och 6 i förordning (EU) nr 1025/2012, bör därför uppmuntras. För att underlätta efterlevnaden bör begäranden om standardisering utfärdas av kommissionen utan oskäligt dröjsmål. När kommissionen utarbetar en begäran om standardisering bör den samråda med det rådgivande forumet och styrelsen för att samla in relevant expertis. I avsaknad av relevanta hänvisningar till harmoniserade standarder bör kommissionen dock, genom genomförandeakter och efter samråd med det rådgivande forumet, kunna fastställa gemensamma specifikationer för vissa krav enligt den här förordningen. Den gemensamma specifikationen bör vara en exceptionell reservlösning för att underlätta leverantörens skyldighet att uppfylla kraven i den här förordningen, när begäran om standardisering inte har godtagits av någon av de europeiska standardiseringsorganisationerna eller när de relevanta harmoniserade standarderna inte i tillräcklig utsträckning behandlar frågor om grundläggande rättigheter, eller när de harmoniserade standarderna inte överensstämmer med begäran, eller när antagandet av en lämplig harmoniserad

(41) Europaparlamentets och rådets förordning (EU) nr 1025/2012 av den 25 oktober 2012 om europeisk standardisering och om ändring av rådets direktiv 89/686/EEG och 93/15/EEG samt av Europaparlamentets och rådets direktiv 94/9/EG, 94/25/EG, 95/16/EG, 97/23/EG, 98/34/EG, 2004/22/EG, 2007/23/EG, 2009/23/EG och 2009/105/EG samt om upphävande av rådets beslut 87/95/EEG och Europaparlamentets och rådets beslut 1673/2006/EG (EUT L 316, 14.11.2012, s. 12).

standard försenas. Om en sådan försening av antagandet av en harmoniserad standard beror på den tekniska komplexiteten hos den standarden bör kommissionen beakta detta innan den överväger att fastställa gemensamma specifikationer. Vid utarbetandet av gemensamma specifikationer uppmanas kommissionen att samarbeta med internationella partner och internationella standardiseringsorgan.

(122)Utan att det påverkar användningen av harmoniserade standarder och gemensamma specifikationer är det lämpligt att leverantörer av ett AI-system med hög risk som har tränats och testats på data som återspeglar den specifika geografiska, beteendemässiga, kontextuella eller funktionella situation där AI-systemet är avsett att användas, förutsätts följa den relevanta åtgärd som föreskrivs enligt kravet på dataförvaltning i denna förordning. Utan att det påverkar de krav avseende robusthet och riktighet som fastställs i denna förordning, i enlighet med artikel 54.3 iförordning (EU) 2019/881, bör AI-system med hög risk som har certifierats eller för vilka en försäkran om överensstämmelse har utfärdats inom ramen för en cybersäkerhetsordning i enligt den förordningen och till vilka hänvisningar har offentliggjorts i Europeiska unionens officiella tidning förutsättas uppfylla cybersäkerhetskravet i den här förordningen i den mån cybersäkerhetscertifikatet eller försäkran om överensstämmelse eller delar därav omfattar cybersäkerhetskravet i den här förordningen. Detta påverkar inte cybersäkerhetsordningens frivilliga karaktär.

(123)För att säkerställa en hög nivå av tillförlitlighet för AI-system med hög risk bör sådana system vara föremål för en bedömning av överensstämmelse innan de släpps ut på marknaden eller tas i bruk.

(124)För att minimera bördan för operatörer och förhindra allt eventuellt dubbelarbete är det, för AI-system med hög risk som är relaterade till produkter som omfattas av befintlig unionsharmoniseringslagstiftning som bygger på den nya lagstiftningsramen, lämpligt att bedöma dessa AI-systems uppfyllande av kraven i denna förordning inom ramen för den bedömning av överensstämmelse som redan föreskrivs i den lagstiftningen. Tillämpligheten för kraven i denna förordning bör därmed inte påverka den specifika logiken, metoden eller allmänna strukturen för bedömningen av överensstämmelse enligt relevant unionsharmoniseringslagstiftning.

(125)Med tanke på komplexiteten hos AI-system med hög risk och de risker som är förknippade med dem är det viktigt att utveckla ett lämpligt förfarande för bedömning av överensstämmelse för AI-system med hög risk som involverar anmälda organ, så kallad tredjepartsbedömning av överensstämmelse. Mot bakgrund av den nuvarande erfarenheten hos professionella certifieringsorgan före utsläppandet på marknaden på området produktsäkerhet och de olika typer av risker som är involverade är det dock lämpligt att, åtminstone i den inledande fasen av denna förordnings tillämpning, begränsa tillämpningsområdet för tredjepartsbedömning av överensstämmelse när det gäller andra AI-system med hög risk än dem som är relaterade till produkter. Därför bör bedömningen av överensstämmelse för sådana system som en allmän regel utföras av leverantören på eget ansvar, med det enda undantaget för AI-system som är avsedda att användas för biometri.

(126)För genomförandet av tredjepartsbedömningar av överensstämmelse när så krävs, bör anmälda organ anmälas enligt denna förordning av de nationella behöriga myndigheterna, under förutsättning att de uppfyller ett antal krav, isynnerhet vad gäller oberoende, kompetens, avsaknad av intressekonflikter samt lämpliga krav för cybersäkerhet. De nationella behöriga myndigheterna bör skicka anmälan av dessa organ till kommissionen och de övriga medlemsstaterna med hjälp av det elektroniska anmälningsverktyg som utvecklats och förvaltas av kommissionen enligt artikel R23 i bilaga I till beslut nr 768/2008/EG.

(127)I linje med unionens åtaganden enligt Världshandelsorganisationens avtal om tekniska handelshinder är det lämpligt att underlätta ömsesidigt erkännande av resultat av bedömningar av överensstämmelse som tagits fram av behöriga organ för bedömning av överensstämmelse som är oberoende av det territorium där de är etablerade, förutsatt att dessa organ för bedömning av överensstämmelse som inrättats enligt ett tredjelands rätt uppfyller de tillämpliga kraven i denna förordning och att unionen har ingått ett avtal om detta. I detta sammanhang bör kommissionen aktivt undersöka möjliga internationella instrument för detta ändamål och särskilt sträva efter att ingå avtal om ömsesidigt erkännande med tredjeländer.

(128)Vid varje ändring som kan påverka efterlevnaden av denna förordning för ett AI-system med hög risk (t.ex. en ändring av operativsystem eller programvaruarkitektur) eller vid ändring av systemets avsedda ändamål är det lämpligt att AI-systemet, i linje med det vedertagna begreppet väsentlig ändring som avser produkter som regleras genom unionens harmoniseringslagstiftning, anses vara ett nytt AI-system som bör genomgå en ny bedömning av överensstämmelse. Ändringar av algoritmen och prestandan i AI-system som fortsätter sin inlärning efter att de släppts ut på marknaden eller tagits i bruk, dvs. automatiskt anpassar hur funktionerna utförs, bör dock inte utgöra väsentliga ändringar, förutsatt att dessa ändringar på förhand har fastställts av leverantören och bedömts vid tidpunkten för bedömning av överensstämmelse.

(129)AI-system med hög risk bör vara försedda med en CE-märkning som visar att de överensstämmer med denna förordning, så att de kan omfattas av den fria rörligheten på den inre marknaden. För AI-system med hög risk som är inbyggda i en produkt bör en fysisk CE-märkning anbringas, och den kan kompletteras med en digital CE-märkning. För AI-system med hög risk som endast tillhandahålls digitalt bör en digital CE-märkning användas. Medlemsstaterna bör inte sätta upp omotiverade hinder för utsläppandet på marknaden eller ibruktagandet av AI-system med hög risk som uppfyller kraven i denna förordning och är försedda med en CE-märkning.

(130)Under vissa omständigheter kan en snabb tillgång till innovativ teknik vara avgörande för människors hälsa och säkerhet, miljöskyddet och klimatförändringarna och för samhället som helhet. Det är därför lämpligt att marknadskontrollmyndigheterna, när det föreligger exceptionella skäl som rör allmän säkerhet eller skydd av fysiska personers liv och hälsa, miljöskydd och skydd av viktiga industriella och infrastrukturella tillgångar, har möjlighet att tillåta utsläppandet på marknaden eller ibruktagandet av AI-system som inte har genomgått en bedömning av överensstämmelse. I vederbörligen motiverade situationer enligt denna förordning kan brottsbekämpande myndigheter eller civilskyddsmyndigheter ta ett specifikt AI-system med hög risk i bruk utan marknadskontrollmyndighetens tillstånd, förutsatt att ett sådant tillstånd begärs under eller efter användningen utan oskäligt dröjsmål.

(131)För att underlätta kommissionens och medlemsstaternas arbete på AI-området och öka transparensen gentemot allmänheten, bör leverantörer av andra AI-system med hög risk än dem som är relaterade till produkter som faller inom tillämpningsområdet för relevant befintlig unionsharmoniseringslagstiftning, samt leverantörer som anser att ett AI-system som förtecknas under användningsfall med hög risk i en bilaga till denna förordning inte är ett AI-system med hög risk på grundval av ett undantag, åläggas att registrera sig själva och information om sina AI-system i en EU-databas som ska upprättas och förvaltas av kommissionen. Innan ett AI-system som förtecknas under användningsfall med hög risk i en bilaga till denna förordning används bör tillhandahållare av AI-system med hög risk som är offentliga myndigheter, byråer eller organ registrera sig i en sådan databas och välja det system som de avser att använda. Andra tillhandahållare bör ha rätt att göra detta frivilligt. Denna del av EU-databasen bör vara kostnadsfritt åtkomlig för allmänheten, och det bör vara lätt att navigera i informationen, som bör vara begriplig och maskinläsbar. EU-databasen bör också vara användarvänlig, till exempel genom att sökfunktioner, inbegripet genom nyckelord, tillhandahålls som gör det möjligt för allmänheten att hitta relevant information som ska lämnas in vid registreringen av AI-system med hög risk och om det användningsfall av AI-system med hög risk som anges i en bilaga till denna förordning som AI-systemen med hög risk motsvarar. Alla väsentliga ändringar av AI-system med hög risk bör också registreras i EU-databasen. För AI-system med hög risk på området brottsbekämpning, migration, asyl och gränskontrollförvaltning bör registreringsskyldigheterna uppfyllas i en säker icke-offentlig del av EU-databasen. Åtkomsten till den säkra icke-offentliga delen bör strikt begränsas till kommissionen och till marknadskontrollmyndigheterna när det gäller deras nationella del av databasen. AI-system med hög risk på området kritisk infrastruktur bör endast registreras på nationell nivå. Kommissionen bör vara personuppgiftsansvarig för EU-databasen i enlighet med förordning (EU) 2018/1725. För att säkerställa att EU-databasen är fullt funktionell när den börjar utnyttjas, bör förfarandet för inrättandet av databasen innefatta funktionsspecifikationer som utvecklas av kommissionen samt en oberoende revisionsrapport. Kommissionen bör ta hänsyn till cybersäkerhetsrisker när den utför sina uppgifter som personuppgiftsansvarig i EU-databasen. För att allmänheten ska få så stor tillgång till och kunna använda EU-databasen så mycket som möjligt bör EU-databasen, och den information som tillgängliggörs genom den, uppfylla kraven i direktiv (EU) 2019/882.

(132)Vissa AI-system avsedda för att interagera med fysiska personer eller generera innehåll kan utgöra särskilda risker för identitetsmissbruk eller vilseledning oavsett om de kategoriseras som AI-system med hög risk eller inte. Under vissa omständigheter bör därför användningen av dessa system omfattas av särskilda transparensskyldigheter utan att det påverkar kraven eller skyldigheterna för AI-system med hög risk och omfattas av riktade undantag för att ta hänsyn till brottsbekämpningens särskilda behov. I synnerhet bör fysiska personer underrättas om att de interagerar med ett AI-system, såvida detta inte är uppenbart för en fysisk person som är normalt informerad och skäligen uppmärksam och medveten med beaktande av omständigheterna kring och sammanhanget för användningen. Vid genomförandet av den skyldigheten bör det som kännetecknar fysiska personer som tillhör sårbara grupper på grund av ålder eller funktionsnedsättning beaktas i den mån AI-systemet även är avsett att interagera med dessa grupper. Dessutom bör fysiska personer underrättas när de utsätts för AI-system som genom att behandla deras biometriska uppgifter kan identifiera eller härleda dessa personers känslor eller avsikter eller hänföra dem till särskilda kategorier. Sådana särskilda kategorier kan avse aspekter som kön, ålder, hårfärg, ögonfärg, tatueringar, personlighetsdrag, etniskt ursprung, personliga preferenser och intressen. Sådan information och sådana underrättelser bör tillhandahållas i format som är tillgängliga för personer med funktionsnedsättning.

(133)En rad olika AI-system kan generera stora mängder syntetiskt innehåll som blir allt svårare för människor att skilja från mänskligt genererat och autentiskt innehåll. Dessa systems breda tillgänglighet och ökande kapacitet har en betydande inverkan på integriteten och förtroendet för informationsekosystemet, vilket medför nya risker för felaktig information och manipulering i stor skala, bedrägeri, identitetsmissbruk och vilseledande av konsumenter. Mot bakgrund av denna inverkan, den snabba tekniska takten och behovet av nya metoder och tekniker för att spåra ursprunget till information är det lämpligt att kräva att leverantörer av dessa system integrerar tekniska lösningar som möjliggör märkning i maskinläsbart format och upptäckt av att utdata har genererats eller manipulerats av ett AI-system och inte av en människa. Sådana tekniker och metoder bör vara tillräckligt tillförlitliga, driftskompatibla, effektiva och robusta i den mån det är tekniskt möjligt, med beaktande av tillgänglig teknik eller en kombination av sådana tekniker, såsom vattenmärken, metadataidentifiering, krypteringsmetoder för att bevisa innehållets härkomst och äkthet, loggningsmetoder, fingeravtryck eller annan teknik, beroende på vad som är lämpligt. När denna skyldighet fullgörs bör leverantörer även beakta särdragen och begränsningarna hos olika typer av innehåll, och den relevanta tekniska utvecklingen och marknadsutvecklingen på området, såsom detta återspeglas i den allmänt erkända senaste utvecklingen. Sådana tekniker och metoder kan genomföras på AI-systemnivå eller AI-modellnivå, inbegripet i fråga om AI-modeller för allmänna ändamål som genererar innehåll, för att därigenom underlätta fullgörandet av denna skyldighet av AI-systemets leverantör i efterföljande led. För att förbli proportionell är det lämpligt att föreskriva att denna märkningsskyldighet inte bör omfatta AI-system som i första hand utför en hjälpfunktion för vanlig redigering eller AI-system som inte väsentligt ändrar de indata som tillhandahålls av tillhandahållaren eller deras semantik.

(134)Med hänsyn till de tekniska lösningar som används av leverantörerna av AI-systemet bör tillhandahållare som använder ett AI-system för att generera eller manipulera bilder eller ljud-eller videoinnehåll som på ett märkbart sätt liknar befintliga personer, föremål, platser, enheter eller händelser, och som för en person felaktigt kan framstå som autentiska eller sanningsenliga (deepfake), även på ett tydligt och urskiljbart sätt upplysa om att innehållet har skapats artificiellt eller manipulerats genom märkning av de utdata som producerats med AI i enlighet med det och upplysa om dess artificiella ursprung. Fullgörandet av denna transparensskyldighet bör inte tolkas som att användningen av AI-systemet eller dess utdata hindrar rätten till yttrandefrihet och konstens och vetenskapens frihet, som garanteras istadgan, särskilt när innehållet ingår i ett uppenbart kreativt, satiriskt, konstnärligt, skönlitterärt eller liknande verk eller program, med förbehåll för lämpliga garantier för tredje parters rättigheter och friheter. I dessa fall är den transparensskyldighet för deepfake som fastställs i denna förordning begränsad till en upplysning om förekomsten av sådant genererat eller manipulerat innehåll på ett lämpligt sätt som inte hindrar visningen eller åtnjutandet av verket, inbegripet dess normala utnyttjande och användning, samtidigt som verkets nytta och kvalitet upprätthålls. Det är också lämpligt att föreskriva en liknande upplysningsskyldighet när det gäller AI-genererad eller AI-manipulerad text iden mån den offentliggörs i syfte att informera allmänheten om frågor av allmänt intresse, såvida inte det AI-genererade innehållet har genomgått en process för mänsklig granskning eller redaktionell kontroll och en fysisk eller juridisk person har redaktionellt ansvar för offentliggörandet av innehållet.

(135)Utan att det påverkar transparensskyldigheternas obligatoriska karaktär och fullständiga tillämplighet kan kommissionen också uppmuntra och underlätta utarbetandet av förfarandekoder på unionsnivå för att underlätta ett effektivt genomförande av skyldigheterna avseende upptäckt och märkning av artificiellt genererat eller manipulerat innehåll, bland annat för att stödja praktiska arrangemang för att, när så är lämpligt, göra mekanismerna för upptäckt tillgängliga och underlätta samarbetet med andra aktörer längs värdekedjan, sprida innehåll eller kontrollera dess autenticitet och ursprung för att göra det möjligt för allmänheten att på ett effektivt sätt urskilja AI-genererat innehåll.

(136)Dessutom är de skyldigheter som åläggs leverantörer och tillhandahållare av vissa AI-system i denna förordning för att det ska vara möjligt att upptäcka och visa att utdata från dessa system är artificiellt genererade eller manipulerade vara särskilt relevanta för att underlätta ett effektivt genomförande av förordning (EU) 2022/2065. Detta gäller särskilt i fråga om skyldigheterna för leverantörer av mycket stora onlineplattformar eller mycket stora onlinesökmotorer att identifiera och begränsa systemrisker som kan uppstå till följd av spridning av innehåll som genererats eller manipulerats artificiellt, särskilt risken för faktiska eller förutsebara negativa effekter på demokratiska processer, samhällsdebatten och valprocesser, inbegripet genom desinformation. Kravet på märkning av innehåll som genereras av AI-system enligt den här förordningen påverkar inte skyldigheten i artikel 16.6 i förordning (EU) 2022/2065 för leverantörer av värdtjänster att behandla anmälningar om olagligt innehåll som mottagits enligt artikel 16.1 i den förordningen och bör inte påverka bedömningen och beslutet om det specifika innehållets olaglighet. Denna bedömning bör göras endast med hänsyn till de regler som reglerar innehållets lagenlighet.

(137)Fullgörandet av transparensskyldigheterna för AI-system som omfattas av denna förordning bör inte tolkas som att användningen av AI-systemet eller dess utdata är laglig enligt denna förordning eller annan unionsrätt och nationell rätt i medlemsstaterna och bör inte påverka andra transparensskyldigheter för tillhandahållare av AI-system som fastställs i unionsrätten eller nationell rätt.

(138)AI är en teknikfamilj i snabb utveckling som kräver tillsyn och ett säkert och kontrollerat område för experiment, med säkerställande av ansvarsfull innovation och integrering av ändamålsenliga skydds- och riskbegränsningsåtgärder. För att säkerställa en rättslig ram som främjar innovation och är framtidssäkrad och resilient mot störningar, bör medlemsstaterna säkerställa att deras nationella behöriga myndigheter inrättar åtminstone en regulatorisk sandlåda för AI på nationell nivå, för att underlätta utveckling och testning av innovativa AI-system under strikt tillsyn innan dessa system släpps ut på marknaden eller på annat sätt tas i bruk. Medlemsstaterna kan också fullgöra denna skyldighet genom att delta i redan befintliga regulatoriska sandlådor eller gemensamt inrätta en sandlåda med en eller flera medlemsstaters behöriga myndigheter, i den mån detta deltagande ger de deltagande medlemsstaterna likvärdig nationell täckning. Regulatoriska sandlådor för AI kan inrättas i fysisk eller digital form eller i hybridform och kan rymma både fysiska och digitala produkter. Inrättandet av myndigheter bör också säkerställa att de regulatoriska sandlådorna för AI har tillräckliga resurser för sin funktion, inbegripet ekonomiska och mänskliga resurser.

(139)Målen med dessa regulatoriska sandlådor för AI bör vara att främja AI-innovation genom inrättande av en kontrollerad experiment-och testmiljö vid utveckling och under fasen före utsläppandet på marknaden, med sikte på att säkerställa att de innovativa AI-systemen är förenliga med denna förordning och annan relevant unionsrätt och nationell rätt. Dessutom bör regulatoriska sandlådor för AI syfta till att öka rättssäkerheten för innovatörer och förbättra de behöriga myndigheternas tillsyn och förståelse av möjligheterna, de nya riskerna och effekterna av AI-användning, att underlätta regulatoriskt lärande för myndigheter och företag, även med tanke på framtida anpassningar av den rättsliga ramen, att stödja samarbete och utbyte av bästa praxis med de myndigheter som deltar iregulatoriska sandlådan för AI och att påskynda tillträdet till marknader, bland annat genom att undanröja hinder för små och medelstora företag, inbegripet uppstartsföretag. Regulatoriska sandlådor för AI bör vara tillgängliga ibred omfattning i hela unionen, och särskild uppmärksamhet bör ägnas åt deras tillgänglighet för små och medelstora företag, inbegripet uppstartsföretag. Deltagandet i den regulatoriska sandlådan för AI bör inriktas på problem som skapar rättsosäkerhet för leverantörer och potentiella leverantörer när de ska vara innovativa, experimentera med AI i unionen och bidra till evidensbaserat regulatoriskt lärande. Tillsynen av AI-systemen i den regulatoriska sandlådan för AI bör därför omfatta deras utveckling, träning, testning och validering innan systemen släpps ut på marknaden eller tas i bruk, samt begreppet och förekomsten av väsentlig ändring som kan kräva ett nytt förfarande för bedömning av överensstämmelse. Alla betydande risker som upptäcks under utvecklingen och testningen av sådana AI-system bör leda till omedelbar riskbegränsning och, om detta inte är möjligt, leda till att utvecklings-och testningsprocessen tillfälligt avbryts. När så är lämpligt bör nationella behöriga myndigheter som inrättar regulatoriska sandlådor för AI samarbeta med andra relevanta myndigheter, inbegripet dem som övervakar skyddet av grundläggande rättigheter, och de skulle kunna tillåta deltagande av andra aktörer inom AI-ekosystemet, såsom nationella eller europeiska standardiseringsorganisationer, anmälda organ, test-och experimentfaciliteter, forsknings-och experimentlaboratorier, europeiska digitala innovationsknutpunkter och relevanta organisationer för berörda parter och för det civila samhället. För att säkerställa ett enhetligt genomförande i hela unionen och stordriftsfördelar är det lämpligt att fastställa gemensamma regler för införandet av regulatoriska sandlådor för AI och en samarbetsram för de berörda myndigheter som deltar i tillsynen över sådana sandlådor. Regulatoriska sandlådor för AI som inrättas enligt denna förordning bör inte påverka annan rätt som tillåter inrättande av andra sandlådor som syftar till att säkerställa överensstämmelse med annan rätt än denna förordning. När så är lämpligt bör relevanta behöriga myndigheter som ansvarar för dessa andra regulatoriska sandlådor överväga fördelarna med att använda dessa sandlådor även i syfte att säkerställa AI-systemens överensstämmelse med denna förordning. Efter överenskommelse mellan de nationella behöriga myndigheterna och deltagarna i den regulatoriska sandlådan för AI kan testning under verkliga förhållanden också genomföras och övervakas inom ramen för den regulatoriska sandlådan för AI.

(140)Denna förordning bör erbjuda den rättsliga grunden för att leverantörer och potentiella leverantörer i den regulatoriska sandlådan för AI använder personuppgifter som samlats in för andra ändamål för att utveckla vissa AI-system i allmänhetens intresse inom regulatoriska sandlådor för AI, endast på de angivna villkoren, i enlighet med artiklarna 6.4 och 9.2 g i förordning (EU) 2016/679 och artiklarna 5, 6 och 10 i förordning (EU) 2018/1725, och utan att det påverkar tillämpningen av artiklarna 4.2 och 10 i direktiv (EU) 2016/680. Alla andra skyldigheter för personuppgiftsansvariga och de registrerades rättigheter enligt förordningarna (EU) 2016/679 och (EU) 2018/1725 och direktiv (EU) 2016/680 förblir tillämpliga. I synnerhet bör den här förordningen inte utgöra en rättslig grund iden mening som avses i artikel 22.2 b i förordning (EU) 2016/679 och artikel 24.2 b i förordning (EU) 2018/1725.

Leverantörer och potentiella leverantörer i den regulatoriska sandlådan för AI bör säkerställa ändamålsenliga skyddsåtgärder och samarbeta med de behöriga myndigheterna, vilket omfattar att följa deras vägledning och agera snabbt och i god tro för att på lämpligt sätt begränsa eventuella identifierade väsentliga risker för säkerhet, hälsa och grundläggande rättigheter som kan uppstå i samband med utvecklings-, testnings- och experimentverksamhet i den sandlådan.

(141)För att påskynda utvecklingen och utsläppandet på marknaden av de AI-system med hög risk som förtecknas i en bilaga till denna förordning är det viktigt att leverantörer eller potentiella leverantörer av sådana system också kan dra nytta av en särskild ordning för testning av dessa system under verkliga förhållanden, utan att delta i en regulatorisk sandlåda för AI. I sådana fall bör det, med beaktande av de möjliga konsekvenserna av sådan testning för enskilda personer, dock säkerställas att lämpliga och tillräckliga garantier och villkor införs genom denna förordning för leverantörer eller potentiella leverantörer. Sådana garantier bör bland annat inbegripa en begäran om informerat samtycke från fysiska personer att delta i testning under verkliga förhållanden, med undantag för brottsbekämpning om inhämtandet av informerat samtycke skulle hindra AI-systemet från att testas. Försökspersonernas samtycke till att delta i sådan testning enligt denna förordning skiljer sig från och påverkar inte de registrerades samtycke till behandling av deras personuppgifter enligt relevant dataskyddslagstiftning. Det är också viktigt att minimera riskerna och göra det möjligt för behöriga myndigheter att utöva tillsyn, och därför kräva att potentiella leverantörer har en plan för testning under verkliga förhållanden som lämnas in till den behöriga marknadskontrollmyndigheten och att de registrerar testningen i särskilda delar av EU-databasen med vissa begränsade undantag, samt att fastställa begränsningar för den period under vilken testningen kan utföras och kräva ytterligare skyddsåtgärder för personer som tillhör vissa sårbara grupper, liksom ett skriftligt avtal som definierar rollerna och ansvarsområdena för potentiella leverantörer och tillhandahållare samt formerna för en effektiv tillsyn av personal med lämplig kompetens som deltar i testningen under verkliga förhållanden. Det är dessutom lämpligt att överväga ytterligare skyddsåtgärder för att säkerställa att AI-systemets förutsägelser, rekommendationer eller beslut effektivt kan upphävas och ignoreras och att personuppgifter skyddas och raderas när försökspersonerna har dragit tillbaka sitt samtycke till att delta i testningen, utan att det påverkar deras rättigheter som registrerade enligt unionens dataskyddslagstiftning. När det gäller överföring av uppgifter är det också lämpligt att förutse att uppgifter som samlats in och behandlats för testning under verkliga förhållanden bör överföras till tredjeländer endast om lämpliga och tillämpliga skyddsåtgärder enligt unionsrätten vidtas, särskilt i enlighet med grunderna för överföring av personuppgifter enligt unionsrätten om dataskydd, medan det i fråga om icke-personuppgifter införs lämpliga skyddsåtgärder i enlighet med unionsrätten, såsom Europaparlamentets och rådets förordningar (EU) 2022/868 (42) och (EU) 2023/2854 (43).

(142)För att säkerställa att AI leder till socialt och miljömässigt fördelaktiga utfall uppmuntras medlemsstaterna att stödja och främja forskning och utveckling av AI-lösningar till stöd för socialt och miljömässigt fördelaktiga utfall, såsom AI-baserade lösningar för att öka tillgängligheten för personer med funktionsnedsättning, ta itu med socioekonomiska ojämlikheter eller uppnå miljömål, genom att anslå tillräckliga resurser, inbegripet offentlig finansiering och unionsfinansiering, och, när så är lämpligt och förutsatt att behörighets- och urvalskriterierna är uppfyllda, genom att särskilt beakta projekt som eftersträvar sådana mål. Projekten bör grunda sig på principen om interdisciplinärt samarbete mellan AI-utvecklare, experter på ojämlikhet och icke-diskriminering, tillgänglighet, konsument- och miljörättigheter samt digitala rättigheter, och akademiker.

(143)För att främja och skydda innovation är det viktigt att särskild hänsyn tas till intressena hos små och medelstora företag, inbegripet uppstartsföretag, som är leverantörer eller tillhandahållare av AI-system. För det ändamålet bör medlemsstaterna ta fram initiativ som riktar sig till dessa operatörer, bland annat vad gäller medvetandehöjande och information. Medlemsstaterna bör ge små och medelstora företag, inbegripet uppstartsföretag, som har ett säte eller en filial i unionen prioriterad tillgång till de regulatoriska sandlådorna för AI, förutsatt att de uppfyller behörighetskraven och urvalskriterierna och utan att andra leverantörer och potentiella leverantörer hindras från att få tillgång till sandlådorna, förutsatt att samma krav och kriterier är uppfyllda. Medlemsstaterna bör använda befintliga kanaler och, när så är lämpligt, inrätta nya särskilda kanaler för kommunikation med små och medelstora företag, inbegripet uppstartsföretag, tillhandahållare, andra innovatörer och, i förekommande fall, lokala offentliga myndigheter i syfte att stödja små och medelstora företag under deras utveckling genom att ge vägledning och svara på frågor om genomförandet av denna förordning. Där så är lämpligt bör dessa kanaler samarbeta för att skapa synergier och säkerställa homogenitet i sin vägledning till små och medelstora företag, inbegripet uppstartsföretag, och tillhandahållare. Medlemsstaterna bör dessutom underlätta små och medelstora företags och andra berörda parters deltagande i processerna för standardiseringsutveckling. De särskilda intressena och behoven hos

leverantörer som är små och medelstora företag, inbegripet uppstartsföretag, bör också beaktas när anmälda organ fastställer avgifterna för bedömning av överensstämmelse. Kommissionen bör regelbundet bedöma kostnaderna för certifiering och efterlevnad för små och medelstora företag, inbegripet uppstartsföretag, genom transparenta samråd, och samarbeta med medlemsstaterna för att sänka sådana kostnader. Till exempel kan kostnaderna för översättning av obligatorisk dokumentation och kommunikation med myndigheter utgöra betydande kostnader för leverantörer och andra operatörer, i synnerhet mer småskaliga sådana. Medlemsstaterna bör eventuellt säkerställa att ett av de språk som fastställs och godtas av dem för relevant dokumentation från leverantörer och för kommunikation med operatörer är ett språk som i huvudsak förstås av största möjliga antal tillhandahållare i gränsöverskridande situationer. För att tillgodose de särskilda behoven hos små och medelstora företag, inbegripet uppstartsföretag, bör kommissionen på styrelsens begäran tillhandahålla standardiserade mallar för de områden som omfattas av denna förordning. Kommissionen bör dessutom komplettera medlemsstaternas insatser genom att tillhandahålla en enda informationsplattform med information om denna förordning som är lätt att använda för alla leverantörer och tillhandahållare, genom att anordna lämpliga kommunikationskampanjer i syfte att öka medvetenheten om de skyldigheter som följer av denna förordning och genom att utvärdera och främja konvergens av bästa praxis i förfaranden för offentlig upphandling när det gäller AI-system. Medelstora företag som fram till nyligen betraktades som små företag i den mening som avses i bilagan till kommissionens rekommendation 2003/361/EG (44) bör ha tillgång till dessa stödåtgärder, eftersom dessa nya medelstora företag ibland saknar de rättsliga resurser och den utbildning som krävs för att säkerställa en korrekt förståelse och efterlevnad av denna förordning.

(144)För att främja och skydda innovation bör plattformen för efterfrågestyrd AI samt alla relevanta unionsfinansieringsprogram och unionsprojekt, såsom programmet för ett digitalt Europa och Horisont Europa, som genomförs av kommissionen och medlemsstaterna på unionsnivå eller nationell nivå i förekommande fall bidra till att målen i denna förordning uppnås.

(145)För att minimera risker för genomförandet som följer av bristande kunskap och expertis på marknaden, och för att främja leverantörernas, särskilt små och medelstora företags, inbegripet uppstartsföretags, och de anmälda organens uppfyllande av sina skyldigheter enligt denna förordning, bör plattformen för efterfrågestyrd AI, de europeiska digitala innovationsknutpunkterna och de test- och experimentfaciliteter som inrättas av kommissionen och medlemsstaterna på unionsnivå eller nationell nivå bidra till genomförandet av denna förordning. Inom sina respektive uppdrag och kompetensområden kan plattformen för efterfrågestyrd AI, de europeiska digitala innovationsknutpunkterna och test- och experimentfaciliteterna i synnerhet tillhandahålla tekniskt och vetenskapligt stöd till leverantörer och anmälda organ.

(146)Med tanke på vissa operatörers mycket begränsade storlek och för att säkerställa proportionalitet när det gäller innovationskostnader, bör dessutom mikroföretag tillåtas att fullgöra en av de mest kostsamma skyldigheterna, nämligen inrättandet av ett kvalitetsstyrningssystem, på ett förenklat sätt som skulle minska den administrativa bördan och kostnaderna för dessa företag utan att skyddsnivån och behovet av efterlevnad av kraven för AI-system med hög risk påverkas. Kommissionen bör utarbeta riktlinjer för att specificera de delar av kvalitetsstyrningssystemet som mikroföretag bör fullgöra på detta förenklade sätt.

(147)Det är lämpligt att kommissionen i möjligaste mån underlättar tillgången till test- och experimentfaciliteter för organ, grupper eller laboratorier som inrättats eller ackrediterats enligt relevant unionsharmoniseringslagstiftning och som utför uppgifter inom ramen för bedömning av överensstämmelse för produkter eller utrustning som omfattas av den unionsharmoniseringslagstiftningen. Detta gäller i synnerhet för expertpaneler, expertlaboratorier och referenslaboratorier på området medicintekniska produkter enligt förordningarna (EU) 2017/745 och (EU) 2017/746.

(148)Denna förordning bör fastställa en styrningsram som gör det möjligt såväl att samordna och stödja tillämpningen av denna förordning på nationell nivå som att bygga upp kapacitet på unionsnivå och involvera berörda parter på AI-området. Ett effektivt genomförande och en effektiv kontroll av efterlevnaden av denna förordning kräver en styrningsram som gör det möjligt att samordna och bygga upp central expertis på unionsnivå. AI-byrån inrättades genom ett kommissionsbeslut (45) och har som uppdrag att utveckla unionens expertis och kapacitet på AI-området och att bidra till genomförandet av unionsrätten om AI. Medlemsstaterna bör underlätta AI-byråns uppgifter med målet att stödja utvecklingen av unionens expertis och kapacitet på unionsnivå och stärka den digitala inre marknadens funktion. Det bör dessutom inrättas en styrelse bestående av företrädare för medlemsstaterna, en vetenskaplig panel för att involvera forskarsamhället och ett rådgivande forum för att genom synpunkter från berörda parter bidra till genomförandet av denna förordning, på unionsnivå och nationell nivå. Utvecklingen av

unionens expertis och kapacitet bör också inbegripa användning av befintliga resurser och befintlig expertis, särskilt genom synergier med strukturer som byggts upp i samband med efterlevnaden av annan rätt på unionsnivå och synergier med därmed sammanhängande initiativ på unionsnivå, såsom det gemensamma företaget EuroHPC och test- och experimentfaciliteter för AI inom ramen för programmet för ett digitalt Europa.

(149)För att främja ett smidigt, effektivt och harmoniserat genomförande av denna förordning bör en styrelse inrättas. Styrelsen bör återspegla AI-ekosystemets olika intressen och bestå av företrädare för medlemsstaterna. Styrelsen bör ansvara för ett antal rådgivande uppgifter, däribland att utfärda yttranden, rekommendationer, råd eller bidra till vägledning om frågor som rör genomförandet av denna förordning, inbegripet när det gäller frågor som rör kontroll av efterlevnad, tekniska specifikationer eller befintliga standarder avseende kraven i denna förordning och råd till kommissionen, medlemsstaterna och deras nationella behöriga myndigheter om specifika frågor som rör AI. För att ge medlemsstaterna viss flexibilitet när de utser sina företrädare i styrelsen kan sådana företrädare utgöras av alla personer som tillhör offentliga enheter och som bör ha relevant kompetens och relevanta befogenheter för att underlätta samordningen på nationell nivå och bidra till att styrelsens uppgifter fullgörs. Styrelsen bör inrätta två ständiga undergrupper för att tillhandahålla en plattform för samarbete och utbyte mellan marknadskontrollmyndigheter och anmälande myndigheter i frågor som rör marknadskontroll respektive anmälda organ. Den ständiga arbetsgruppen för marknadskontroll bör fungera som grupp för administrativt samarbete (Adco-grupp) för denna förordning i den mening som avses i artikel 30 i förordning (EU) 2019/1020. I enlighet med artikel 33 i den förordningen bör kommissionen stödja verksamheten i den ständiga arbetsgruppen för marknadskontroll genom att genomföra marknadsutvärderingar eller marknadsstudier, särskilt i syfte att identifiera aspekter av den här förordningen som kräver särskild och brådskande samordning mellan marknadskontrollmyndigheter. Styrelsen får inrätta andra ständiga eller tillfälliga undergrupper när så är lämpligt i syfte att granska specifika frågor. Styrelsen bör också, när så är lämpligt, samarbeta med relevanta unionsorgan, unionsexpertgrupper och unionsnätverk som är verksamma inom ramen för relevant unionsrätt, särskilt de som är verksamma inom ramen för relevant unionsrätt om data, digitala produkter och tjänster.

(150)För att säkerställa berörda parters deltagande i genomförandet och tillämpningen av denna förordning bör ett rådgivande forum inrättas för att ge råd till och tillhandahålla teknisk expertis till styrelsen och kommissionen. För att säkerställa en varierad och balanserad representation av berörda parter i fråga om kommersiella och icke-kommersiella intressen samt, inom kategorin kommersiella intressen, med avseende på små och medelstora företag och andra företag, bör det rådgivande forumet bland annat omfatta industrin, uppstartsföretag, små och medelstora företag, den akademiska världen, det civila samhället, inbegripet arbetsmarknadens parter, samt Europeiska unionens byrå för grundläggande rättigheter, Enisa, Europeiska standardiseringskommittén (CEN), Europeiska kommittén för elektroteknisk standardisering (Cenelec) och Europeiska institutet för telekommunikationsstandarder (Etsi).

(151)För att stödja genomförandet och kontrollen av efterlevnaden av denna förordning, särskilt AI-byråns övervakningsverksamhet avseende AI-modeller för allmänna ändamål, bör en vetenskaplig panel av oberoende experter inrättas. De oberoende experter som ingår i den vetenskapliga panelen bör väljas ut på grundval av aktuell vetenskaplig eller teknisk expertis på AI-området och bör utföra sina uppgifter opartiskt och objektivt samt säkerställa att den information och de uppgifter som de erhåller vid utförandet av sina uppgifter och sin verksamhet behandlas konfidentiellt. För att göra det möjligt att stärka den nationella kapacitet som krävs för en effektiv kontroll av efterlevnaden av denna förordning bör medlemsstaterna kunna begära stöd för sin verksamhet avseende efterlevnadskontroll från poolen av experter i den vetenskapliga panelen.

(152)För att stödja en lämplig kontroll av efterlevnaden i fråga om AI-system och för att stärka medlemsstaternas kapacitet bör unionsstödstrukturer för testning av AI inrättas och göras tillgängliga för medlemsstaterna.

(153)Medlemsstaterna har en central roll i tillämpningen och kontrollen av efterlevnaden av denna förordning. I detta hänseende bör varje medlemsstat till nationella behöriga myndigheter utse minst en anmälande myndighet och minst en marknadskontrollmyndighet för att utöva tillsyn avseende tillämpningen och genomförandet av denna förordning. Medlemsstaterna kan besluta att utse valfri typ av offentlig enhet för att utföra de nationella behöriga myndigheternas uppgifter i den mening som avses i denna förordning, i enlighet med sina specifika nationella organisatoriska särdrag och behov. För att öka den organisatoriska effektiviteten från medlemsstaternas sida och inrätta en gemensam kontaktpunkt för kontakterna med allmänheten och andra motparter på medlemsstatsnivå och unionsnivå bör varje medlemsstat utse en marknadskontrollmyndighet som ska fungera som gemensam kontaktpunkt.

(154)De nationella behöriga myndigheterna bör utöva sina befogenheter på ett oberoende, objektivt och opartiskt sätt för att säkerställa principen om objektivitet i sin verksamhet och sina uppgifter och för att säkerställa tillämpningen och genomförandet av denna förordning. Personalen vid dessa myndigheter bör avhålla sig från varje handling som är oförenlig med deras uppdrag och bör omfattas av bestämmelserna om konfidentialitet enligt denna förordning.

(155)För att säkerställa att leverantörer av AI-system med hög risk kan beakta erfarenheterna från användning av AI-system med hög risk för att förbättra sina system och utformnings- och utvecklingsprocessen, eller kan vidta eventuella korrigerande åtgärder i rätt tid, bör alla leverantörer ha infört ett system för övervakning efter utsläppande på marknaden. I förekommande fall bör övervakningen efter utsläppande på marknaden omfatta en analys av interaktionen med andra AI-system, inbegripet andra enheter och programvara. Övervakningen efter utsläppande på marknaden bör inte omfatta känsliga operativa uppgifter om tillhandahållare som är brottsbekämpande myndigheter. Detta system är också viktigt för att säkerställa att eventuella risker som härrör från AI-system som fortsätter sin inlärning efter att de släppts ut på marknaden eller tagits i bruk kan hanteras på ett mer effektivt sätt och i rätt tid. I detta sammanhang bör leverantörer också åläggas att ha ett system för rapportering till de berörda myndigheterna av alla allvarliga incidenter som orsakas av användningen av deras AI-system, varmed avses en incident eller en funktionsstörning som leder till dödsfall eller allvarlig skada för hälsan, en allvarlig och oåterkallelig störning av förvaltningen och driften av kritisk infrastruktur, överträdelser av skyldigheter enligt unionsrätten avsedda att skydda grundläggande rättigheter eller allvarlig skada för egendom eller för miljön.

(156)För att säkerställa ändamålsenlig och effektiv kontroll av att de krav och skyldigheter som fastställs i denna förordning och som utgör en del av unionens harmoniseringslagstiftning efterlevs bör det system för marknadskontroll och överensstämmelse för produkter som inrättas genom förordning (EU) 2019/1020 gälla i sin helhet. Marknadskontrollmyndigheter som utsetts enligt den här förordningen bör ha alla de befogenheter som fastställs i den här förordningen och i förordning (EU) 2019/1020 vad gäller kontroll av efterlevnad och bör utöva sina befogenheter och utföra sina uppgifter oberoende, objektivt och opartiskt. Även om majoriteten av AI-systemen inte omfattas av särskilda krav och skyldigheter enligt den här förordningen kan marknadskontrollmyndigheterna vidta åtgärder med avseende på alla AI-system när de utgör en risk i enlighet med den här förordningen. På grund av den särskilda karaktären hos unionens institutioner, byråer och organ som omfattas av den här förordningen bör Europeiska datatillsynsmannen utses till behörig marknadskontrollmyndighet för dem. Detta bör inte påverka medlemsstaternas utseende av nationella behöriga myndigheter. Marknadskontrollen bör inte påverka förmågan hos de enheter som står under tillsyn att utföra sina uppgifter på ett oberoende sätt, när ett sådant oberoende krävs enligt unionsrätten.

(157)Denna förordning påverkar inte behörigheten, uppgifterna, befogenheterna och oberoendet för relevanta nationella offentliga myndigheter eller organ som övervakar tillämpningen av unionsrätten till skydd för grundläggande rättigheter, inbegripet jämställdhetsorgan och dataskyddsmyndigheter. När det är nödvändigt för dessa nationella offentliga myndigheters eller organs uppdrag bör de också ha tillgång till all dokumentation som skapas enligt denna förordning. Ett särskilt förfarande för skyddsåtgärder bör fastställas för att säkerställa adekvat och snabb kontroll av efterlevnaden gentemot AI-system som utgör en risk för hälsa, säkerhet och grundläggande rättigheter. Förfarandet för sådana AI-system som utgör en risk bör tillämpas på AI-system med hög risk som utgör en risk, på förbjudna system som har släppts ut på marknaden, tagits i bruk eller använts i strid med de bestämmelser om förbjudna användningsområden som fastställs i denna förordning och på AI-system som har gjorts tillgängliga i strid med de transparenskrav som fastställs i denna förordning och som utgör en risk.

(158)Unionsrätten om finansiella tjänster omfattar regler och krav för interna styrelseformer och riskhantering som är tillämpliga på reglerade finansinstitut i samband med tillhandahållandet av dessa tjänster, även när de använder AI-system. För att säkerställa en enhetlig tillämpning och kontroll av efterlevnaden av skyldigheterna enligt denna förordning och relevanta regler och krav i unionsrättsakter om finansiella tjänster, bör de myndigheter som är behöriga för tillsynen och kontrollen av efterlevnaden av dessa rättsakter, i synnerhet behöriga myndigheter enligt definitionen i Europaparlamentets och rådets förordning (EU) nr 575/2013 (46) och Europaparlamentets och rådets direktiv 2008/48/EG (47), 2009/138/EG (48), 2013/36/EU (49), 2014/17/EU (50) och (EU) 2016/97 (51), inom ramen för

sina respektive befogenheter, utses till behöriga myndigheter för tillsynen över genomförandet av den här förordningen, även med avseende på marknadskontroll, när det gäller AI-system som tillhandahålls eller används av finansinstitut som är reglerade och står under tillsyn, såvida inte medlemsstaterna beslutar att utse en annan myndighet att utföra dessa marknadskontrolluppgifter. Dessa behöriga myndigheter bör ha alla befogenheter enligt den här förordningen och förordning (EU) 2019/1020 för att genomdriva kraven och skyldigheterna i den här förordningen, inbegripet befogenheter att utföra efterhandskontroll av marknaden som, när så är lämpligt, kan integreras i deras befintliga tillsynsmekanismer och tillsynsförfaranden enligt relevant unionsrätt om finansiella tjänster. Det är lämpligt att de nationella myndigheter som ansvarar för tillsynen av kreditinstitut som regleras genom direktiv 2013/36/EU och som deltar i den gemensamma tillsynsmekanism som inrättats genom rådets förordning (EU) nr 1024/2013 (52), när de agerar som marknadskontrollmyndigheter enligt den här förordningen, utan dröjsmål till Europeiska centralbanken rapporterar all information som identifierats i samband med deras marknadskontroll och som kan vara av potentiellt intresse för Europeiska centralbankens tillsynsuppgifter enligt den förordningen. För att ytterligare öka samstämmigheten mellan den här förordningen och de regler som är tillämpliga på kreditinstitut som regleras genom direktiv 2013/36/EU är det också lämpligt att i de befintliga skyldigheterna och förfarandena enligt direktiv 2013/36/EU integrera några av leverantörernas förfarandemässiga skyldigheter vad gäller riskhantering, övervakning av produkter som släppts ut på marknaden och dokumentation. För att undvika överlappningar bör begränsade undantag också förutses när det gäller leverantörers kvalitetsstyrningssystem och de övervakningsskyldigheter som gäller för tillhandahållare av AI-system med hög risk i den utsträckning som dessa är tillämpliga på kreditinstitut som regleras genom direktiv 2013/36/EU. Samma ordning bör tillämpas på försäkrings- och återförsäkringsföretag och försäkringsholdingbolag enligt direktiv 2009/138/EG och försäkringsförmedlare enligt direktiv (EU) 2016/97 och andra typer av finansinstitut som omfattas av krav avseende interna styrelseformer, arrangemang eller processer som inrättats enligt relevant unionsrätt om finansiella tjänster för att säkerställa samstämmighet och likabehandling inom finanssektorn.

(159)Varje marknadskontrollmyndighet för AI-system med hög risk på biometriområdet, enligt förteckningen i en bilaga till denna förordning, bör, i den mån dessa system används för brottsbekämpning, migration, asyl och gränskontrollförvaltning eller för rättskipning och demokratiska processer, ha effektiva utredningsbefogenheter och korrigerande befogenheter, inbegripet åtminstone befogenhet att få tillgång till alla personuppgifter som behandlas och till all information som krävs för att den ska kunna utföra sina uppgifter. Marknadskontrollmyndigheterna bör vara fullständigt oberoende i utövandet av sina befogenheter. Eventuella begränsningar av deras tillgång till känsliga operativa uppgifter enligt denna förordning bör inte påverka de befogenheter som de tilldelas genom direktiv (EU) 2016/680. Inget undantag när det gäller utlämnande av uppgifter till nationella dataskyddsmyndigheter enligt denna förordning bör påverka dessa myndigheters nuvarande eller framtida befogenheter utanför denna förordnings tillämpningsområde.

(160)Marknadskontrollmyndigheterna och kommissionen bör kunna föreslå gemensamma aktiviteter, inbegripet gemensamma utredningar, som ska genomföras av marknadskontrollmyndigheterna själva eller av marknadskontrollmyndigheter tillsammans med kommissionen, och som syftar till att främja överensstämmelse, identifiera bristande överensstämmelse, öka medvetenheten och ge vägledning om denna förordning med avseende på specifika kategorier av AI-system med hög risk som befinns utgöra en allvarlig risk i två eller flera medlemsstater. Gemensamma aktiviteter för att främja överensstämmelse bör genomföras i enlighet med artikel 9 i förordning (EU) 2019/1020. AI-byrån bör tillhandahålla samordningsstöd för gemensamma utredningar.

(161)Det är nödvändigt att klargöra ansvarsområdena och befogenheterna på unionsnivå och nationell nivå när det gäller AI-system som bygger på AI-modeller för allmänna ändamål. När ett AI-system bygger på en AI-modell för allmänna ändamål och modellen och systemet tillhandahålls av samma leverantör bör, i syfte att undvika överlappande

befogenheter, tillsynen ske på unionsnivå genom AI-byrån, som bör ha befogenheter som marknadskontrollmyndighet i den mening som avses i förordning (EU) 2019/1020 för detta ändamål. I alla andra fall förblir de nationella marknadskontrollmyndigheterna ansvariga för tillsynen av AI-system. När det gäller AI-system för allmänna ändamål som kan användas direkt av tillhandahållare för minst ett ändamål som klassificeras som AI-system med hög risk bör marknadskontrollmyndigheterna dock samarbeta med AI-byrån för att utföra bedömningar av överensstämmelse och informera styrelsen och andra marknadskontrollmyndigheter om detta. Dessutom bör marknadskontrollmyndigheterna kunna begära bistånd från AI-byrån om marknadskontrollmyndigheten inte kan slutföra en utredning avseende ett AI-system med hög risk på grund av att den inte får tillgång till viss information om den AI-modell för allmänna ändamål som AI-systemet med hög risk bygger på. I sådana fall bör förfarandet för ömsesidig assistans i gränsöverskridande fall i kapitel VI i förordning (EU) 2019/1020 gälla i tillämpliga delar.

(162)I syfte att på bästa sätt utnyttja unionens centraliserade sakkunskap och synergier på unionsnivå bör befogenheterna avseende tillsyn och kontroll av efterlevnaden av skyldigheterna för leverantörer av AI-modeller för allmänna ändamål omfattas av kommissionens behörighet. AI-byrån bör kunna vidta alla nödvändiga åtgärder för att övervaka det effektiva genomförandet av denna förordning när det gäller AI-modeller för allmänna ändamål. Den bör kunna utreda eventuella överträdelser av reglerna för leverantörer av AI-modeller för allmänna ändamål, både på eget initiativ, baserat på resultaten av dess övervakningsverksamhet, eller på begäran av marknadskontrollmyndigheterna ienlighet med villkoren i denna förordning. I syfte att stödja en effektiv övervakning genom AI-byrån bör det föreskrivas en möjlighet för leverantörer i efterföljande led att lämna in klagomål om eventuella överträdelser av reglerna för leverantörer av AI-modeller och AI-system för allmänna ändamål.

(163)I syfte att komplettera styrningssystemen för AI-modeller för allmänna ändamål bör den vetenskapliga panelen stödja AI-byråns övervakningsverksamhet och får, i vissa fall, tillhandahålla kvalificerade varningar till AI-byrån som utlöser uppföljningar, såsom utredningar. Detta bör vara fallet om den vetenskapliga panelen har skäl att misstänka att en AI-modell för allmänna ändamål utgör en konkret och identifierbar risk på unionsnivå. Detta bör dessutom vara fallet om den vetenskapliga panelen har skäl att misstänka att en AI-modell för allmänna ändamål uppfyller kriterierna för att klassificeras som en AI-modell för allmänna ändamål med systemrisk. I syfte att förse den vetenskapliga panelen med den information som krävs för utförandet av dessa uppgifter bör det finnas en mekanism genom vilken den vetenskapliga panelen kan uppmana kommissionen att begära dokumentation eller information från en leverantör.

(164)AI-byrån bör kunna vidta nödvändiga åtgärder för att övervaka det faktiska genomförandet och efterlevnaden av de skyldigheter för leverantörer av AI-modeller för allmänna ändamål som fastställs i denna förordning. AI-byrån bör kunna utreda eventuella överträdelser i enlighet med de befogenheter som föreskrivs i denna förordning, bland annat genom att begära dokumentation och information, genom att genomföra utvärderingar och genom att kräva åtgärder från leverantörer av AI-modeller för allmänna ändamål. Vid genomförandet av utvärderingar bör AI-byrån, isyfte att utnyttja oberoende sakkunskap, kunna anlita oberoende experter som kan utföra utvärderingarna för dess räkning. Efterlevnaden av skyldigheterna bör kunna verkställas, bland annat genom begäranden om att vidta lämpliga åtgärder, inbegripet riskbegränsningsåtgärder i händelse av identifierade systemrisker samt begränsning av tillhandahållandet på marknaden, tillbakadragande eller återkallande av modellen. Som en skyddsåtgärd, när detta behövs utöver de processuella rättigheter som föreskrivs i denna förordning, bör leverantörer av AI-modeller för allmänna ändamål ha de processuella rättigheter som föreskrivs i artikel 18 i förordning (EU) 2019/1020, som bör gälla i tillämpliga delar, utan att det påverkar de mer specifika processuella rättigheter som föreskrivs i den här förordningen.

(165)Utvecklingen av andra AI-system än AI-system med hög risk i enlighet med kraven i denna förordning kan leda till en ökad användning av etisk och tillförlitlig AI i unionen. Leverantörer av AI-system som inte är AI-system med hög risk bör uppmuntras att ta fram uppförandekoder, inbegripet tillhörande styrningsmekanismer, avsedda att främja en frivillig tillämpning av vissa eller alla av de obligatoriska krav som gäller för AI-system med hög risk, anpassade med hänsyn till systemens avsedda ändamål och den lägre risk som de medför och med beaktande av tillgängliga tekniska lösningar och bästa branschpraxis, såsom modellkort och datakort. Leverantörer och, i förekommande fall, tillhandahållare av alla AI-system, med eller utan hög risk, och AI-modeller bör också uppmuntras att på frivillig grund tillämpa ytterligare krav avseende exempelvis inslagen i unionens etiska riktlinjer för tillförlitlig AI,

miljömässig hållbarhet, åtgärder för AI-kunnighet, inkluderande och diversifierad utformning och utveckling av AI-system, inbegripet uppmärksamhet för sårbara personer och tillgänglighet för personer med funktionsnedsättning, berörda parters deltagande med medverkan, i förekommande fall, av sådana berörda parter som näringslivsorganisationer och det civila samhällets organisationer, den akademiska världen, forskningsorganisationer, fackföreningar och konsumentskyddsorganisationer i utformningen och utvecklingen av AI-system samt mångfald i utvecklingsteamen, inbegripet en jämn könsfördelning. För att säkerställa att de frivilliga uppförandekoderna är effektiva bör de grunda sig på tydliga mål och centrala resultatindikatorer för att mäta uppnåendet av dessa mål. De bör också utvecklas på ett inkluderande sätt, när så är lämpligt, med deltagande av berörda parter såsom näringslivsorganisationer och det civila samhällets organisationer, den akademiska världen, forskningsorganisationer, fackföreningar och konsumentskyddsorganisationer. Kommissionen kan utveckla initiativ, även på sektorsbasis, för att minska de tekniska hindren för gränsöverskridande utbyte av data för AI-utveckling, däribland vad gäller infrastruktur för dataåtkomst samt semantisk och teknisk interoperabilitet för olika typer av data.

(166)Det är viktigt att AI-system som är relaterade till produkter som inte är AI-system med hög risk enligt denna förordning och som därmed inte måste uppfylla kraven på AI-system med hög risk ändå är säkra när de släpps ut på marknaden eller tas i bruk. För att bidra till detta mål skulle Europaparlamentets och rådets förordning (EU) 2023/988 (53) tillämpas som ett skyddsnät.

(167)För att säkerställa ett förtroendefullt och konstruktivt samarbete mellan behöriga myndigheter på unionsnivå och nationell nivå bör alla parter som är involverade i tillämpningen av denna förordning säkerställa konfidentiell behandling av information och data som de erhåller i utförandet av sina uppgifter, i enlighet med unionsrätten eller nationell rätt. De bör utföra sina uppgifter och bedriva sin verksamhet på ett sådant sätt att de i synnerhet skyddar immateriella rättigheter, konfidentiell affärsinformation och företagshemligheter, det effektiva genomförandet av denna förordning, allmänna och nationella säkerhetsintressen, integriteten i straffrättsliga och administrativa förfaranden samt integriteten hos säkerhetsskyddsklassificerade uppgifter.

(168)Efterlevnaden av denna förordning bör kunna verkställas genom åläggande av sanktioner och andra verkställighetsåtgärder. Medlemsstaterna bör vidta alla nödvändiga åtgärder för att säkerställa att bestämmelserna i denna förordning genomförs, bland annat genom att fastställa effektiva, proportionella och avskräckande sanktioner för åsidosättande av dem, och för att iaktta principen ne bis in idem. För att stärka och harmonisera de administrativa sanktionerna för överträdelser av denna förordning bör det fastställas övre gränser för fastställande av administrativa sanktionsavgifter för vissa specifika överträdelser. Vid bedömningen av storleken på sanktionsavgifterna bör medlemsstaterna i varje enskilt fall beakta alla relevanta omständigheter i den specifika situationen, med vederbörlig hänsyn särskilt till överträdelsens art, svårighetsgrad och varaktighet och dess konsekvenser samt till leverantörens storlek, särskilt om leverantören tillhör kategorin små och medelstora företag, inbegripet uppstartsföretag. Europeiska datatillsynsmannen bör ha befogenhet att ålägga böter för unionens institutioner, byråer och organ som omfattas av denna förordning.

(169)Efterlevnaden av de skyldigheter för leverantörer av AI-modeller för allmänna ändamål som införs enligt denna förordning bör kunna verkställas bland annat genom sanktionsavgifter. I detta syfte bör lämpliga nivåer på sanktionsavgifterna också fastställas för överträdelser av dessa skyldigheter, inbegripet åsidosättande av de åtgärder som kommissionen begär i enlighet med denna förordning, med förbehåll för lämpliga preskriptionstider i enlighet med proportionalitetsprincipen. Alla beslut som kommissionen fattar enligt denna förordning kan prövas av Europeiska unionens domstol i enlighet med EUF-fördraget, inbegripet domstolens obegränsade behörighet när det gäller sanktioner enligt artikel 261 i EUF-fördraget.

(170)Unionsrätten och nationell rätt föreskriver redan effektiva rättsmedel för fysiska och juridiska personer vars rättigheter och friheter påverkas negativt av användningen av AI-system. Utan att det påverkar dessa rättsmedel bör varje fysisk eller juridisk person som har skäl att anse att denna förordning har överträtts ha rätt att lämna in klagomål till den berörda marknadskontrollmyndigheten.

(171)Berörda personer bör ha rätt att få en förklaring om en tillhandahållares beslut huvudsakligen grundar sig på utdata från vissa AI-system med hög risk som omfattas av denna förordning och om det beslutet har rättslig verkan eller på liknande sätt i betydande grad påverkar dessa personer på ett sätt som de anser ha en negativ inverkan på deras hälsa,

säkerhet eller grundläggande rättigheter. Den förklaringen bör vara tydlig och meningsfull och bör tillhandahålla en grund på vilken de berörda personerna kan utöva sina rättigheter. Rätten att få en förklaring bör inte tillämpas på sådan användning av AI-system som enligt unionsrätten eller nationell rätt omfattas av undantag eller begränsningar och bör endast tillämpas i den mån denna rätt inte redan föreskrivs i unionsrätten.

(172)Personer som agerar som visselblåsare när det gäller överträdelser av denna förordning bör skyddas enligt unionsrätten. Europaparlamentets och rådets direktiv (EU) 2019/1937 (54) bör därför tillämpas på rapportering av överträdelser av denna förordning och skydd för personer som rapporterar sådana överträdelser.

(173)För att säkerställa att regelverket vid behov kan anpassas bör befogenheten att anta akter i enlighet med artikel 290 i EUF-fördraget delegeras till kommissionen när det gäller ändring av de villkor enligt vilka ett AI-system inte ska betraktas som ett AI-system med hög risk, förteckningen över AI-system med hög risk, bestämmelserna om teknisk dokumentation, innehållet i EU-försäkran om överensstämmelse, bestämmelserna om förfaranden för bedömning av överensstämmelse, bestämmelserna om fastställande av de AI-system med hög risk som omfattas av det förfarande för bedömning av överensstämmelse som baseras på en bedömning av kvalitetsstyrningssystemet och en bedömning av den tekniska dokumentationen, tröskelvärdet, riktmärkena och indikatorerna, inbegripet genom komplettering av dessa riktmärken och indikatorer, i reglerna för klassificering av AI-modeller för allmänna ändamål med systemrisk, kriterierna för utseende av AI-modeller för allmänna ändamål med systemrisk, den tekniska dokumentationen för leverantörer av AI-modeller för allmänna ändamål och transparensinformationen för leverantörer av AI-modeller för allmänna ändamål. Det är särskilt viktigt att kommissionen genomför lämpliga samråd under sitt förberedande arbete, inklusive på expertnivå, och att dessa samråd genomförs i enlighet med principerna i det interinstitutionella avtalet av den 13 april 2016 om bättre lagstiftning (55). För att säkerställa lika stor delaktighet i förberedelsen av delegerade akter erhåller Europaparlamentet och rådet alla handlingar samtidigt som medlemsstaternas experter, och deras experter ges systematiskt tillträde till möten i kommissionens expertgrupper som arbetar med förberedelse av delegerade akter.

(174)Med tanke på den snabba tekniska utvecklingen och den tekniska expertis som krävs för en effektiv tillämpning av denna förordning bör kommissionen utvärdera och se över denna förordning senast den 2 augusti 2029 och därefter vart fjärde år samt rapportera till Europaparlamentet och rådet. Dessutom bör kommissionen, med beaktande av konsekvenserna för denna förordnings tillämpningsområde, en gång om året göra en bedömning av behovet av att ändra förteckningen över AI-system med hög risk och förteckningen över förbjudna användningsområden. Senast den 2 augusti 2028 och därefter vart fjärde år bör kommissionen dessutom utvärdera och till Europaparlamentet och rådet rapportera om behovet av att ändra förteckningen över högriskområdesrubriker i bilagan till denna förordning, de AI-system som omfattas av transparensskyldigheterna, tillsyns- och styrningssystemets effektivitet och framstegen med utvecklingen av standardiseringsprodukter för energieffektiv utveckling av AI-modeller för allmänna ändamål, inbegripet behovet av ytterligare åtgärder eller insatser. Senast den 2 augusti 2028 och därefter vart tredje år bör kommissionen slutligen utvärdera inverkan och effektiviteten hos de frivilliga uppförandekoder som syftar till att främja tillämpningen av de krav som fastställs för AI-system med hög risk när det gäller andra AI-system än AI-system med hög risk och eventuellt andra ytterligare krav för sådana AI-system.

(175)För att säkerställa enhetliga villkor för genomförandet av denna förordning, bör kommissionen tilldelas genomförandebefogenheter. Dessa befogenheter bör utövas i enlighet med Europaparlamentets och rådets förordning (EU) nr 182/2011 (56).

(176)Eftersom målet för denna förordning, nämligen att förbättra den inre marknadens funktion och främja användningen av människocentrerad och tillförlitlig AI, samtidigt som en hög skyddsnivå säkerställs för hälsa, säkerhet och grundläggande rättigheter som fastställs i stadgan, inbegripet demokrati, rättsstatens principer och miljöskydd, mot de skadliga effekterna av AI-system i unionen, och att stödja innovation, inte i tillräcklig utsträckning kan uppnås av medlemsstaterna utan snarare, på grund av åtgärdens omfattning och verkningar, kan

uppnås bättre på unionsnivå, kan unionen vidta åtgärder i enlighet med subsidiaritetsprincipen i artikel 5 i EU-fördraget. I enlighet med proportionalitetsprincipen i samma artikel går denna förordning inte utöver vad som är nödvändigt för att uppnå detta mål.

(177)För att säkerställa rättssäkerhet, säkerställa en lämplig anpassningsperiod för operatörer och undvika störningar på marknaden, bland annat genom att säkerställa kontinuitet i användningen av AI-system, bör denna förordning tillämpas på AI-system med hög risk som har släppts ut på marknaden eller tagits i bruk före det allmänna tillämpningsdatumet för denna förordning, endast om dessa system från och med den dagen genomgår betydande ändringar av sin utformning eller sitt avsedda ändamål. Det är lämpligt att klargöra att begreppet betydande ändring idetta avseende bör tolkas som att det i sak är likvärdigt med begreppet väsentlig ändring, som endast används med avseende på AI-system med hög risk enligt denna förordning. I undantagsfall och mot bakgrund av offentlig ansvarsskyldighet bör operatörer av AI-system som är komponenter i de stora it-system som inrättats genom de rättsakter som förtecknas i en bilaga till denna förordning respektive operatörer av AI-system med hög risk som är avsedda att användas av offentliga myndigheter vidta nödvändiga åtgärder för att uppfylla kraven i denna förordning senast i slutet av 2030 och senast den 2 augusti 2030.

(178)Leverantörer av AI-system med hög risk uppmuntras att på frivillig basis börja fullgöra de relevanta skyldigheterna idenna förordning redan under övergångsperioden.

(179)Denna förordning bör tillämpas från och med den 2 augusti 2026. Med hänsyn till den oacceptabla risk som är förknippad med användning av AI på vissa sätt bör dock förbuden och de allmänna bestämmelserna i denna förordning redan tillämpas från och med den 2 februari 2025. Även om dessa förbuds fulla verkan följer av inrättandet av styrningen och kontrollen av efterlevnaden av denna förordning, är det viktigt att föregripa tillämpningen av förbuden för att ta hänsyn till oacceptabla risker och påverka andra förfaranden, såsom civilrättsliga förfaranden. Vidare bör infrastrukturen för styrning och systemet för bedömning av överensstämmelse vara operativa före den 2 augusti 2026, varför bestämmelserna om anmälda organ och styrningsstruktur bör tillämpas från och med den 2 augusti 2025. Med tanke på den snabba takten inom tekniska framsteg och införandet av AI-modeller för allmänna ändamål bör skyldigheterna för leverantörer av AI-modeller för allmänna ändamål gälla från och med 2 augusti 2025. Förfarandekoder bör vara klara senast den 2 maj 2025 för att leverantörer ska kunna visa efterlevnad i tid. AI-byrån bör säkerställa att klassificeringsregler och klassificeringsförfaranden är aktuella mot bakgrund av teknisk utveckling. Medlemsstaterna bör också fastställa och meddela kommissionen reglerna om sanktioner, inklusive administrativa sanktionsavgifter, och säkerställa att de genomförs korrekt och effektivt senast den dag då denna förordning börjar tillämpas. Därför bör bestämmelserna om sanktioner tillämpas från och med den 2 augusti 2025.

(180)Europeiska datatillsynsmannen och Europeiska dataskyddsstyrelsen har hörts i enlighet med artikel 42.1 och 42.2 iförordning (EU) 2018/1725 och avgav sitt gemensamma yttrande den 18 juni 2021.

HÄRIGENOM FÖRESKRIVS FÖLJANDE.

KAPITEL I

ALLMÄNNA BESTÄMMELSER

Artikel 1

Innehåll

1. Syftet med denna förordning är att förbättra den inre marknadens funktion och främja användningen av människocentrerad och tillförlitlig artificiell intelligens (AI), samtidigt som en hög skyddsnivå säkerställs för hälsa, säkerhet och grundläggande rättigheter som fastställs i stadgan, inbegripet demokrati, rättsstatens principer och miljöskydd, mot de skadliga effekterna av AI-system i unionen, och att stödja innovation.
2. I denna förordning fastställs

a) harmoniserade regler för utsläppande på marknaden, ibruktagande och användning av AI-system i unionen,

Bilaga 1

b)förbud mot vissa AI-användningsområden, c)särskilda krav för AI-system med hög risk och skyldigheter för operatörer av sådana system, d)harmoniserade transparensregler för vissa AI-system, e)harmoniserade regler för utsläppande på marknaden av AI-modeller för allmänna ändamål, f)regler om marknadsövervakning, marknadskontroll, styrning och kontroll av efterlevnad, g)åtgärder till stöd för innovation med särskild inriktning på små och medelstora företag, inbegripet uppstartsföretag.

Artikel 2

Tillämpningsområde

1.Denna förordning är tillämplig på a)leverantörer som släpper ut AI-system på marknaden eller tar sådana i bruk eller släpper ut AI-modeller för allmänna ändamål på marknaden i unionen, oavsett om dessa leverantörer är etablerade eller befinner sig i unionen eller i ett tredjeland, b)tillhandahållare av AI-system som har sin etableringsort eller befinner sig i unionen, c)leverantörer och tillhandahållare av AI-system som har sin etableringsort eller befinner sig i ett tredjeland, om de utdata som produceras av AI-systemet används i unionen, d)importörer och distributörer av AI-system, e)produkttillverkare som på marknaden släpper ut eller som tar i bruk ett AI-system tillsammans med sin produkt och i eget namn eller under eget varumärke, f)ombud för leverantörer som inte är etablerade i unionen, g)berörda personer som befinner sig i unionen.

2. För AI-system som klassificeras som AI-system med hög risk enligt artikel 6.1 och som är relaterade till produkter som omfattas av unionens harmoniseringslagstiftning som förtecknas i avsnitt B i bilaga I är endast artiklarna 6.1, 102-109 och 112 tillämpliga. Artikel 57 är endast tillämplig i den mån som kraven för AI-system med hög risk enligt denna förordning har integrerats i den unionsharmoniseringslagstiftningen.
3. Denna förordning är inte tillämplig på områden som inte omfattas av unionsrättens tillämpningsområde och ska under alla omständigheter inte påverka medlemsstaternas befogenheter när det gäller nationell säkerhet, oavsett vilken typ av enhet som av medlemsstaterna har anförtrotts uppgiften i fråga om dessa befogenheter.

Denna förordning är inte tillämplig på AI-system om och i den mån de släpps ut på marknaden, tas i bruk eller används med eller utan ändring uteslutande för militära ändamål, försvarsändamål eller ändamål som rör nationell säkerhet, oavsett vilken typ av enhet som bedriver denna verksamhet.

Denna förordning är inte tillämplig på AI-system som inte släpps ut på marknaden eller tas i bruk i unionen, om utdata används i unionen uteslutande för militära ändamål, försvarsändamål eller ändamål som rör nationell säkerhet, oavsett vilken typ av enhet som bedriver denna verksamhet.

4. Denna förordning är inte tillämplig på offentliga myndigheter i ett tredjeland, eller på internationella organisationer som omfattas av denna förordnings tillämpningsområde enligt punkt 1, om dessa myndigheter eller organisationer använder AI-system inom ramen för internationellt samarbete eller internationella avtal om brottsbekämpande och rättsligt samarbete med unionen eller med en eller flera medlemsstater, förutsatt att ett sådant tredjeland eller en sådan internationell organisation erbjuder lämpliga skyddsåtgärder med avseende på skyddet av enskildas grundläggande rättigheter och friheter.
5. Denna förordning påverkar inte tillämpningen av bestämmelserna om ansvar för leverantörer av förmedlingstjänster

ikapitel II i förordning (EU) 2022/2065.

6. Denna förordning är inte tillämplig på AI-system eller AI-modeller, inbegripet deras utdata, som specifikt utvecklas och tas i bruk enbart i vetenskapligt forsknings- och utvecklingssyfte.
7. Unionsrätt om skydd av personuppgifter, integritet och konfidentialitet vid kommunikation är tillämplig på personuppgifter som behandlas i samband med de rättigheter och skyldigheter som fastställs i denna förordning. Denna förordning påverkar inte förordning (EU) 2016/679 eller (EU) 2018/1725 eller direktiv 2002/58/EG eller (EU) 2016/680, utan att det påverkar tillämpningen av artiklarna 10.5 och 59 i den här förordningen.
8. Denna förordning är inte tillämplig på forsknings-, testnings- eller utvecklingsverksamhet för AI-system eller AI-modeller innan de släpps ut på marknaden eller tas i bruk. Sådan verksamhet ska bedrivas i enlighet med tillämplig unionsrätt. Testning under verkliga förhållanden omfattas inte av detta undantag.
9. Denna förordning påverkar inte tillämpningen av de regler som fastställs genom andra unionsrättsakter om konsumentskydd och produktsäkerhet.
10. Denna förordning är inte tillämplig på skyldigheter för tillhandahållare som är fysiska personer och som använder AI-system inom ramen för en rent personlig icke-yrkesmässig verksamhet.
11. Denna förordning hindrar inte unionen eller medlemsstaterna från att behålla eller införa lagar och andra författningar som är förmånligare för arbetstagare när det gäller att skydda deras rättigheter i fråga om arbetsgivares användning av AI-system, eller att uppmuntra eller tillåta tillämpning av kollektivavtal som är förmånligare för arbetstagare.
12. Denna förordning är inte tillämplig på AI-system som släpps ut med kostnadsfria licenser med öppen källkod, såvida de inte släpps ut på marknaden eller tas i bruk som ett AI-system med hög risk eller som ett AI-system som omfattas av artikel 5 eller 50.

Artikel 3

Definitioner

I denna förordning gäller följande definitioner:

1. AI-system: ett maskinbaserat system som är utformat för att fungera med varierande grad av autonomi och som kan uppvisa anpassningsförmåga efter införande och som, för uttryckliga eller underförstådda mål, drar slutsatser härledda från den indata det tar emot, om hur utdata såsom förutsägelser, innehåll, rekommendationer eller beslut som kan påverka fysiska eller virtuella miljöer ska genereras.
2. risk: kombinationen av sannolikheten för skada och denna skadas allvarlighetsgrad.
3. leverantör: en fysisk eller juridisk person, en offentlig myndighet, en byrå eller ett annat organ som utvecklar ett AI-system eller en AI-modell för allmänna ändamål eller som har ett AI-system eller en AI-modell för allmänna ändamål och släpper ut det eller den på marknaden eller tar AI-systemet i bruk i eget namn eller under eget varumärke, antingen mot betalning eller kostnadsfritt.
4. tillhandahållare: en fysisk eller juridisk person, offentlig myndighet, en byrå eller annat organ som under eget överinseende använder ett AI-system, utom när AI-systemet används inom ramen för en personlig icke-yrkesmässig verksamhet.
5. ombud: en fysisk eller juridisk person som befinner sig eller är etablerad i unionen och som har fått och godtagit en skriftlig fullmakt från en leverantör av ett AI-system eller av en AI-modell för allmänna ändamål för att för dennes räkning fullgöra respektive genomföra de skyldigheter och förfaranden som fastställs i denna förordning.
6. importör: en fysisk eller juridisk person som befinner sig eller är etablerad i unionen och som släpper ut ett AI-system på marknaden som bär namnet på eller varumärket för en fysisk eller juridisk person som är etablerad i ett tredjeland.
7. distributör: en annan fysisk eller juridisk person i leveranskedjan än leverantören eller importören, som tillhandahåller ett AI-system på unionsmarknaden.
8. operatör: en leverantör, en produkttillverkare, en tillhandahållare, ett ombud, en importör eller en distributör.

9. utsläppande på marknaden: den första gången ett AI-system eller en AI-modell för allmänna ändamål tillhandahålls på unionsmarknaden.
10. tillhandahållande på marknaden: leveransen av ett AI-system eller en AI-modell för allmänna ändamål för distribution eller användning på unionsmarknaden i samband med kommersiell verksamhet, mot betalning eller kostnadsfritt.
11. ibruktagande: leverans av ett AI-system för första användning direkt till tillhandahållaren eller för eget bruk i unionen för dess avsedda ändamål.
12. avsett ändamål: den användning för vilken ett AI-system är avsett av leverantören, inbegripet det specifika användningssammanhanget och de specifika användningsvillkoren, enligt specifikationerna i de uppgifter som tillhandahålls av leverantören i bruksanvisningen, reklam- eller försäljningsmaterial och uttalanden samt i den tekniska dokumentationen.
13. rimligen förutsebar felaktig användning: användning av ett AI-system på ett sätt som inte överensstämmer med dess avsedda ändamål, men som kan vara resultatet av rimligen förutsebart mänskligt beteende eller interaktion med andra system, inbegripet andra AI-system.
14. säkerhetskomponent: en komponent som finns i en produkt eller i ett AI-system och som fyller en säkerhetsfunktion för den produkten eller det AI-systemet eller som, om den upphör att fungera eller fungerar felaktigt, medför fara för människors hälsa och säkerhet eller för egendom.
15. bruksanvisning: information som tillhandahålls av leverantören för att informera tillhandahållaren om, i synnerhet, ett AI-systems avsedda ändamål och korrekta användning.
16. återkallelse av ett AI-system: varje åtgärd som syftar till att få till stånd ett återlämnande till leverantören, ett urdrifttagande eller en avaktivering av användningen av ett AI-system som tillhandahållits för tillhandahållare.
17. tillbakadragande av ett AI-system: varje åtgärd som syftar till att förhindra att ett AI-system i leveranskedjan tillhandahålls på marknaden.
18. ett AI-systems prestanda: ett AI-systems förmåga att uppnå sitt avsedda ändamål.
19. anmälande myndighet: den nationella myndighet som ansvarar för inrättandet och genomförandet av de förfaranden som krävs för bedömning, utseende och anmälan av organ för bedömning av överensstämmelse och för övervakning av dessa.
20. bedömning av överensstämmelse: processen att visa om kraven i kapitel III avsnitt 2 avseende ett AI-system med hög risk har uppfyllts.
21. organ för bedömning av överensstämmelse: organ som utför tredjepartsbedömning av överensstämmelse, inbegripet testning, certifiering och inspektion.
22. anmält organ: organ för bedömning av överensstämmelse som anmälts i enlighet med denna förordning och annan relevant unionsharmoniseringslagstiftning.
23. väsentlig ändring: en ändring av ett AI-system efter dess utsläppande på marknaden eller ibruktagande som inte förutsetts eller planerats i leverantörens ursprungliga bedömning av överensstämmelse och som leder till att AI-systemets uppfyllelse av kraven i kapitel III avsnitt 2 påverkas eller leder till en ändring av det avsedda ändamål för vilket AI-systemet har bedömts.
24. CE-märkning: märkning genom vilken en leverantör anger att ett AI-system överensstämmer med kraven i kapitel III avsnitt 2 och annan tillämplig unionsharmoniseringslagstiftning som föreskriver att den anbringas.
25. system för övervakning efter utsläppande på marknaden: all verksamhet som bedrivs av leverantörer av AI-system för att samla in och granska erfarenheter från användningen av AI-system som de släpper ut på marknaden eller tar i bruk, i syfte att fastställa ett eventuellt behov av att omedelbart vidta eventuella nödvändiga korrigerande eller förebyggande åtgärder.
26. marknadskontrollmyndighet: den nationella myndighet som utför aktiviteter och vidtar åtgärder enligt förordning (EU) 2019/1020.

Bilaga 1

27. harmoniserad standard: en harmoniserad standard enligt definitionen i artikel 2.1 c i förordning (EU) nr 1025/2012.
28. gemensam specifikation: en uppsättning tekniska specifikationer enligt definitionen i artikel 2.4 i förordning (EU) nr 1025/2012 som ger förutsättningar för att uppfylla vissa krav som fastställts enligt den här förordningen.
29. träningsdata: data som används för att träna ett AI-system genom anpassning av dess inlärningsbara parametrar.
30. valideringsdata: data som används för att tillhandahålla en utvärdering av det tränade AI-systemet och för att stämma av dess icke-inlärningsbara parametrar och dess inlärningsprocess för att bland annat förhindra under- eller överanpassning.
31. valideringsdataset: ett separat dataset eller en separat del av träningsdatasetet, antingen som en fast eller variabel uppdelning.
32. testdata: data som används för att tillhandahålla en oberoende utvärdering av AI-systemet för att bekräfta systemets förväntade prestanda innan det släpps ut på marknaden eller tas i bruk.
33. indata: data som lämnas till eller anskaffas direkt av ett AI-system och som utgör den grund på vilken systemet producerar utdata.
34. biometriska uppgifter: personuppgifter som erhållits genom särskild teknisk behandling som rör en fysisk persons fysiska, fysiologiska eller beteendemässiga kännetecken, såsom ansiktsbilder eller fingeravtrycksuppgifter.
35. biometrisk identifiering: automatiserad igenkänning av fysiska, fysiologiska, beteendemässiga eller psykologiska mänskliga drag för att fastställa en fysisk persons identitet genom jämförelse av personens biometriska uppgifter med biometriska uppgifter om enskilda personer som lagrats i en databas.
36. biometrisk verifiering: automatiserad en-till-en-verifiering, inklusive autentisering, av fysiska personers identitet genom jämförelse av deras biometriska uppgifter med tidigare lämnade biometriska uppgifter.
37. särskilda kategorier av personuppgifter: de kategorier av personuppgifter som avses i artikel 9.1 i förordning (EU) 2016/679, artikel 10 i direktiv (EU) 2016/680 och artikel 10.1 i förordning (EU) 2018/1725.
38. känsliga operativa uppgifter: operativa uppgifter som rör verksamhet för att förebygga, förhindra, upptäcka, utreda eller lagföra brott och vars röjande skulle kunna äventyra straffrättsliga förfarandens integritet.
39. system för känsloigenkänning: ett AI-system vars syfte är att identifiera eller uttyda fysiska personers känslor eller avsikter på grundval av deras biometriska uppgifter.
40. system för biometrisk kategorisering: ett AI-system för hänförande av fysiska personer till särskilda kategorier på grundval av deras biometriska uppgifter, om det inte utgör en extrafunktion till en annan kommersiell tjänst och är strikt nödvändigt av objektiva tekniska skäl.
41. system för biometrisk fjärridentifiering: ett AI-system vars syfte är att identifiera fysiska personer utan deras aktiva medverkan, vanligtvis på distans, genom jämförelse av en persons biometriska uppgifter med de biometriska uppgifterna i en referensdatabas.
42. system för biometrisk fjärridentifiering i realtid: ett system för biometrisk fjärridentifiering där infångning av biometriska uppgifter, jämförelse och identifiering sker utan betydande dröjsmål, som omfattar inte bara omedelbar identifiering utan även begränsade korta fördröjningar för att undvika kringgående.
43. system för biometrisk fjärridentifiering i efterhand: ett annat system för biometrisk fjärridentifiering än ett system för biometrisk fjärridentifiering i realtid.
44. allmänt tillgänglig plats: varje offentlig- eller privatägd fysisk plats som är tillgänglig för ett obestämt antal fysiska personer, utan hänsyn till om vissa villkor eller omständigheter för tillträde kan gälla, och oberoende av eventuella kapacitetsbegränsningar.

a)en offentlig myndighet som har behörighet att förebygga, förhindra, utreda, upptäcka eller lagföra brott eller verkställa straffrättsliga påföljder, inbegripet att skydda mot samt förebygga och förhindra hot mot den allmänna säkerheten, eller b)ett annat organ eller en annan enhet som genom medlemsstaternas nationella rätt har anförtrotts myndighetsutövning för att förebygga, förhindra, utreda, upptäcka eller lagföra brott eller verkställa straffrättsliga påföljder, inbegripet att skydda mot samt förebygga och förhindra hot mot den allmänna säkerheten.

46. brottsbekämpning: verksamhet som genomförs av brottsbekämpande myndigheter eller på deras vägnar för att förebygga, förhindra, utreda, upptäcka eller lagföra brott eller verkställa straffrättsliga påföljder, inbegripet att skydda mot samt förebygga och förhindra hot mot den allmänna säkerheten.
47. AI-byrån: kommissionens funktion att bidra till genomförandet, övervakningen och tillsynen av AI-system samt AI-modeller för allmänna ändamål, och AI-styrning, enligt kommissionens beslut av den 24 januari 2024; hänvisningar

idenna förordning till AI-byrån ska anses som hänvisningar till kommissionen.

48. nationell behörig myndighet: en anmälande myndighet eller en marknadskontrollmyndighet; när det gäller AI-system som tas i bruk eller används av unionens institutioner, byråer och organ ska hänvisningar till nationella behöriga myndigheter eller marknadskontrollmyndigheter i denna förordning anses som hänvisningar till Europeiska datatillsynsmannen.
49. allvarlig incident: en incident eller ett fel i ett AI-system som direkt eller indirekt orsakar något av följande:

a)Dödsfall eller allvarlig skada på en persons hälsa.

b)En allvarlig och oåterkallelig störning av förvaltningen eller driften av kritisk infrastruktur.

c)Åsidosättande av skyldigheter enligt unionsrätten avsedda att skydda grundläggande rättigheter.

d)Allvarlig skada på egendom eller på miljön.

50. personuppgifter: personuppgifter enligt definitionen i artikel 4.1 i förordning (EU) 2016/679.
51. icke-personuppgifter: andra uppgifter än personuppgifter enligt definitionen i artikel 4.1 i förordning (EU) 2016/679.
52. profilering: profilering enligt definitionen i artikel 4.4 i förordning (EU) 2016/679.
53. plan för testning under verkliga förhållanden: ett dokument som beskriver målen och metoden för samt den geografiska, befolkningsmässiga och tidsmässiga omfattningen, övervakningen, organisationen samt genomförandet av testning under verkliga förhållanden.
54. sandlådeplan: ett dokument om vilket den deltagande leverantören och den behöriga myndigheten har kommit överens och som beskriver målen, villkoren, tidsplanen, metoden och kraven för den verksamhet som ska bedrivas i sandlådan.
55. regulatorisk sandlåda för AI: en kontrollerad ram som inrättats av en behörig myndighet och som erbjuder leverantörer eller potentiella leverantörer av AI-system möjlighet att utveckla, träna, validera och testa, när så är lämpligt under verkliga förhållanden, ett innovativt AI-system, enligt en specifik sandlådeplan för en begränsad tid under regulatorisk tillsyn.
56. AI-kunnighet: kompetens, kunskap och förståelse som gör det möjligt för leverantörer, tillhandahållare och berörda personer att, med hänsyn till deras respektive rättigheter och skyldigheter i samband med denna förordning, införa AI-system på ett välgrundat sätt samt bli medvetna om möjligheterna och riskerna med AI, och den potentiella skada den kan vålla.

57. testning under verkliga förhållanden: tillfällig testning av ett AI-system med avseende på dess avsedda ändamål under verkliga förhållanden utanför ett laboratorium eller en på annat sätt simulerad miljö i syfte att samla in tillförlitliga och robusta data och bedöma och kontrollera AI-systemets överensstämmelse med kraven i denna förordning, som inte innebär att AI-systemet släpps ut på marknaden eller tas i bruk i den mening som avses i denna förordning förutsatt att alla villkor i artikel 57 eller 60 är uppfyllda.
58. försöksperson: vid testning under verkliga förhållanden en fysisk person som deltar i testning under verkliga förhållanden.
59. informerat samtycke: en försökspersons frivilliga, specifika, informerade och otvetydiga uttryck för sin vilja att delta i en viss testning under verkliga förhållanden, efter att ha informerats om alla aspekter av testningen som är relevanta för försökspersonens beslut att delta.
60. deepfake: AI-genererat eller AI-manipulerat bild-, ljud- eller videoinnehåll som liknar existerande personer, föremål, platser, enheter eller händelser och som för en person felaktigt kan framstå som autentiskt eller sanningsenligt.
61. utbredd överträdelse: varje handling eller underlåtenhet som strider mot unionsrätten om skydd av enskilda personers intressen och som

a)har skadat eller sannolikt kommer att skada de kollektiva intressena för enskilda personer som är bosatta i minst två andra medlemsstater än den där i)handlingen eller underlåtenheten hade sitt ursprung eller ägde rum, ii)den berörda leverantören befinner sig eller är etablerad eller, i tillämpliga fall, dess ombud befinner sig eller är etablerat, eller iii)tillhandahållaren är etablerad, i de fall där överträdelsen begås av tillhandahållaren, b)har orsakat, orsakar eller sannolikt kommer att orsaka skada på enskilda personers kollektiva intressen och uppvisar gemensamma drag, till exempel genom att innebära bruk av samma olagliga metoder eller åsidosättande av samma intresse, samt begås av samma operatör och begås samtidigt i minst tre medlemsstater.

62. kritisk infrastruktur: kritisk infrastruktur enligt definitionen i artikel 2.4 i direktiv (EU) 2022/2557.
63. AI-modell för allmänna ändamål: en AI-modell, även när en sådan AI-modell tränas med en stor mängd data med hjälp av självövervakning i stor skala, som uppvisar betydande generalitet och på ett kompetent sätt kan utföra ett brett spektrum av distinkta uppgifter oavsett hur modellen släppts ut på marknaden och som kan integreras i en rad system eller tillämpningar i efterföljande led, utom AI-modeller som används för forsknings-, utvecklings- eller prototypverksamhet innan de släpps ut på marknaden.
64. kapacitet med hög påverkansgrad: kapacitet som motsvarar eller överstiger den kapacitet som registrerats i de mest avancerade AI-modellerna för allmänna ändamål.
65. systemrisk: en risk som är specifikt kopplad till den kapacitet för hög påverkansgrad som finns hos AI-modeller för allmänna ändamål och som påverkar unionsmarknaden i betydande grad på grund av sin räckvidd eller på grund av faktiska eller rimligen förutsebara negativa effekter på folkhälsa, säkerhet, allmän säkerhet, grundläggande rättigheter eller samhället som helhet, och som kan spridas i stor skala i hela värdekedjan.
66. AI-system för allmänna ändamål: ett AI-system som bygger på en AI-modell för allmänna ändamål och som har kapacitet att tjäna en rad olika ändamål, både för direkt användning och för integrering i andra AI-system.
67. flyttalsberäkning: varje matematisk operation eller tilldelning som inbegriper flyttal, som är en delmängd av de reella talen som typiskt representeras på datorer genom ett heltal med fast precision multiplicerad med en heltalsexponent med en fast talbas.
68. leverantör i efterföljande led: en leverantör av ett AI-system, inbegripet ett AI-system för allmänna ändamål, som integrerar en AI-modell, oavsett om AI-modellen levereras av dem själva och integreras vertikalt eller levereras av en annan enhet på grundval av avtalsförhållanden.

Bilaga 1

Artikel 4

AI-kunnighet

Leverantörer och tillhandahållare av AI-system ska vidta åtgärder för att i största möjliga mån säkerställa att deras personal och andra personer som för deras räkning arbetar med drift och användning av AI-system har tillräcklig AI-kunnighet, med beaktande av deras tekniska kunskaper, erfarenhet och utbildning samt det sammanhang i vilket AI-systemen ska användas, och med hänsyn till de personer eller grupper av personer på vilka AI-systemen ska användas.

KAPITEL II

FÖRBJUDNA AI-ANVÄNDNINGSOMRÅDEN

Artikel 5

Förbjudna AI-användningsområden

1.Följande AI-användningsområden ska vara förbjudna:

a)Utsläppande på marknaden, ibruktagande eller användning av ett AI-system som utnyttjar subliminala tekniker som människor inte är medvetna om eller avsiktligt manipulerande eller vilseledande tekniker som syftar eller leder till en väsentlig påverkan på en persons eller en grupp av personers beteende genom att avsevärt försämra deras förmåga att fatta ett välgrundat beslut, vilket får dem att fatta ett beslut som de annars inte skulle ha fattat, på ett sätt som orsakar eller med rimlig sannolikhet kommer att orsaka betydande skada för den personen, en annan person eller en grupp av personer.

b)Utsläppande på marknaden, ibruktagande eller användning av ett AI-system som utnyttjar en sårbarhet hos en fysisk person eller en specifik grupp av personer som härrör från ålder, funktionsnedsättning eller en specifik social eller ekonomisk situation, med målet eller verkan att väsentligt påverka beteendet hos den personen eller en person som tillhör den gruppen på ett sätt som orsakar eller med rimlig sannolikhet kommer att orsaka betydande skada för den personen eller en annan person.

c)Utsläppande på marknaden, ibruktagande eller användning av AI-system för utvärdering eller klassificering av fysiska personer eller grupper av personer under en viss tidsperiod på grundval av deras sociala beteende eller kända, uttydda eller förutsedda personliga eller personlighetsrelaterade egenskaper, med en social poängsättning som leder till det ena eller båda av följande:

i)Skadlig eller ogynnsam behandling av vissa fysiska personer eller grupper av personer i sociala sammanhang som saknar koppling till de sammanhang i vilka berörda data ursprungligen genererades eller samlades in.

ii)Skadlig eller ogynnsam behandling av vissa fysiska personer eller grupper av personer som är omotiverad eller oproportionerlig i förhållande till personernas sociala beteende eller till hur allvarligt beteendet är.

d)Utsläppande på marknaden, ibruktagande för detta specifika ändamål eller användning av ett AI-system för riskbedömningar av fysiska personer i syfte att bedöma eller förutse risken för att en fysisk person begår ett brott, uteslutande grundat på profileringen av en fysisk person eller på en bedömning av deras personlighetsdrag och egenskaper. Detta förbud är inte tillämpligt på AI-system som används för att stödja mänsklig bedömning av en persons inblandning i brottslig verksamhet, som redan grundas på objektiva och verifierbara fakta med direkt anknytning till brottslig verksamhet.

e)Utsläppande på marknaden, ibruktagande för detta specifika ändamål eller användning av AI-system som skapar eller utvidgar databaser för ansiktsigenkänning genom oriktad skrapning av ansiktsbilder från internet eller övervakningskameror.

f)Utsläppande på marknaden, ibruktagande för detta specifika ändamål eller användning av AI-system för att uttyda en fysisk persons känslor på arbetsplatsen eller vid utbildningsinstitutioner, såvida inte AI-systemets användning är avsett att införas eller släppas ut på marknaden av medicinska skäl eller säkerhetsskäl.

g)Utsläppande på marknaden, ibruktagande för detta specifika ändamål eller användning av system för biometrisk kategorisering som kategoriserar fysiska personer individuellt på grundval av deras biometriska uppgifter för att härleda eller dra slutsatser om en persons ras, politiska åsikter, medlemskap i fackförening, religiösa eller filosofiska övertygelse, sexualliv eller sexuella läggning. Detta förbud omfattar inte märkning eller filtrering av lagligen förvärvade biometriska dataset, såsom bilder, grundat på biometriska uppgifter eller kategorisering av biometriska uppgifter på området för brottsbekämpning.

h)Användning av system för biometrisk fjärridentifiering i realtid på allmänt tillgängliga platser för brottsbekämpande ändamål, om inte och endast i den mån sådan användning är absolut nödvändig för något av följande syften:

i)Målinriktad sökning efter specifika offer för människorov, människohandel eller sexuellt utnyttjande av människor, samt sökning efter försvunna personer.

ii)Förhindrande av ett specifikt, betydande och överhängande hot mot fysiska personers liv eller fysiska säkerhet eller ett verkligt och aktuellt eller verkligt och förutsebart hot om en terroristattack.

iii)Lokalisering eller identifiering av en person som misstänks ha begått ett brott, i syfte att genomföra en brottsutredning eller lagföring för brott eller verkställande av en straffrättslig påföljd för brott som avses i bilaga II och som i den berörda medlemsstaten kan leda till fängelse eller annan frihetsberövande åtgärd under en längsta tidsperiod på minst fyra år.

Första stycket h påverkar inte artikel 9 i förordning (EU) 2016/679 vad gäller behandling av biometriska uppgifter för andra ändamål än brottsbekämpning.

2.Användningen av system för biometrisk fjärridentifiering i realtid på allmänt tillgängliga platser för brottsbekämpande ändamål för något av de syften som avses i punkt 1 första stycket h ska införas för de ändamål som anges i det ledet endast för att bekräfta identiteten på den individ som särskilt avses och ska ta hänsyn till följande faktorer:

a)Arten av den situation som ger upphov till den eventuella användningen, särskilt hur allvarlig, sannolik och omfattande skadan skulle bli om systemet inte användes.

b)Konsekvenserna av användningen av systemet för alla berörda personers rättigheter och friheter, särskilt vad gäller hur allvarliga, sannolika och omfattande dessa konsekvenser är.

Dessutom ska användningen av system för biometrisk fjärridentifiering i realtid på allmänt tillgängliga platser för brottsbekämpande ändamål för något av de syften som avses i punkt 1 första stycket h i denna artikel vara förenlig med nödvändiga och proportionella skyddsåtgärder och villkor avseende användningen i enlighet med nationell rätt som tillåter användning av dessa, särskilt vad gäller tidsmässiga och geografiska begränsningar samt personbegränsningar. Användningen av systemet för biometrisk fjärridentifiering i realtid på allmänt tillgängliga platser ska tillåtas endast om den brottsbekämpande myndigheten har slutfört en konsekvensbedömning avseende grundläggande rättigheter såsom föreskrivs i artikel 27 och har registrerat systemet i EU-databasen enligt artikel 49. I vederbörligen motiverade brådskande fall får dock användningen av sådana system påbörjas utan registrering i EU-databasen, förutsatt att denna registrering slutförs utan oskäligt dröjsmål.

3.Vid tillämpning av punkt 1 första stycket h och punkt 2 ska det för varje användning för brottsbekämpande ändamål av ett system för biometrisk fjärridentifiering i realtid på allmänt tillgängliga platser krävas ett förhandstillstånd från en rättslig myndighet eller en oberoende administrativ myndighet vars beslut är bindande i den medlemsstat där användningen ska äga rum, utfärdat på motiverad begäran och i enlighet med de närmare bestämmelser i nationell rätt som avses i punkt

5.I vederbörligen motiverade brådskande situationer får dock användningen av ett sådant system påbörjas utan tillstånd, förutsatt att ett sådant tillstånd begärs utan oskäligt dröjsmål och senast inom 24 timmar. Om ett sådant tillstånd nekas ska användningen stoppas med omedelbar verkan och alla uppgifter samt resultat och utdata som rör denna användning förstöras och raderas.

Den behöriga rättsliga myndigheten eller en oberoende administrativ myndighet vars beslut är bindande ska bevilja tillståndet endast om den, på grundval av objektiva bevis eller tydliga indikationer som lagts fram för den, har förvissat sig om att användningen av det berörda systemet för biometrisk fjärridentifiering i realtid är nödvändig och proportionell för att uppnå ett av de syften som anges i punkt 1 första stycket h, i enlighet med vad som anges i begäran och, i synnerhet,

förblir begränsad till vad som är strikt nödvändigt när det gäller tidsperioden samt det geografiska tillämpningsområdet och de personer som omfattas. Vid beslut om begäran ska den myndigheten beakta de faktorer som avses i punkt 2. Inget beslut som har negativa rättsliga följder för en person får fattas enbart på grundval av utdata från systemet för biometrisk fjärridentifiering i realtid.

4. Utan att det påverkar punkt 3 ska varje användning av ett system för biometrisk fjärridentifiering i realtid på allmänt tillgängliga platser för brottsbekämpande ändamål anmälas till den berörda marknadskontrollmyndigheten och den nationella dataskyddsmyndigheten i enlighet med de nationella regler som avses i punkt 5. Anmälan ska åtminstone innehålla den information som specificeras enligt punkt 6 och får inte inbegripa känsliga operativa uppgifter.
5. En medlemsstat får besluta att föreskriva en möjlighet att helt eller delvis tillåta användning av system för biometrisk fjärridentifiering i realtid på allmänt tillgängliga platser för brottsbekämpande ändamål inom de gränser och på de villkor som anges i punkt 1 första stycket h samt punkterna 2 och 3. De berörda medlemsstaterna ska i sin nationella rätt fastställa de nödvändiga närmare reglerna för begäran om, utfärdande av och utövande av samt tillsyn över och rapportering om de tillstånd som avses i punkt 3. I dessa regler ska det också anges för vilka av de syften som förtecknas i punkt 1 första stycket h, inbegripet för vilka av de brott som avses i led h iii i den punkten, de behöriga myndigheterna kan få tillstånd att använda dessa system för brottsbekämpande ändamål. Medlemsstaterna ska till kommissionen anmäla dessa regler senast 30 dagar efter deras antagande. Medlemsstaterna får införa mer restriktiva lagar om användningen av system för biometrisk fjärridentifiering i enlighet med unionsrätten.
6. Medlemsstaternas nationella marknadskontrollmyndigheter och nationella dataskyddsmyndigheter som har underrättats om användningen av system för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats för brottsbekämpande ändamål enligt punkt 4 ska lämna in årliga rapporter till kommissionen om sådan användning. För detta ändamål ska kommissionen förse medlemsstaterna och de nationella marknadskontrollmyndigheterna och dataskyddsmyndigheterna med en mall som inkluderar information om antalet beslut som fattats av behöriga rättsliga

myndigheter eller en oberoende administrativ myndighet vars beslut är bindande gällande ansökningar om tillstånd i enlighet med punkt 3 och resultatet av dessa.

7. Kommissionen ska offentliggöra årliga rapporter om användningen av system för biometrisk fjärridentifiering i realtid på allmänt tillgänglig plats för brottsbekämpande ändamål på grundval av aggregerade data från medlemsstaterna baserat på de årliga rapporter som avses i punkt 6. Dessa årliga rapporter får inte omfatta känsliga operativa uppgifter som rör relaterad brottsbekämpande verksamhet.
8. Denna artikel påverkar inte de förbud som är tillämpliga när ett AI-användningsområde strider mot annan unionsrätt.

KAPITEL III

AI-SYSTEM MED HÖG RISK

AVSNITT 1

Klassificering av AI-system som AI-system med hög risk

Artikel 6

Klassificeringsregler för AI-system med hög risk

1.Oavsett om ett AI-system släpps ut på marknaden eller tas i bruk oberoende av de produkter som avses i leden a och b ska detta AI-system betraktas som ett AI-system med hög risk om båda följande villkor är uppfyllda:

a)AI-systemet är avsett att användas som en säkerhetskomponent i en produkt, eller AI-systemet är i sig en produkt, som omfattas av unionens harmoniseringslagstiftning som förtecknas i bilaga I.

b)Den produkt vars säkerhetskomponent enligt led a är AI-systemet, eller själva AI-systemet som en produkt, omfattas av krav på att genomgå en tredjepartsbedömning av överensstämmelse för att den produkten ska kunna släppas ut på marknaden eller tas i bruk enligt unionens harmoniseringslagstiftning som förtecknas i bilaga I.

2.Utöver de AI-system med hög risk som avses i punkt 1 ska AI-system som avses i bilaga III också betraktas som AI-system med hög risk.

3.Genom undantag från punkt 2 ska ett AI-system som avses i bilaga III inte betraktas som ett AI-system med hög risk om det inte utgör en betydande risk för skada på fysiska personers hälsa, säkerhet eller grundläggande rättigheter, inbegripet genom att det inte materiellt påverkar resultatet av beslutsfattande.

Första stycket ska vara tillämpligt om något av följande villkor är uppfyllt:

a)AI-systemet är avsett att utföra en snäv processuell uppgift, b)AI-systemet är avsett att förbättra resultatet av tidigare slutförd mänsklig verksamhet, c)AI-systemet är avsett att upptäcka beslutsmönster eller avvikelser från tidigare beslutsmönster och är inte avsett att ersätta eller påverka tidigare slutförd mänsklig bedömning, utan ordentlig mänsklig granskning, eller d)AI-systemet är avsett att utföra en förberedande uppgift för en bedömning som är relevant för de användningsfall som förtecknas i bilaga III.

Utan hinder av första stycket ska ett AI-system som avses i bilaga III alltid anses vara ett AI-system med hög risk om det utför profilering av fysiska personer.

4. En leverantör som anser att ett AI-system som avses i bilaga III inte är ett AI-system med hög risk ska upprätta dokumentation för sin bedömning innan systemet släpps ut på marknaden eller tas i bruk. Sådana leverantörer ska omfattas av de registreringsskyldigheter som föreskrivs i artikel 49.2. På begäran av nationella behöriga myndigheter ska leverantören tillhandahålla den dokumentation som legat till grund för bedömningen.
5. Efter samråd med den europeiska styrelsen för artificiell intelligens (styrelsen) ska kommissionen senast den 2 februari 2026 tillhandahålla riktlinjer som specificerar det praktiska genomförandet av denna artikel i överensstämmelse med artikel 96, och som innefattar en omfattande förteckning över praktiska exempel på användningsfall av AI-system som innebär hög risk och användningsfall som inte innebär hög risk.
6. Kommissionen ges befogenhet att anta delegerade akter i enlighet med artikel 97 för att ändra punkt 3 andra stycket i den här artikeln genom att lägga till nya villkor utöver dem som föreskrivs i det stycket eller genom att ändra dem, om det finns konkreta och tillförlitliga bevis på förekomst av AI-system som omfattas av tillämpningsområdet för bilaga III men som inte utgör en betydande risk för skada på fysiska personers hälsa, säkerhet eller grundläggande rättigheter.
7. Kommissionen ska anta delegerade akter i enlighet med artikel 97 för att ändra punkt 3 andra stycket i den här artikeln genom att stryka något av de villkor som föreskrivs i det stycket, om det finns konkreta och tillförlitliga bevis för att detta är nödvändigt för att upprätthålla den skyddsnivå för hälsa, säkerhet och grundläggande rättigheter som föreskrivs i denna förordning.
8. Eventuella ändringar av villkoren i punkt 3 andra stycket som antas i enlighet med punkterna 6 och 7 i denna artikel får inte sänka den allmänna skyddsnivå för hälsa, säkerhet och grundläggande rättigheter som föreskrivs i denna förordning och ska säkerställa samstämmighet med de delegerade akter som antagits enligt artikel 7.1 samt ta hänsyn till marknadsutveckling och tekniska utveckling.

Artikel 7

Ändringar av

1.Kommissionen ges befogenhet att anta delegerade akter i enlighet med artikel 97 med avseende på att ändra bilaga III genom att lägga till eller ändra användningsfall för AI-system med hög risk om båda följande villkor är uppfyllda:

a)AI-systemen är avsedda att användas inom något av de områden som förtecknas i bilaga III.

b)AI-systemen utgör en risk för skada på hälsa och säkerhet, eller för negativ inverkan på grundläggande rättigheter, och denna risk är likvärdig med eller större än den risk för skada eller negativ inverkan som förorsakas av de AI-system med hög risk som redan anges i bilaga III.

Bilaga 1

2.Vid bedömningen av villkoret i punkt 1 b ska kommissionen beakta följande kriterier: a) Det avsedda ändamålet med AI-systemet.

b) I vilken utsträckning ett AI-system har använts eller sannolikt kommer att användas.

c)Typen och mängden data som behandlas och används av AI-systemet, i synnerhet huruvida särskilda kategorier av personuppgifter behandlas.

d)I vilken utsträckning AI-systemet agerar självständigt och om det är möjligt för en människa att åsidosätta ett beslut eller rekommendationer som kan leda till potentiell skada.

e)I vilken utsträckning användningen av ett AI-system redan har orsakat skada på hälsa och säkerhet, har haft negativ inverkan på grundläggande rättigheter eller har gett upphov till betydande farhågor när det gäller sannolikheten för sådan skada eller negativ inverkan, vilket till exempel framgår av rapporter eller dokumenterade anklagelser som lämnats till nationella behöriga myndigheter, eller, i förekommande fall, av andra rapporter.

f)Den potentiella omfattningen av sådan skada eller sådan negativ inverkan, särskilt i fråga om intensitet och förmåga att påverka en stor mängd personer eller att i oproportionerlig utsträckning påverka en viss grupp av personer.

g)I vilken utsträckning potentiellt skadade eller negativt påverkade personer är beroende av det resultat som producerats med ett AI-system, särskilt till följd av att det av praktiska eller juridiska skäl inte rimligen är möjligt att undantas från detta resultat.

h)I vilken utsträckning det föreligger en obalans i fråga om makt, eller potentiellt skadade eller negativt påverkade personer befinner sig i ett utsatt läge i förhållande till tillhandahållaren av ett AI-system, särskilt på grund av status, auktoritet, kunskap, ekonomiska eller sociala omständigheter eller ålder.

i)I vilken utsträckning det resultat som produceras med medverkan av ett AI-system är lätt att korrigera eller upphäva, med beaktande av tillgängliga tekniska lösningar som möjliggör dess korrigering eller upphävande, varvid resultat med en negativ påverkan på hälsa, säkerhet eller grundläggande rättigheter inte ska anses vara lätta att korrigera eller upphäva.

j)Omfattningen av och sannolikheten för nyttan med införandet av AI-systemet för enskilda personer, grupper eller samhället i stort, inbegripet eventuella förbättringar av produktsäkerheten.

k)I vilken utsträckning befintlig unionsrätt föreskriver i)effektiva åtgärder för rättslig prövning med hänsyn till de risker som ett AI-system medför, med undantag för skadeståndsanspråk, ii)effektiva åtgärder för att förebygga eller avsevärt minimera dessa risker.

3.Kommissionen ges befogenhet att anta delegerade akter i enlighet med artikel 97 med avseende på att ändra förteckningen i bilaga III genom att låta AI-system med hög risk utgå om båda följande villkor är uppfyllda:

a)Det berörda AI-systemet medför inte längre någon betydande risk för grundläggande rättigheter, hälsa eller säkerhet, med beaktande av kriterierna i punkt 2.

b)Strykningen sänker inte den övergripande nivån på skyddet för hälsa, säkerhet och grundläggande rättigheter enligt unionsrätten.

AVSNITT 2

Krav på AI-system med hög risk

Artikel 8

Förenlighet med kraven

1.AI-system med hög risk ska uppfylla kraven i detta avsnitt, med beaktande av deras avsedda ändamål samt den allmänt erkända senaste utvecklingen inom AI och AI-relaterad teknik. Det riskhanteringssystem som avses i artikel 9 ska beaktas när förenligheten med dessa krav säkerställs.

2.Om en produkt innehåller ett AI-system som omfattas av kraven i denna förordning och kraven i unionens harmoniseringslagstiftning som förtecknas i avsnitt A i bilaga I, ska leverantörer ansvara för att säkerställa att deras produkt uppfyller alla tillämpliga krav i tillämplig unionsharmoniseringslagstiftning. Vid säkerställandet av att AI-system med hög risk som avses i punkt 1 överensstämmer med kraven i detta avsnitt, och för att säkerställa samstämmighet, motverka dubbelarbete och minimera ytterligare bördor, ska leverantörer kunna välja att, beroende på vad som är lämpligt, integrera de nödvändiga test- och rapporteringsprocesserna, den information och den dokumentation som de tillhandahåller med avseende på sin produkt i dokumentation och förfaranden som redan finns och som krävs enligt unionens harmoniseringslagstiftning som förtecknas i avsnitt A i bilaga I.

Artikel 9

Riskhanteringssystem

1. Ett riskhanteringssystem ska inrättas, genomföras, dokumenteras och underhållas för AI-system med hög risk.
2. Riskhanteringssystemet ska förstås som en kontinuerlig iterativ process som planeras och löper under hela livscykeln för ett AI-system med hög risk, med krav på regelbunden och systematisk översyn och uppdatering. Det ska innehålla följande steg:

a)Identifiering och analys av de kända och rimligen förutsebara risker som AI-systemet med hög risk kan medföra för hälsa, säkerhet och grundläggande rättigheter när AI-systemet med hög risk används i enlighet med sitt avsedda ändamål.

b)Uppskattning och utvärdering av de risker som kan uppstå när AI-systemet med hög risk används i enlighet med sitt avsedda ändamål och under förhållanden där det kan förekomma rimligen förutsebar felaktig användning.

c)Utvärdering av andra risker som eventuellt kan uppstå på grundval av en analys av data som samlats in från det system för övervakning efter utsläppande på marknaden som avses i artikel 72.

d)Antagande av lämpliga och riktade riskhanteringsåtgärder utformade för att hantera de risker som identifierats enligt led a.

3. De risker som avses i denna artikel ska endast avse de risker som rimligen kan begränsas eller elimineras genom utveckling eller utformning av AI-systemet med hög risk eller tillhandahållande av adekvat teknisk information.
4. I de riskhanteringsåtgärder som avses i punkt 2 d ska vederbörlig hänsyn tas till de effekter och den möjliga interaktion som följer av den kombinerade tillämpningen av kraven i detta avsnitt, i syfte att minimera riskerna mer effektivt och samtidigt uppnå en lämplig balans i genomförandet av åtgärderna för att uppfylla dessa krav.
5. De riskhanteringsåtgärder som avses i punkt 2 d ska vara sådana att relevanta kvarvarande risker förknippade med varje fara samt den totala kvarvarande risken i AI-systemen med hög risk bedöms vara acceptabla.

Vid fastställandet av de lämpligaste riskhanteringsåtgärderna ska följande säkerställas:

a)Eliminering eller minskning av risker som identifierats och utvärderats enligt punkt 2 så långt som tekniskt möjligt genom lämplig konstruktion och utveckling av AI-systemet med hög risk.

b)När det är lämpligt, genomförande av lämpliga begränsnings- och kontrollåtgärder för att hantera risker som inte kan elimineras.

c)Tillhandahållande av den information som krävs enligt artikel 13 och, i förekommande fall, utbildning för tillhandahållare.

För att eliminera eller minska risker i samband med användningen av AI-systemet med hög risk ska vederbörlig hänsyn tas till den tekniska kunskap, erfarenhet och utbildning som tillhandahållaren förväntas ha och det förmodade sammanhang i vilket systemet är avsett att användas.

Bilaga 1

6. AI-system med hög risk ska testas i syfte att identifiera de lämpligaste och bäst riktade riskhanteringsåtgärderna. Testerna ska säkerställa att AI-system med hög risk fungerar konsekvent för sitt avsedda ändamål och att de uppfyller kraven i detta avsnitt.
7. Testningsförfarandena får omfatta testning under verkliga förhållanden i enlighet med artikel 60.
8. Testning av AI-systemen med hög risk ska utföras, beroende på vad som är lämpligt, när som helst under hela utvecklingsprocessen och i alla händelser innan de släpps ut på marknaden eller tas i bruk. Testning ska utföras på grundval av i förväg definierade mått och sannolikhetsgränser som är lämpliga för det avsedda ändamålet med AI-systemet med hög risk.
9. Vid genomförandet av det riskhanteringssystem som föreskrivs i punkterna 1–7 ska leverantörer ta hänsyn till huruvida AI-systemet med hög risk, med tanke på dess avsedda ändamål, sannolikt kommer att ha en negativ påverkan på personer som är yngre än 18 år och, i förekommande fall, andra sårbara grupper.
10. För leverantörer av AI-system med hög risk som omfattas av krav avseende interna riskhanteringsprocesser enligt andra relevanta bestämmelser i unionsrätten får de aspekter som regleras i punkterna 1–9 ingå i, eller kombineras med, de riskhanteringsförfaranden som fastställs enligt den unionsrätten.

Artikel 10

Data och dataförvaltning

1. AI-system med hög risk som använder teknik som inbegriper träning av AI-modeller med data ska utvecklas på grundval av tränings-, validerings- och testdataset som uppfyller de kvalitetskriterier som avses i punkterna 2–5 när sådana dataset används.
2. Tränings-, validerings- och testdataset ska omfattas av metoder för dataförvaltning och datahantering som är lämpliga för det avsedda ändamålet med AI-systemet med hög risk. Dessa metoder ska särskilt avse

a)relevanta utformningsval, b)datainsamlingsprocesser och uppgifternas ursprung samt, när det gäller personuppgifter, datainsamlingens ursprungliga ändamål, c)relevanta åtgärder för datapreparering, såsom annotation, märkning, rensning, uppdatering, förädling och aggregering, d)formulering av antaganden, särskilt när det gäller den information som berörda data förväntas beskriva och representera, e)en bedömning av tillgängligheten, mängden och lämpligheten avseende de dataset som behövs, f)undersökning med avseende på eventuella biaser som sannolikt kommer att påverka människors hälsa och säkerhet, inverka negativt på grundläggande rättigheter eller leda till diskriminering som är förbjuden enligt unionsrätten, särskilt när utdata påverkar indata för framtida drift, g)lämpliga åtgärder för att upptäcka, förebygga och begränsa eventuella biaser som identifierats enligt led f, h)identifiering av relevanta dataluckor eller brister som hindrar efterlevnad av denna förordning, och hur dessa luckor och brister kan åtgärdas.

3.Tränings-, validerings-och testdataset ska vara relevanta, tillräckligt representativa, och så långt som möjligt fria från fel och fullständiga i förhållande till det avsedda ändamålet. De ska ha lämpliga statistiska egenskaper, inbegripet, i förekommande fall, vad gäller de personer eller grupper av personer med avseende på vilka AI-systemet med hög risk är avsett att användas. Egenskaperna hos dessa dataset kan uppfyllas på nivån för enskilda dataset eller på nivån av en kombination av dessa.

4.Dataseten ska, i den mån som krävs med hänsyn till det avsedda ändamålet, beakta de egenskaper eller element som är utmärkande för just den specifika geografiska, kontextuella, beteendemässiga eller funktionsmässiga situation där AI-systemet med hög risk är avsett att användas.

5.I den utsträckning det är absolut nödvändigt för att säkerställa upptäckt och korrigering av bias i samband med AI-systemen med hög risk i enlighet med punkt 2 f och g i denna artikel får leverantörer av sådana system undantagsvis behandla särskilda kategorier av personuppgifter, med förbehåll för lämpliga skyddsåtgärder för fysiska personers grundläggande rättigheter och friheter. Utöver bestämmelserna i förordningarna (EU) 2016/679 och (EU) 2018/1725 och direktiv (EU) 2016/680 måste samtliga följande villkor vara uppfyllda för att sådan behandling ska kunna äga rum:

a)Upptäckt och korrigering av bias kan inte uppnås på ett effektivt sätt genom behandling av andra data, inbegripet syntetiska eller anonymiserade data.

b)De särskilda kategorierna av personuppgifter omfattas av tekniska begränsningar för vidareutnyttjande av personuppgifter samt säkerhetsåtgärder och integritetsbevarande åtgärder på en nivå som motsvarar den senaste utvecklingen, inbegripet pseudonymisering.

c)De särskilda kategorierna av personuppgifter omfattas av åtgärder för att säkerställa att de personuppgifter som behandlas är säkra, skyddade, omfattas av lämpliga skyddsåtgärder, inbegripet strikta kontroller och dokumentation av åtkomsten, för att undvika missbruk och säkerställa att endast personer som är behöriga har tillgång till dessa personuppgifter med lämpliga konfidentialitetsskyldigheter.

d)De särskilda kategorierna av personuppgifter får inte översändas, överföras eller på annat sätt göras tillgängliga för andra parter.

e)De särskilda kategorierna av personuppgifter raderas när biasen har korrigerats eller personuppgifternas lagringstid har löpt ut, beroende på vilket som inträffar först.

f)Registren över behandling enligt förordningarna (EU) 2016/679 och (EU) 2018/1725 och direktiv (EU) 2016/680 innehåller skälen till varför behandlingen av särskilda kategorier av personuppgifter var absolut nödvändig för att upptäcka och korrigera biaser och varför detta mål inte kunde uppnås genom behandling av andra data.

6.För utvecklingen av AI-system med hög risk som inte använder teknik som inbegriper träning av AI-modeller är punkterna 2–5 endast tillämpliga på testdataset.

Artikel 11

Teknisk dokumentation

1.Den tekniska dokumentationen för ett AI-system med hög risk ska upprättas innan systemet släpps ut på marknaden eller tas i bruk och ska hållas uppdaterad.

Den tekniska dokumentationen ska upprättas på ett sådant sätt att det visas att AI-systemet med hög risk är förenligt med kraven i detta avsnitt, och så att nationella behöriga myndigheter och anmälda organ får den information som krävs i klar och begriplig form för att bedöma om AI-systemet uppfyller dessa krav. Den ska minst innehålla de delar som anges i bilaga IV. Små och medelstora företag, inbegripet uppstartsföretag, får tillhandahålla de delar av den tekniska dokumentation som anges i bilaga IV på ett förenklat sätt. För detta ändamål ska kommissionen upprätta ett förenklat formulär för teknisk dokumentation som är inriktat på små företags och mikroföretags behov. Om ett litet eller medelstort företag, inbegripet ett uppstartsföretag, väljer att tillhandahålla den information som krävs enligt bilaga IV på ett förenklat sätt ska det använda det formulär som avses i denna punkt. Anmälda organ ska godta formuläret för bedömning av överensstämmelse.

2. Om ett AI-system med hög risk som är kopplat till en produkt, som omfattas av unionens harmoniseringslagstiftning som förtecknas i avsnitt A i bilaga I, släpps ut på marknaden eller tas i bruk ska en enda teknisk uppsättning dokumentation upprättas som innehåller all den information som anges i punkt 1 samt den information som krävs enligt dessa rättsakter.
3. Kommissionen ges befogenhet att anta delegerade akter i enlighet med artikel 97 för att ändra bilaga IV när så krävs för att säkerställa att den tekniska dokumentationen, mot bakgrund av teknisk utveckling, innehåller all information som krävs för att bedöma systemets förenlighet med kraven i detta avsnitt.

Bilaga 1

Artikel 12

Loggning

1. AI-system med hög risk ska tekniskt möjliggöra automatisk registrering av händelser (loggar) under hela systemets livstid.
2. För att säkerställa en spårbarhetsnivå för funktionen hos ett AI-system med hög risk som är lämplig för systemets avsedda ändamål ska loggningskapaciteten möjliggöra registrering av händelser som är relevanta för

a)identifiering av situationer som kan resultera i att AI-systemet med hög risk utgör en risk i den mening som avses i artikel 79.1 eller i en väsentlig ändring, b)underlättande av den övervakning efter utsläppande på marknaden som avses i artikel 72, och c)övervakning av driften av AI-system med hög risk som avses i artikel 26.5.

3.För AI-system med hög risk som avses i punkt 1 a i bilaga III ska loggningsfunktionerna åtminstone tillhandahålla följande:

a)Registrering av perioden för varje användning av systemet (startdatum och starttidpunkt samt slutdatum och sluttidpunkt för varje användning).

b)Den referensdatabas mot vilken indata har kontrollerats av systemet.

c)Indata för vilka sökningen har lett till en träff.

d)Identifiering av de fysiska personer som deltar i kontrollen av resultaten enligt artikel 14.5.

Artikel 13

Transparens och tillhandahållande av information till tillhandahållare

1. AI-system med hög risk ska utformas och utvecklas på ett sådant sätt att driften av dem är tillräckligt transparent för att tillhandahållare ska kunna tolka systemets utdata och använda dem på lämpligt sätt. En lämplig typ och grad av transparens ska säkerställas, i syfte att uppnå uppfyllelse av leverantörens och tillhandahållarens relevanta skyldigheter enligt avsnitt 3.
2. AI-system med hög risk ska åtföljas av en bruksanvisning i ett lämpligt digitalt eller annat format som inbegriper kortfattad, fullständig, korrekt och tydlig information som är relevant, tillgänglig och begriplig för tillhandahållare.
3. Bruksanvisningen ska minst innehålla följande information:

a)Identitet och kontaktuppgifter för leverantören och i tillämpliga fall för dennes ombud.

b)Egenskaperna, kapaciteten och prestandabegränsningarna hos AI-systemet med hög risk, inbegripet i)dess avsedda ändamål, ii)den nivå avseende riktighet, inbegripet mätningarna av denna, robusthet och cybersäkerhet som avses i artikel 15 mot vilken AI-systemet med hög risk har testats och validerats och som kan förväntas, samt alla kända och förutsebara omständigheter som kan påverka den förväntade riktighets-, robusthets-och cybersäkerhetsnivån, iii)varje känd eller förutsebar omständighet, som har samband med användningen av AI-systemet med hög risk i enlighet med dess avsedda ändamål eller under förhållanden där det kan förekomma rimligen förutsebar felaktig användning, som kan leda till risker för hälsa och säkerhet eller grundläggande rättigheter som avses i artikel 9.2, iv)i tillämpliga fall, den tekniska kapaciteten och de tekniska egenskaperna hos AI-systemet med hög risk med avseende på att tillhandahålla information som är relevant för att förklara dess utdata,