Chattbotar som terapeuter – inte riskfritt

– Många som använder den här typen av appar är desperata efter hjälp. Men när du ger råd till sjuka måste det vara kvalificerade råd, säger Petra Müllerová, post doc i medicinsk rätt vid Lunds universitet som forskar om ny e-hälsoteknik och dess reglering på EU-nivå.

Friskvårdsapparna befinner sig i en juridisk gråzon, just eftersom de kategoriseras som friskvård.

– Appar som säger sig behandla sjukdomar regleras på EU-nivå som medicintekniska produkter. Många tillverkare säger sig i stället ägna sig åt friskvård som inte är lika hårt reglerat. Reglering kräver certifiering vilket kostar pengar och ställer höga krav på bland annat dataskydd och evidensbaserad vård, säger Petra Müllerová. Det är därför som en mycket liten del av apparna är certifierade. 

– Det är bra att vi har den nya AI-förordningen, men den omfattar således bara en bråkdel av apparna som finns på marknaden. En majoritet av apparna befinner sig i en gråzon och låtsas att de inte har ett medicinskt fokus, säger Petra Müllerová.

Svårt att kontrollera

Många som lider av psykisk ohälsa väljer att ladda ned en app, antingen i stället för att söka vård eller som komplement till vårdkontakter. Men frånvaron av både kvalificerad sjukvårdspersonal och evidensbaserad vård i dessa appar, det vill säga vård baserad på vetenskaplig grund, är enligt Petra Müllerová mycket problematiskt. Det saknas också transparens vad gäller vilken typ av AI som används. 

– Drabbade av psykisk ohälsa kan i många länder vänta i månader på vård, och i väntan på att få träffa en läkare kanske de laddar ned en app baserat på sådant som pris och antal stjärnor. Men om du lider av psykisk ohälsa och får okvalificerade råd kan det få mycket negativa konsekvenser, säger Petra Müllerová.

– Vissa använder det kanske till och med i stället för att söka vård, eftersom det är mer bekvämt att prata med en AI i en app som man laddat ned.

I dagsläget är marknaden totalt oreglerad vad gäller friskvårdsappar. Men även om regleringen skulle finnas på plats så skulle den vara omöjlig att efterleva, menar Petra Müllerová:

–  Vi har cirka 70 000 appar som handlar om psykisk hälsa inom EU. Även om de skulle vara reglerade, vem skulle kontrollera alla dessa appar? Det är redan omöjligt att kontrollera att de följer GDPR.

Det är alltså svårt att få kontroll på apparna, men det finns initiativ för att skapa reda i oredan. Ett exempel i Norden är en katalog över säkra hälsoappar som NordDEC (Nordic Digital Health Evalutation Criteria) tagit fram.

Låtsas vara människor

I praktiken kan vem som helst ta fram en friskvårdsapp som utlovar lindring av ångest eller depression. Medan vissa nöjer sig med att erbjuda lugnande vågskvalp fungerar andra som AI-modeller som du kan prata med.

Petra Müllerová har själv provat att prata med AI-modeller i ett urval av apparna som finns på marknaden. En sak hon reagerade på är att de försöker framstå som mänskliga. Hon frågade till exempel hur den mådde, och då svarade AI-modellen att den hade en bra dag. Men, en AI-modell kan inte ha egna känslor eller uppfattningar på det sättet.

– Tillverkarna är skyldiga att berätta för användaren att det handlar om AI-modeller och inte människor. Därför kommer brasklappen i början: ”Mitt namn är X och jag är en AI. Jag kommer vara din guide.” Efter detta låtsas de vara människor. Det är effektivt – användaren fortsätter använda appen eftersom de byggt en relation till sin AI-modell.  Men det är högst oetiskt sett till WHO:s rekommendationer.

Användaren bör alltid välja en app som har utvecklats av hälso- och sjukvårdspersonal, som skyddar deras data och som har ett etiskt förhållningssätt.

När Petra Müllerová använt olika appar har hon exempelvis simulerat en användare som uttrycker suicidtankar – som ett slags "värsta scenario”.

– I detta läge bör en AI-modell identifiera att det här är ett allvarligt problem och uppmana användaren att ringa 112. Men en jag provade frågade mig om jag ville lyssna på meditationsmusik. 

Apparna kan visst vara ett bra komplement till den vård som ges av sjukvården, menar Petra Müllerová, men det kan inte vara enda lösningen.

– Användaren bör alltid välja en app som har utvecklats av hälso- och sjukvårdspersonal, som skyddar deras data och som har ett etiskt förhållningssätt.

Petra Müllerovás studie "The Role of AI in Mental Health Applications and Liability" 

Är publicerad som kapitel i boken “Law and the Governance of Artificial Intelligence” som är en del av bokserien YSEC Yearbook of Socio-Economic Constitutions 2023. 

Källa: Lunds universitet.