Valideringsstudien: Utveckling och validering av en webbapplikation för ett kliniskt beslutsstödsystem inom svensk multimodal smärtrehabilitering

Resultat

Under studiens gång har en grafisk användarapplikation utvecklats och med hjälp av en konsensuspanel och en expertgrupp validerats för att i framtiden kunna användas kliniskt som ett beslutsstödsystem inom svensk multimodal smärtrehabilitering.

Vad är det för projekt?

Långvarig smärta är ett stort och växande hälso- och socioekonomiskt problem som leder till låg livskvalitet, långvarig sjukskrivning och en hög grad av läkemedelskonsumtion.

I projektet vill vi pröva om ett datadrivet arbetssätt med ett patientspecifikt beslutsstöd kan förbättra behandlingsresultatet i samband med multimodal smärtrehabilitering. Detta genom att besvara frågeställningen.

Kan ett patientspecifikt AI-drivet kliniskt beslutsstödsystem förbättra multimodal smärtrehabilitering för patienter med långvarig smärta?

Beslutsstödet utvecklas och valideras med hjälp av artificiell intelligens (AI), baserat på historiska data från cirka 100 000 patienter som ingår i Nationella Registret över Smärtrehabilitering, synkroniserat med data från fyra andra nationella register. AI-baserade beslutsstödsystem har kapacitet att hantera stora komplexa dataset och kan utformas för att analysera patient-specifika data och känna igen mönster (även tidigare okända mönster) som kan förutsäga hälsorelaterade utfall.

Här kan du få mer information om det övergripande projektet (Projekt pAIn) samt vår forskargrupp (DU/Pain).

Projekt pAIn
DU/Pain

För att beslutsstödets visuella grafiska profil ska bli användarvänlig behövs en grafisk användarapplikation. I detta projekt har den grafiska webbapplikationen utvecklats och validerats för det kliniska beslutsstödsystemet. 

Tanken är att sjukvårdspersonal tillsammans med patient kan använda informationen för att individanpassa patientens behandling i framtiden. 

Klicka på bilden för större format.

Metod

I valideringsstudien ingick två arbetsgrupper, en expertgrupp och en konsensuspanel, som tillsammans systematiskt bidrog till att stegvis utveckla lämpligt innehåll, utseende och funktion av webbapplikationen. På så vis säkerställdes att webbapplikationens innehåll utformas på bästa sätt.

Data för innehållsvalidering insamlades genom en digital enkät. Enkäten upprepades i en iterativ process mellan en expertgrupp och en konsensuspanel till dess acceptabel validitet nåddes. En expertgrupp (studiens forskningspersoner) bestående av cirka 10–14 deltagare bedömde den grafiska användarapplikationen som helhet samt ingående delar utifrån relevans och enkelhet genom ett standardiserat valideringsprotokoll, inkluderat i den digitala enkäten.

Expertgruppen har bestått av patientrepresentanter (vårdtagare), erfarna kliniskt verksamma inom MMR (vårdgivare), samt forskare/expertis inom hälsosjukvårdsutveckling (vetenskapliga granskare). En konsensuspanel (4–6 forskare i projektet) har genomfört valideringsberäkningar i varje iterativa runda, samt genomfört revideringar/förbättringar av applikationen och dess användning, och därefter återremitterat till expertgruppen för ny iterativ bedömning. Den iterativa proceduren har upprepas 2 omgångar.  

Klicka på bilden för större format.

De olika delarna som har validerats kopplat till projektets syfte:

1. Specifikt innehåll och funktioner – specifik bedömning av varje enskild delaspekt som ingår i applikationen. Visualiseringen av de stegvisa komponenterna av den grafiska användarapplikationen – patientens baslinjemönster, patientens baslinjemönster matchat mot ett-årsutfall för tidigare patienter inom MMR, patientens önskade utfall ett år efter MMR justerat utefter tidigare patienters ett-årsutfall och efter samtal mellan patient och rehabiliteringsteam.
2. Övergripande innehåll – övergripande bedömning av applikationen.
3. Aspekter rörande användning av applikationen i utredningsprocessen inom svensk MMR. Expertgruppen genomför skattningar avseende relevans (eng: relevance) och enkelhet (eng: simplicity) ) på en fyra-gradig Likertskala (1=inte relevant/enkel, 2= något relevant/enkelt, 3= ganska relevant/enkel, 4= mycket relevant/enkel).

Begreppsförklaring av ingående validitetsdimensioner

Relevans avser hur relevant/lämplig den grafiska applikationen, eller dess komponenter, är för denna målgrupp (rehabiliteringsteam och patienter inom MMR). ”Inte relevant” indikerar att applikationen (eller delar av den) inte är relevant för denna population eller inte relevant att användas inom MMR. ”Mycket relevant” indikerar att applikationen bedöms som relevant på samma sätt.

Enkelhet syftade till att bedöma hur tydlig, enkel och användarvänlig den grafiska applikationen, eller dess komponenter, är att förstå och/eller tolka för denna målgrupp (rehabiliteringsteam och patienter inom MMR). ”Inte enkel” indikerar att applikationen (eller delar av den) antas vara för svår att förstå och/eller tolka. ”Mycket enkel” indikerar att applikationen (eller delar av den) antas vara både enkel att förstå och enkelt att tolka.

Möjlighet att även inkludera kommentarer i fritext fanns till varje fråga, tex för att förtydliga sin skattning eller ange om det var något de saknade eller ge förslag på revideringar. Baserat på skattningar och kommentarer (från expertgruppen) kommer det att framgå vilka delar som är tillfredsställande och vilka som behöver revideras. Konsensuspanelen genomförde valideringsberäkningar av expertgruppens skattningar, som kvantifierades med ett innehållsvaliditets-index, content validity index (CVI). 

I slutet av valideringsprotokollet fick experterna besvara frågor relaterade till ytvaliditet (eng: face validity), vilket handlar om till vilken grad applikationen som helhet är en adekvat reflektion av vad den förväntas användas till.

Klicka på bilden för större format.