Syfte
Det övergripande syftet är att utveckla och innehållsvalidera en grafisk användarapplikation med som ska uppnå god innehållsvaliditet, anpassad till det framtagna AI-baserade beslutsstödet.
Det specifika syftet är att:
I en preklinisk kontext, utveckla och innehållsvalidera en visuell, interaktiv och användarvänlig grafisk användarapplikation anpassad till ett AI-baserat kliniskt beslutsstödsystem i en iterativ process mellan en konsensuspanel och en expertgrupp avseende relevans, enkelhet och säkerhet för användning i MMR.
Bakgrund
Långvarig smärta är ett stort och växande hälso- och socioekonomiskt problem som leder till låg livskvalitet, långvarig sjukskrivning och hög läkemedelskonsumtion. Tillståndet är dessutom svårbehandlat och betraktas idag som ett eget sjukdomstillstånd, inte som symptom på annan skada eller sjukdom. Multimodal smärtrehabilitering (MMR) anses vara det bästa behandlingsalternativet och består vanligtvis av fysisk aktivitet/träning, patientutbildning, läkemedels- och psykologisk behandling, som samordnas av ett interprofessionellt rehabiliteringsteam. Trots dessa relativt omfattande behandlingsinsatser är effekterna ofta blygsamma. Med syfte att framgent effektivisera behandlingen behöver rehabiliteringen individualiseras så att den bättre matchar patientens behov och förutsättningar.
I ett pågående projekt, finansierat av Vetenskapsrådet, Forte och AFA, avser vi att under 2023 till 2025 utveckla och validera ett web-baserat kliniskt beslutsstödsystem för användning inom svensk MMR Beslutsstödsystemets inre algoritm utvecklas och valideras för närvarande med hjälp av artificiell intelligens (AI) som utgår från historiska data från Nationella Registret över Smärtrehabilitering, synkroniserat med data från sex nationella register. Vårt övergripande mål med det pågående projektet är att pröva huruvida ett MMR-integrerat kliniskt beslutsstödsystem kan anses effektiv jämfört med konventionell MMR för patienter med långvarig smärta.
För att beslutstödet visuella grafiska profil ska bli användarvänligt behöver vi dock utveckla och validera en grafisk användarapplikation. Vi ämnar även validera hur beslutsstödsystemet och den integrerade användarapplikationen skall användas av rehabiliteringsteamet i samarbete med patienter med långvarig smärta under utredningsfasen inför MMR.
I detta projekt avser vi således att utveckla och validera en grafisk användarapplikation för det kliniska beslutsstödsystemet. Detta planeras att genomföras med hjälp av en innehållsvalidering utförd i en preklinisk kontext och i samarbete med den avsedda målgruppen, patientrepresentanter, kliniker och forskare.
Klicka på bilden för större format.
Metod
Data för innehållsvalidering insamlas genom en digital enkät. Enkäten upprepas i en iterativ process mellan en expertgrupp och en konsensuspanel till dess acceptabel validitet uppnås. En expertgrupp (studiens forskningspersoner) bestående av cirka 10–14 deltagare kommer att bedöma den grafiska användarapplikationen som helhet samt ingående delar utifrån relevans, enkelhet och säkerhet genom ett standardiserat valideringsprotokoll, inkluderat i den digitala enkäten.
Expertgruppen kommer att bestå av patientrepresentanter (vårdtagare), erfarna kliniskt verksamma inom MMR (vårdgivare), samt forskare/expertis inom hälsosjukvårdsutveckling (vetenskapliga granskare). En konsensuspanel (4–6 forskare i projektet) genomför valideringsberäkningar i varje iterativa runda, samt genomför revideringar/förbättringar av applikationen och dess användning, och återremitterar till expertgruppen för ny iterativ bedömning. Den iterativa proceduren upprepas tills innehållsvaliditeten är tillfredsställande (vanligen 2-3 omgångar).
Klicka på bilden för större format.
De olika delarna som ska valideras kopplar till projektets syfte:
- Specifikt innehåll och funktioner – specifik bedömning av varje enskild delaspekt som ingår i applikationen. Visualiseringen av de stegvisa komponenterna av den grafiska användarapplikationen – patientens baslinjemönster, patientens baslinjemönster matchat mot ett-årsutfall för tidigare patienter inom MMR, patientens önskade utfall ett år efter MMR justerat utefter tidigare patienters ett-årsutfall och efter samtal mellan patient och rehabiliteringsteam.
- Övergripande innehåll – övergripande bedömning av applikationen.
- Aspekter rörande användning av applikationen i utredningsprocessen inom svensk MMR. Expertgruppen genomför skattningar avseende relevans (eng: relevance), enkelhet (eng: simplicity) och säkerhet (eng: safety) på en fyra-gradig Likertskala (1=inte relevant/enkel/säker, 2= något relevant/enkelt/säkert, 3= ganska relevant/enkel/säker, 4= mycket relevant/enkel/säker).
Klicka på bilden för större format.
Begreppsförklaring av ingående validitetsdimensioner
Relevans avser hur relevant/lämplig den grafiska applikationen, eller dess komponenter, är för denna målgrupp (rehabiliteringsteam och patienter inom MMR). ”Inte relevant” indikerar att applikationen (eller delar av den) inte är relevant för denna population eller inte relevant att användas inom MMR. ”Mycket relevant” indikerar att applikationen bedöms som relevant på samma sätt.
Enkelhet syftade till att bedöma hur tydlig, enkel och användarvänlig den grafiska applikationen, eller dess komponenter, är att förstå och/eller tolka för denna målgrupp (rehabiliteringsteam och patienter inom MMR). ”Inte enkel” indikerar att applikationen (eller delar av den) antas vara för svår att förstå och/eller tolka. ”Mycket enkel” indikerar att applikationen (eller delar av den) antas vara både enkel att förstå och enkelt att tolka.
Säkerhet handlar om hur säkert den grafiska applikationen, eller dess komponenter, är för denna målgrupp (rehabiliteringsteam och patienter inom MMR). ”Inte säker” indikerar att applikationen (eller delar av den) har en risk att skapa obehag eller skada (exempelvis integritetskränkning etc). ”Mycket säker” indikerar att applikationen (eller delar av den) inte antas medföra risk för obehag eller skada.
Möjlighet att även inkludera kommentarer i fritext finns till varje fråga, tex för att förtydliga sin skattning eller ange om det var något de saknade eller ge förslag på revideringar. Baserat på skattningar och kommentarer (från expertgruppen) kommer det att framgå vilka delar som är tillfredsställande och vilka som behöver revideras. Konsensuspanelen genomför valideringsberäkningar av expertgruppens skattningar, som kvantifieras med ett innehållsvaliditets-index, content validity index (CVI). Innehållsvaliditet och CVI kommer att fastställas enligt publicerade riktlinjer för utveckling och validering.
I slutet av valideringsprotokollet kommer experterna även att få besvara frågor relaterade till ytvaliditet (eng: face validity), vilket handlar om till vilken grad applikationen som helhet är en adekvat reflektion av vad den förväntas användas till.
Klicka på bilden för större format.
