Redogör för tre utmärkande drag som utvärderingsstudier har i förhållande till annan forskning.
Praktisk användbarhet: Utvärderingsstudier syftar till att ge information som direkt kan påverka beslut och åtgärder i program och policyer.
Prestationsbedömning: De fokuserar på att mäta och bedöma programmens prestationer mot förväntade mål eller standarder.
Anpassning till kontext: Utvärderingar anpassas efter programmet och dess politiska och organisatoriska omständigheter, ofta med praktiska kompromisser.
Skillnaden mellan processutvärdering och effektutvärdering?
Skillnaden ligger i dess fokus och syfte.
Processutvärdering undersöker hur ett program genomförs, inklusive kvaliteten på implementationen, aktiviteter som utförs, målgruppen som nås och hur väl genomförandet överensstämmer med den planerade designen.
Effektutvärdering: Bedömer programmens förmåga att uppnå de avsedda effekterna, vanligtvis under kontrollerade eller gynnsamma förhållanden. Det handlar om att mäta om programmet faktiskt ger de resultat som det var designat att åstadkomma.
Förklara skillnaden mellan kvasiexperimentella studier och experimentella studier med randomisering (RCT) samt diskutera för- och nackdelar med dessa typer av experimentella studier.
Kvasiexperimentella studier: Studiedeltagarna har inte fördelats slumpmässigt i en behandling- resp. kontrollgrupp.
+Trovärdiga uppskattningar av programeffekter, kräver mindre urval och mindre resurser.
-Risk för bias, lägre intern validitet
Experimentella studier m. randomisering (RCT): Studiedeltagarna slumpas in i behandling- resp. kontrollgrupp.
+Pålitliga kausala slutsatser, minimerar bias.
-Krävs stort urval och stora resurser
Vad innebär kritisk realism och hur kombineras kvantitativ och kvalitativ forskning inom empirismen respektive inom kritisk realism
Kritisk realism menar att verkligheten existerar oberoende av oss, men vår förståelse av den påverkas av sociala faktorer. Kvantitativa studier kan ge ledtrådar till mekanismer som kan påvisas i en kvalitativ studie.
Empirism - Verkligheten existerar oberoende av betraktaren. Kvalitativa studier kan upptäcka eventuella kausala förhållanden som sedan bevisas i kvantitativa studier.
Vad innebär icke-realism och hur förhåller sig detta ”mönster” till relativism?
Icke-realism handlar om att verkligheten är en social konstruktion, medan relativism ifrågasätter vad som kan anses vara sant eller rätt.
Icke-realism menar att verkligheten inte kan förstås objektivt, eftersom vår förståelse formas av språk och kultur. Relativism kopplar detta till att sanningar och värderingar beror på tid, plats och perspektiv.
Vad menas till exempel med varukvalitet, tjänstekvalitet, servicekvalitet och livskvalitet?
Varukvalitet: Avser en produkts egenskaper, hur väl den uppfyller konsumentens krav och förväntningar.
Tjänstekvalitet: Består av tre delar:
1. Strukturkvalitet: Resurser och förutsättningar.
2. Processkvalitet: Hur tjänsten utförs.
3. Resultatkvalitet: Uppnådda mål och resultat.
Servicekvalitet: Handlar om verksamhetens resurser, kompetens och hur tjänsterna utförs för att möta brukarnas behov.
Livskvalitet: Fokus på förbättringar i individens liv, både objektivt (t.ex. hälsa) och subjektivt (välbefinnande).
- Förklara resultatparadoxen
Utvärdering kan göras med de bästa av syften och med de bästa metoder, men kan ändå leda till negativa konsekvenser. Exempel på detta är om en utvärdering syftar till att förbättra verksamheten, kan själva utvärderingsprocessen eller de resultat som den genererar leda till skadliga effekter
Vad utmärker ”Bieffektsmodellen” respektive ”Brukarmodellen”
Bieffektsmodellen: Offentliga interventioner kan åstadkomma andra resultat än avsedda, sk. bieffekter
Brukarmodellen: Låter individerna i målgruppen värdera något utifrån deras egna värderingskriterier
Argument för och emot ”Måluppfyllelsemodellen” respektive ”Intressentmodellen”?
Måluppfyllelsemodellen: Undersöker om en insats uppfyller de ursprungligen fastställda målen.
+ Främjar objektivitet genom fokus på fastställda mål, stärker legitimitet och demokratisk kontroll.
-Otydliga mål försvårar utvärdering, missar ofta bieffekter och oväntade resultat.
Intressentmodellen: Förhoppningar och farhågor hos dem som berörs av en intervention
+ Lyfter flera perspektiv, ökar användbarheten av resultat, främjar demokrati och kompromiss.
-Svår avgränsning av intressenter, risk för att starka grupper dominerar, resurskrävande och ineffektiv.
- Vilka tre modeller för mångkulturell integration diskuteras av Anders Hanberger och vad anser författaren om HRV-programmets implementering i förhållande till dessa modeller?
Kulturell assimilation: Minoritetskulturer anpassar sig till majoritetskulturen, med begränsat utrymme för att bevara egna traditioner.
Kulturell sammansmältning: En hybridkultur skapas där värden från både majoritets- och minoritetskulturer blandas, samtidigt som varje kultur behåller vissa unika delar.
Kulturell samexistens: Minoritetskulturer och majoritetskulturen lever sida vid sida utan att blandas, med fokus på minoritetsrättigheter och särlagstiftning.
När det gäller HRV-programmet, anser författaren att programmet ligger närmast assimilationmodellen. Fokuserar på att stärka individens rättigheter och jämställdhet, vilket är i linje med ett assimilationsperspektiv där normer från majoritetskulturen (t.ex. jämställdhet och mänskliga rättigheter) betonas, samtidigt som minoritetskulturer förväntas anpassa sig.
Kritik mot enkla logiska modeller
“Ett enda linjärt orsaksamband”
Förenklar komplexa interventioner och riskerar att överskatta effekter.
Ignorerar kontextuella faktorer, och klienters egenskaper, vilket minskar tillförlitligheten.
Reflekterar oftast endast en förändringsteori och bortser från andra perspektiv.
Risk för bokstavlig tolkning som inte inkluderar andra påverkande faktorer.
Emergens inom komplicerade logiska modeller?
Emergens innebär att resultat och metoder utvecklas under programmets gång. Kräver en flexibel utvärdering för att hantera oväntade resultat och förändrade omständigheter.
- Vilka nackdelar innebär ”könsblinda” utvärderingar
Leder till att kvinnors behov och erfarenheter osynliggörs.
Fokuserar inte på hur metoden speglar mäns resp. kvinnors behov.
Behandlingsmetod som fungerar bra för kvinnor kan läggas ner om den inte visade positiva resultat i en könsneutral utvärdering
Beskriv en teoribaserad och en aktörsfokuserad utvärderingsmodell.
Teoribaserad utvärderingsmodell: Fokuserar på att förstå hur och varför ett program leder till vissa resultat genom att undersöka de bakomliggande antagandena och förändringslogiken. Den jämför teoretiska antaganden med faktiska observationer för att identifiera faktorer som bidrar till framgång.
Aktörsfokuserad utvärderingsmodell: Analyserar och bedömer åtgärder utifrån olika aktörers perspektiv, som projektägare, deltagare eller brukare, för att förstå hur programmet upplevs och identifiera förbättringsområden baserat på deras behov och förväntningar.
Vad innebär teori- respektive implementeringsfel
Teorifel: Implementeringen fungerar som den ska men leder inte till önskad effekt.
Implementeringsfel: Implementeringen och genomförandet fungerar inte, men hade de fungerat kanske de lett till önskad effekt
Vilka för- och nackdelar finns det med utvärderingar i form av expertpaneler (”peer review”)?
+ Forskare anses vara bäst lämpade att värdera vilken forskning som är ‘‘bäst’’ inom det egna expertområdet, experter kan ofta ge värdefulla synpunkter som rör den vetenskapliga kvaliteten.
-Beroende av att finna neutrala experter, begränsar möjligheterna till en rättvis bedömning, verkar oftast konserverande istället för att främja utveckling och förändring.
För- och nackdelar med självutvärderingar
Fördelar:
- Snabbt och kostnadseffektivt
- Resultaten uppfattas ofta som trovärdiga och accepterade av de berörda
- Stärker lärande och utvärderingskompetens inom organisationen
Nackdelar:
- Svårt att hålla sig oberoende till sin egen verksamhet
- Uppenbara risker för intressekonflikter
- Kan undvika att belysa negativa fakta
- Kan bli snedvriden om interna intressen påverkar bedömningarna
Redogör för två av sex forskningsetiska teman och hur de relaterar till interventionsstudier.
Principen att göra gott: Syftet med interventionen ska vara att göra gott.
Principen att inte skada: Forskarna ska ha kompetens att genomföra projektet på ett professionellt sätt och skydda deltagarna från obehag.
Autonomi - det informerade samtyckets princip: Personens rätt att bestämma över sig själv.
Konfidentialitet och datasäkerhet: Stora mängder data hanteras, uppgifter som lämnats får inte användas på andra sätt än deltagaren uttryckligen samtyckt till.
- Vad är poweranalys och vilka sätt finns det att öka den statistiska powern?
En poweranalys bedömer en studies förmåga att upptäcka en verklig skillnad om den finns. En power på 0,80 innebär 80% chans att hitta en skillnad om den existerar.
- Öka urvalsstorleken
- Använd förmätning: Genom att mäta både före och efter interventionen minskar variationen och förbättrar powern.
- Använda riktade test
- Öka förväntade skillnader mellan betingelserna
Vad menas med enhetspris i en ekonomisk utvärdering?
Totala kostnaden under en period dividerat med antalet enheter producerade under tiden
Vilka kan orsakerna vara till att utvärderingar av importerade EBI (Evidensbaserade interventioner) inte ger förväntade effekter?
- Skillnader i forskningsdesign – om metoder, mätinstrument eller urval inte överensstämmer med originalstudien kan resultaten påverkas.
- Dålig kulturell anpassning – om interventionen inte är anpassad till de lokala kulturella förhållandena kan den vara mindre effektiv
- Låg behandlingstrohet – interventionen används inte som avsett, vilket kan leda till att effekterna blir svagare eller uteblir.
- Interventionen är inte effektiv i den nya kontexten – det kan bero på att de faktorer som gjorde interventionen framgångsrik i den ursprungliga kontexten inte finns i den nya
Redogör för fyra procedurer för att underlätta rekryteringen av undersökningspersoner till en effektutvärdering
- Testa rekryteringsprocessen i förväg för att undersöka den förväntade inkluderingstakten och möjliga fallgropar.
- Adressera den som har mandat att besluta om medverkan.
- Lyft fram vad deltagarna har att vinna på att delta
- Engagera professionella: professionella som redan har förtroende från målgruppen (som läkare, kuratorer eller socialarbetare) kan spela en nyckelroll i rekryteringen.
- Lägga mycket tid på vidmakthållande
Vad betyder behandlingstrohet och vilka dimensioner kan detta begrepp omfatta?
Behandlingstrohet betyder att man vid användandet av en metod strikt följer de manualer och riktlinjer som åtföljer behandlingen.
Dimensioner:
- Följsamhet innebär att behandlingen genomförs enligt de angivna riktlinjerna eller manualen.
- kompetens avser utförarens förmåga att genomföra behandlingen på ett professionellt och effektivt sätt.
Beskriv två etablerade instrument för att mäta bbehandlingstrohet
Oberoende observationer: Detta anses vara den mest pålitliga metoden för att mäta behandlingstrohet. Den innebär att observatörer noggrant följer och bedömer behandlingen under sessionerna.
Självskattning: Metoden innebär att deltagare eller behandlare själva rapporterar/skattar själva graden av behandlingstrohet, ofta genom frågeformulär eller enkäter.
