Effektgrößen

Question 1

Was sind Effektgrößen?

Answer 1

Sie treffen allgemeine und vergleichende Aussagen über die Größe von Unterschieden, Zusammenhängen und anderen Ergebnissen.

Wichtig: Ergibt Vergleich inhaltlich einen Sinn?

Question 2

Was sind die Vorteile von Effektgrößen?

Answer 2

1. Unabhängig von n (Wurzel aus n spielt nur beim Signifikanztest eine Rolle)
2. Keine Einheit/standardisierte Skala –> Vergleichbarkeit

Question 3

Welche Effektgrößen gibt es?

Answer 3

1. Abstandsmaße: d, g –> werden i.d.R. in Standardabweichungseinheiten ausgedrückt
2. Korrelationmaße: fast immer Variation de Pearson-Korrelations-Koeffizienten r
3. Odds Ratio
4. Relevantes Risiko

Zu r: wenn z.B. Gruppengrößen nicht angegeben sind, df aber schon –> aus Signifikanztestergebnissen berechnen
Auch bei Ergebnissen von Kontrastanalysen mit mehreren Gruppenmittelwerten und t-Test Ergebnis

Question 4

Wie kann ein Abstand einen Zusammenhang zeigen/Frage zur Äquivalenz?

Answer 4

Äquivalenz von Zusammenhangs- und Abstandsmaßen, ineinander überführbar

MW Unterschied ≈ Korrelation

Effektgrößen in der Psychologie beziehen sich meist auf MWU

Nicht immer äquivalent –> wenn Basisraten bedeutsam sind immer r! –> Einzelfallanalyse

Question 5

Wie lassen sich Effektgrößen berechnen?

Answer 5

1. Rohwerte
2. Effektgrößen (Unterschied zwischen g & d: n und df)
3. Signifikanztestergebnisse (bietet sich an, da fast immer vorhanden)

Korrelation aus Rohwerten: Kovarianz / Produkt d. Streuung
d aus Rohwerten: MWU / Varianz, die man in der Gruppe findet
g aus Rohwerten: MWU / geschätzte Varianz
Unterschied d & g: Berechnung von SD: geschätzte Varianz teilt man durch n-1, s und sigma nur durch n –> g i.d.R. kleiner als d –> fällt nicht mehr auf wenn n sehr groß ist

Question 6

Was ist die Merkregel zur Berechnung von Effektgrößen aus Signifikanztestergebnissen?

Answer 6

Effektgröße = Signifikanztest (F- oder t-Test) / Größe der Studie (n oder df)

Question 7

Was ist der Sinn von Binomial Effect Size Display?

Answer 7

Interpretation von Korrelationen in Hinblick auf Erfolgsquote (dichotome Variablen)

–> eher kleiner Effekt kann in der Praxis sehr bedeutsam sein, deswegen Darstellung der Ergebnisse des BESD in einer 4-Felder Tafel, in der sich Zeilen und Spalten jeweils zu 100 aufsummieren –> Bedeutsamkeit wird plötzlich trotz sehr kleinem Effekt sehr klar!

r von dich. V. = “Veränderung in der Erfolgsquote”

Erfolgsquote der Experimentalgruppe: .5 + r/2

gut geeignet für z.B. Auftraggeber von Evaluationsstudien! Keine Methodenkenntnisse nötig

Question 8

Welche Effektgrößen nutzt man bei t-Tests?

Answer 8

Unabhängige SP: d, g, r
Abhängige SP: d, g

Question 9

Welche Effektgröße nutzt man bei der Varianzanalyse?

Answer 9

Eta-Quadrat

Question 10

Welche Effektgröße benutzt man bei der Kontrastanalyse?

Answer 10

r-Effectsize

Question 11

Welche Effektgröße nutzt man beim Chi-Quadrat Test?

Answer 11

w, vi

Question 12

Welche Effektgröße nutzt man bei einer Vierfeldertafel?

Answer 12

Phi-Koeffizient = r

Question 13

Wie geht man vor, wenn man Effektgrößen bei unvollständigen Angaben schätzen will?

Answer 13

• Keine Angaben über df –> nach Angaben über SP suchen, df berechnen
• Nonparametrische Verfahren –> p-Werte zur Bestimmung der entsprechenden parametrischen Teststatistik (t, F, usw.) verwenden
• Angabe n.s. –> Teststatistiken für p=.05 bestimmen (Obergrenze für den Effekt bestimmen z.B. t-Wert, max. für p) wenn N angegeben
• Gesucht: Unterschied zwischen zwei Treatment-Effekten, gegeben: Zwei Treatment-Effekte pro Gruppe –> umrechnen mit Hilfe von z-Werten (bei z- und t-Verteilung)
• bei mehr als zwei Gruppen: wenn mgl. Lamda Gewichte bestimmen und entsprechende Korrelationen berechnen

Question 14

Wie lassen sich Effektgrößen interpretieren?

Answer 14

• Abhängig vom Gegenstandsbereich, setzt inhaltliche Kenntnis voraus
• bei fehlender Expertise Effektmaß mit Interpretationskonventionen (z.B. Cohens d) verwenden (oder z.B. BESD)
• Konventionen (bestimmt aufgrund der in der sozialwissenschaftlichen Forschung üblicherweise gefundenen Werte): r 0,1 0,3 0,5 d 0,2 0,5 0,8
• Allerdings teilw. große Unterschiede für jeweilige Psychologische Fachgebiete

Question 15

Was ist das Problem bei KIs für Effektgrößen?

Answer 15

SPV für Effektgrößen ist nicht symmetrisch (außer ES = 0)

Question 16

Was bringen mit KIs für Effektgrößen?

Answer 16

identische Effektgrößen in verschiedenen Studien sagen, dass Effektgrößen gleich waren, aber nicht, dass die Aussagekraft gleich ist –> Genauigkeit durch KI

Question 17

Wie bestimmt man KIs für Effektgrößen?

Answer 17

Approximativ
Bootstrap
Exakt

Question 18

Wie geht die approximative Berechnung des KI für r?

Answer 18

Problem: Wegen des begrenzten Wertebereichs von r (-1 bis 1) kann t-Verteilung nur für r=0 verwendet werden (sonst ist die SPV für r nicht symmetrisch)

Lösung: z-Transformation
1. r in z umrechnen
2. Obere und Untere Grenzen für das KI von zr
3. Zurücktransformieren

zr ist für nicht zu kleine SP und nicht zu große Effekt normalverteilt
Auch als Signifikanztest ob sich r sign. von bestimmem Wert unterscheidet

Question 19

Wie geht die approximative Berechnung für g?

Answer 19

• Schätzung der SD von g
• Dann übliche Berechnung der OG und UG des KI (95% KI: z-Werte -&+ 1,96) –> g +- SDg x 1,96
• sind Effekte normal und SP nicht zu klein, unterscheiden sich diese appr. KI nicht wesentlich von exakten KI

Question 20

Wie berechnet man KIs durch Bootstrapping?

Answer 20

Bootstrap Verfahren anwenden, aber aus jeder Ziehung nicht nur den MW o.ä. sondern eine Effektgröße berechnen. Entsprechend oft wdh. und mit der entspr. SPV das KI bilden.

Voraussetzung: Zugang zur Original SP!

Erstellung des KI: Mittelwertsverteilung erstellen und (für 95% KI) die Werte für das 2,5% und das 97,5% Quantil ermitteln –> 95% KI –> + Aussage über Signifikanz UND Genauigkeit der Schätzung!

Symmetrie nicht wichtig

Question 21

Wie kann man KIs interpretieren?

Answer 21

Alternative Interpretation von KIs.
Herkömmlich: Ein 95% KI überdeckt mit einer WS von 95% den Populationswert (stimmt exakt bei symmetrischen SPV)
Allgemeiner: Ein 95% KI enthält 95% aller Populationsparameter, aus denen das emp. Ergebnis stammen könnte (Was sind die beiden extremsten Populationsparameter rechts und links vom gefundenen Wert aus denen dieser Wert stammen könnte?

sehr kompliziert

Wir brauchen zu df noch den Nonzentralitätsparameter –> Populationswertt, Lagemaß f. SPV

Question 22

Wie kann man ein exaktes KI für g bestimmen?

für r oder d analog dazu

Bestimmung mithilfe der t-Verteilung

Answer 22

1. Empirischen t-Wert für g bestimmen (liegt schon vor, wenn ein Signifikanztest berechnet wurde)
2. diesen als Schätzer für den Nonzentralitätsparameter benutzen
3. Den t-Wert bestimmen, dessen oberes entspr. Quantil (Konfidenz + (1-Konfidenz) / 2) dem empirischen t-Wert entspricht.
4. Den t-Wert bestimmen, dessen unteres entspr. Quantil (1-Konfidenz) / 2) dem empirischen t-Wert entspricht.
5. Die in 3. und 4. erhaltenen Ober- und Untergrenzen des KI für die Nichtzentrale t-Verteilung wieder in g zurücktransformieren.