Lecture 4: Item Types & Automatic Grading

Question 1

Categorize item types according to the set of possible answers, set of correct answers and their behavior.

Answer 1

Itemtypes können nach verschiedenen Kriterien kategorisiert werden: den möglichen Antworten, den korrekten Antworten und dem Verhalten der Item Types.

1. Mögliche Antworten:
   - Closed: Bei diesen Aufgaben ist die Anzahl der möglichen Antworten im Voraus festgelegt, endlich und bekannt. z.B sind Multiple Choice- oder Drag n Drop.
   - Open: Hier ist die Anzahl der möglichen Antworten theoretisch unbegrenzt, es gibt keine festgelegte Anzahl von richtigen Antworten. z.B. Aufsätze, Programmieraufgaben etc.
2. Richtige Antworten:
   - Konvergent: Für diese Aufgaben ist der Satz der richtigen Antworten im Voraus bekannt und endlich. Closed Aufgaben sind immer konvergent. z.B. Multiple Choice-Aufgaben.
   - Divergent: Bei diesen Aufgaben ist der Satz der richtigen Antworten nicht bekannt. Es gibt jedoch oft einen endlichen Satz von Regeln, anhand derer bestimmt werden kann, ob eine Antwort als „richtig“ betrachtet wird. z.B.wie das Schreiben der Zahl 5 als Summe von zwei Zahlen.
3. Verhalten der Item Types:
   - Statisch: Bei diesen Aufgaben haben mehrere Versuche keinen Einfluss und die Reihenfolge der Versuche ist irrelevant. z.B. Aufsätze.
   - Adaptiv: Hier ändert sich der Satz der gegebenen Antwortmöglichkeiten, was als richtig oder falsch betrachtet wird und das Feedback. interessant für formative Assessment und funktioniert nur in elektronischen Bewertungen.

Es ist wichtig, adaptive Aufgaben nicht mit adaptiven Bewertungen zu verwechseln.

Possible combinations:

Nicht ganz, “divergent” und “konvergent” beziehen sich auf den “Satz der richtigen Antworten”, während “closed” und “open” sich auf den “Satz der möglichen Antworten” beziehen.

• “Closed” und “Open” beschreiben die Natur der Frage selbst. Eine “Closed” Frage hat eine feste Anzahl von möglichen Antworten, die im Voraus bekannt sind (zum Beispiel Multiple Choice-Fragen). Eine “open” Frage hat theoretisch unbegrenzt viele mögliche Antworten (zum Beispiel ein Aufsatz).
• “Konvergent” und “divergent” beziehen sich darauf, ob die richtigen Antworten im Voraus bekannt sind oder nicht. “Konvergent” bedeutet, dass der Satz der richtigen Antworten im Voraus bekannt und endlich ist. “Divergent” bedeutet, dass der Satz der richtigen Antworten nicht im Voraus bekannt ist. Bei divergenten Fragen gibt es oft eine endliche Menge von Regeln, mit denen bestimmt werden kann, ob eine Antwort als „richtig“ betrachtet wird.

Also, eine “Closed” Frage ist immer “konvergent”, weil die möglichen und die richtigen Antworten im Voraus bekannt sind. Eine “open” Frage kann aber “divergent” sein, weil die richtigen Antworten nicht im Voraus festgelegt sind und von den gegebenen Antworten abhängen.

Question 2

Difference between Convergent and Divergent Item Types?

Answer 2

Convergent Item Types: Fixed Response wie z.B. bei Multiple Choice
* Leicht zu bewerten
* Hohe Objektivität der Bewertungen
* Gute Fragen und Tests erfordern geschicktes Design und Konstruktion, ansonsten begrenzter Umfang: Quiz von Fakten
* “Patients do not present with five choices”: Reale Situationen sind oft komplexer als Multiple-Choice-Fragen und haben nicht immer eine klare, vorgegebene Antwort haben.

Divergent Item Types (free response): offene Antwortformate – basierend auf fundierter Meinung und Analyse
* Leicht zu entwerfen
* Authentischer
* Einfacher, höhere kognitive Fähigkeiten zu bewerten
* Zeitaufwändig zu bewerten
* Zweifelhafte Objektivität der Bewertungen

Question 3

Name different item types, when to use them and name advantages and disadvantages.

Answer 3

Question 4

What is the difference between the didactic and technological item type and what are the 5 Classes (ill and well defined problems and their verifiability)?

Answer 4

Ein didaktischer Itemtype bezieht sich auf eine Frage oder Aufgabe designed um einen Lernenden was beizubringen z.B Fallstudie, während technological itemtype sich auf eine Frage oder Aufgabe bezieht, das Technologie voraussetzt um diese zu erfüllen. z.B Python
5 Classes: Die Komplexität des Lösungsraums beeinflusst die didaktischen und technologischen Item Types.

überprüfbare Lösungen:
* Class 1 z.B Multiple Choice Questions: Es gibt 1 bekannte Strategie und eine Lösung. Überprüfung mit Wertvergleich.
* Class 2 z.B Route mit dem Auto von A nach B: Es gibt 1 bekannte Strategie und mehrere Lösungen. Überprüfung mit model based systems.
* Class 3 z.B Route mit dem Auto oder Zug von A nach B: Es gibt mehrere bekannte Strategien und mehrere Lösungen. Überprüfung auch mit model based systems.
* Class 4 z.B Route von A nach B: Es gibt mehrere unbekannte Strategien und mehrere Lösungen. Überprüfung mit black box test und data mining.
Nicht überprüfbare Lösungen:
* Class 5 z.B landschaftlich reizvolle Route von A nach B: Es gibt mehrere unbekannte Strategien und mehrere nicht klar überprüfbare Lösungen, eher dann heuristisch oder peer reviews.

Die schlecht definierten (ill defined) Probleme sind solche, die keine klaren Ziele, Lösungswege oder erwarteten Lösungen haben. Gut definierte (well defined) Probleme haben spezifische Ziele, klar definierte Lösungswege und klare erwartete Lösungen.

Question 5

Different approaches and strategies for evaluation and feedback generation.

Answer 5

a) Bewertung von closed, konvergenten Item Typs:
- Einfacher Wertvergleich.
- Teilpunkte basierend auf: Ähnlichkeit zur Lösung.

b) Bewertung von open, konvergenten Item Typs:
- Im Prinzip dasselbe wie für closed Item Typ.
- Teilpunkte oder unterschiedliche Feedbacks erfordern Kategorisierung von falschen Eingaben, Kategorisierung basiert auf dem
Abstand zur richtigen Lösung unf didaktischen Insights: „Kleine Abzüge für Vorzeichenfehler, große Abzüge für Rechenfehler.“

c) Bewertung von open, divergenten Item Typs

Vorverarbeitung der Eingabe:

• Variante A: „Cleaning“ für nicht relevante Unterschiede, z.B. trim() bei Lückentexten oder Runden/Normalisieren von Eingabewerten.
• Variante B: „Evaluating“, um die Semantik zu bestimmen, z.B. Processing von Formeleingaben oder Programmcode

d) Regelbasierte Bewertung von open, divergenten Item Typs

• Unendliche Anzahl von richtigen Lösungen, Vergleich mit Musterlösungen nicht machbar.
• Anwendung von Regeln auf die Lösung.
• Jede Regel überprüft eine Eigenschaft.
• Teilpunkte für jede vorhandene Eigenschaft.

e) Statistische Bewertung von open, divergenten Item Typs

Allgemein:

• Manchmal können keine klaren Regeln für Lösungen definiert werden, was zur Erkennung von Merkmalen führt.
• Lösungen mit bestimmten Merkmalen werden dann mit einer gewissen Wahrscheinlichkeit einer Sample Lösung zugeordnet (=> Clustering).
• Bewertung und Feedback werden aus diesem Clustering abgeleitet.

Question 6

Was sind die Vorteile und Herausforderungen der automatisierten Bewertung bei E-Assessments?

Answer 6

“Automated grading” bietet Vorteile wie Effizienz, Skalierbarkeit und Anonymität. Es kann ein Produkt (die endgültige Antwort) oder den Prozess (wie die Antwort erreicht wurde) bewerten. Es kann jedoch herausfordernd sein, die Feinheiten und Komplexitäten des Schülerverständnisses zu erfassen, insbesondere bei komplexeren oder subjektiveren Frageformen.

Question 7

Automatic vs. manual evaluation approaches?

Answer 7

Automatische Ansätze: synchron oder asynchron

• Synchron: sofortige Reaktion (also Bewertung) auf die Einreichung und nur geeignet für sehr einfache Bewertungsansätze
• Asynchron: Einreichung und Bewertung wird in einer Warteschlange: ermöglicht komplexe, mehrstufige Bewertung

Manueller Ansatz: sind fast immer asynchron, z.B. mündliche Prüfungen