Kalibrierung von Aufgaben für den Adaptiven Kurs (Jack2)

Im Folgenden wird ein Verfahren beschrieben, um einen Adaptiven Kurs manuell zu Kalibrieren. Der Adaptiv Kurs ist ein geplantes Feature und ist aktuell nicht Nutzbar.

Um die Aufgaben für den Adaptiven Kurs zu Kalibrieren muss vorher … beachtet werten.

a) Aktuell ist in Jack ein dichotomisches Modell implementiert. Das bedeutet im Modell wird angenommen, das es nur Richtig oder Falsch als Antwort genommen wird.

b) Es werden Daten wie die Teilnehmer die Aufgaben abgeschlossen haben benötigt.

c) Es wird angenommen, das jeder Teilnehmer jede Aufgabe genau einmal (egal, ob korrekt oder falsch) Absolviert hat.

d) Es wird angenommen, das die Aufgaben voneinander unabhängig sind.

Schritt 1. Die Daten werden in eine Matrix eingetragen. Als Zeilen werden die Studenten genommen, als Spalten die Aufgaben. Die jeweiligen Einträge der Matrix entsprechen dem Ergebnis (1 für Korrekt, 0 für Falsch) des einzelnen Teilnehmer zur Aufgabe. Die Einträge der Matrix (a_ij)i€I,j€J ergeben sich also durch : a_ij= Ergebnis von Teilnehmer i in Aufgabe j.

Schritt 2. Bilde einen Ergebnisvektor, in dem die einzelnen Zeilen Summiert werden. Für jeden Teilnehmer gibt es nun eine "Gesamtpunktzahl".

Schritt 3. Die Obige Matrix muss vorher noch aufbereitet werden. Alle Teilnehmer, die jede Aufgabe Korrekt beantwortet haben müssen entfernt werden. Das Selbe, wenn alles Falsch beantwortet worden ist. Ähnliches muss nun für jede Aufgabe gemacht werden. Aufgaben in denen alle Teilnehmer jeweils die Aufgabe Korrekt bearbeitet haben ( bzw. Falsch) müssen entfernt werden. M.a.W. es darf keine Zeile oder Spalte geben, in der nur die Selben Werte stehen.

Schritt 4. Bilde eine neue Matrix. Die Spalten werden wieder den Einzelnen Aufgaben entsprechen. Als Zeile wird diesmal die erreichte Gesamtpunktzahl gewählt. Der jeweilige Eintrag ist die Menge an Teilnehmern, die die Gesamtpunktzahl bei der Aufgabe erreicht haben. Die Einträge der Matrix (b_kj)k€K,j€J ergeben sich also durch b_kj= Anzahl von Teilnehmern, deren Gesamtpunktzahl Kategorie k ist und Aufgabe j Korrekt beantwortet haben.

Schritt 5. Bilde nun einen Vektor der die Summe der einzelnen Zeilen enthält. Das Selbe mit den Spalten.

Schritt 6. Nun kann man die Chancen berechnen, mit der ein Teilnehmer die Aufgabe X Korrekt beantwortet. Ebenso kann man die Chance erhalten, das ein Teilnehmer mit Gesamtpunktzahl X alle Aufgaben abschließt.

Schritt 7. Mit diesen beiden Vektoren kann man nun eine weitere Matrix bilden. Die Einträge geben wie W'keit an, mit dem ein Teilnehmer mit einer entsprechenden Gesamtpunktzahl die Aufgabe Korrekt Beantworten.

Schritt 8. Nun muss ein Ausgleichsproblem gelöst werden. Zu jedem Item-Response-Modell gibt es eine W'keitsfunktion. Die Funktionswerte dafür wurden durch die obigen sieben Schritte bestimmt. Es fehlen allerdings noch die entsprechenden Parameterwerte. Ggf. lassen sich einige Parameter bereits im vorhinein festlegen. Desweitern sollte man bei der Bearbeitung des Problems auf die Nebenbedingungen achten. Ein Teilnehmer mit mehr korrekt bearbeiteten Aufgaben als ein Anderer sollte entsprechend einen höheren Fähigkeitswert bekommen. Dies kann durch Straffunktionen erreicht werden. Ähnliches gilt für die Schwierigkeit der einzelnen Aufgaben. Je weniger Teilnehmer eine Aufgabe richtig Bearbeitet haben, umso höher sollte der Schwierigkeitswert der Aufgabe sein. Anmerkung: Gegebenenfalls wird die Bestimmung von Modellparameter und Fähigkeitswerten/Schwierigkeiten Separat bestimmt.

Schritt 9. Die erhaltenen Werte müssen noch eingepflegt werden.

Quelle: a) http://echo.edres.org:8080/irt/baker/chapter7.pdf Schritt 1-7

b) Carolin Strobl: Das Rasch-Modell ;Rainer Hampp Verlag; München und Mering 2012