Statistische Einstellungen (Jack2)

Administratormenü

Menü für die statistischen Einstellungen in JACK

Hier finden sich einige nützliche Tools, welche regelmäßig unter Berücksichtigung der studentischen Bearbeitungen, Informationen zu Aufgaben generiert. Diese Informationen werden einerseits den Studierenden angezeigt wie z.B. Aufgabeninformation und Schwierigkeitsgrad oder dienen der Qualitätsanalyse der Aufgaben wie z.B. Schwierigkeitsgrad und Ergebnis-Delta.

Auf der Weboberfläche sieht man die verfügbaren Tools und eine Eingabe für die Timer-Einstellungen. Bei dem Timer muss ein Intervall und eine Startuhrzeit angegeben werden. Derzeit sind die Intervalle "stündlich", "täglich" und "wöchentlich" verfügbar. Durch das Speichern der Einstellungen wird, wenn ein Tool aktiv ist, ein Timer gestartet, welcher je nach vorgegebenem Intervall zu den Stichzeiten die ausgewählten Tools anstößt. Nach der Generierung werden die neuen Werte gesichert. Alle generierten Werte sind sowohl in den Dateien "statisticalsettings.properties" und "ResultDelta.json", als auch im Ordner "LevelOfDifficulty" gesichert und werden beim Serverstart wieder ausgelesen. Die Dateien befinden sich im JBoss-Verzeichnis unter ".../server/default/conf".

Da sehr viele Daten abgefragt und verarbeitet werden ist es sinnvoll den Zeitpunkt so zu wählen, dass die Performance des laufenden Betriebes nicht gestört wird (beispielsweise in der Nacht).

Der Button "Ergebnis-Delta exportieren" schreibt die generierten Werte in ein Excel-Dokument. Sofern noch nie Werte generiert wurden, demnach keine json-Datei existiert, wird eine Fehlermeldung ausgegeben.

Der Vorteil der automatischen Generierung ist, dass die Werte nicht bei jedem Abruf neu generiert werden müssen, was teils sehr lange Wartezeiten verursacht, sondern die zuletzt generierten Werte ausgelesen werden. Ein weiterer Vorteil liegt darin, dass diese Werte aussagekräftiger sind als vom Lehrenden frei gewählte, da sie auf tatsächlichen Bearbeitungen von Studierenden basieren.

Verfügbare Tools

Aufgabeninfo generieren

Dieses Tool generiert möglichst motivierende Aussagen über die Aufgabenschwierigkeit, welche in der Kursansicht die Spalte Schwierigkeitsgrad ersetzen. Dabei werden die Bearbeitungen vorheriger Studierender herangezogen um Aussagen wie folgt zu generieren:

Aussagen	Code
"X von Y bisheriger Einreichungen waren richtig."	if X/Y >= 0.5 && Y>=40
"X von Y Studenten haben diese Aufgabe richtig gelöst."	else if X/Y >= 0.5 && Y>= 40
"Diese Aufgabe hat bisher X richtige Bearbeitungen."	else if X >= 40
"Diese Aufgabe lösen im Schnitt mehr als 80% der Studenten."	else if Schwierigkeitsgrad == 1
"Im Mittel lösen diese Aufgabe 4 von 5 Studenten."	else if Schwierigkeitsgrad == 2
"Im Mittel lösen diese Aufgabe 3 von 5 Studenten."	else if Schwierigkeitsgrad == 3
"Im Mittel lösen diese Aufgabe 2 von 5 Studenten."	else if Schwierigkeitsgrad == 4
"Im Mittel lösen diese Aufgabe 1 von 5 Studenten."	else if Schwierigkeitsgrad == 5

Es ist empfehlenswert hierfür den Schwierigkeitsgrad generieren zu lassen, da dieser bei nicht ausreichender Bearbeitungszahl für die Aussage herangezogen wird.

Schwierigkeitsgrad generieren

Dieses Tool generiert anhand der Bearbeitungen der Studierenden einen Schwierigkeitsgrad für die Aufgabe. Ab 20 studentischen Bearbeitungen werden jeweils die Endresultate der ersten Bearbeitung (Solution) zur Generierung herangezogen. In der Aufgabenbearbeitung ist ein generierter Wert durch den grauen Schriftzug "Generierter Schwierigkeitsgrad" gekennzeichnet.

Der Schwierigkeitsgrad spiegelt den Anteil der richtigen Bearbeitungen (Bearbeitungen mit voller Punktzahl) an allen berücksichtigten Bearbeitungen wieder. Anhand des Anteils findet dann eine Zuordnung zu den Zahlenwerten 1-5 statt. 1 ist eine sehr leichte und 5 eine sehr schwere Aufgabe. Die folgende Tabelle veranschaulicht die genaue Zuordnung.

Anteil	if<0.2	else if<0.4	else if<0.6	else if<0.8	else if<=1
Schwierigkeitsgrad	5	4	3	2	1

Bei einem Anteil größer 1 wird ein Fehler mit der Aufgaben-ID geloggt. Daraus ergeben sich gleichzeitig äquivalente Aussagen wie:

Aufgabe hat die Schwierigkeit 1 ⇔ Mehr als oder genau 80% der Studierenden haben diese Aufgabe in ihrer ersten Bearbeitung richtig gelöst.

Aufgabe hat die Schwierigkeit 5 ⇔ Weniger als 20% der Studierenden haben diese Aufgabe in ihrer ersten Bearbeitung richtig gelöst.

Ergebnis-Delta generieren

Das Ergebnis-Delta ist ein Indikator für die Qualität einer Aufgabe. Es kann Werte von -100 bis 100 annehmen, wobei mit größer werdender Studierendenzahl negative Werte immer unwahrscheinlicher werden. Generell ist ein hohes Ergebnis-Delta erstrebenswert. Der Wert spiegelt den durchschnittlichen Punktezuwachs zwischen erster und letzter Einreichung der Studierenden innerhalb einer Aufgabe wieder.

Beispiel: Wir haben 3 Studenten mit je mindestens zwei Einreichungen und eine einstufige Aufgabe

Studenten	Punktzahl erste Einreichung	Punktzahl letzter Einreichung	Punktedifferenz
Student 1	0	100	100
Student 2	100	100	0
Student 3	0	100	100

Wir erhalten in diesem Beispiel ein Stufendelta von 66,67, da die Aufgabe nur eine Stufe hat, ist es zugleich das Ergebnis-Delta der Aufgabe. Wenn die Aufgabe eine zweite Stufe mit ebenfalls 3 Datensätzen hätte würden beide Stufen zu gleichen Teilen in das Ergebnis-Delta einfließen. Wichtig ist hierbei noch zu wissen, dass die erste und letzte Einreichung nicht innerhalb einer Bearbeitung liegen müssen.

Daraus resultierend werden alle Bearbeitungen, Einreichungen, Stufen und Studenten der Aufgaben ausgelesen und sortiert. Letztendlich werden nur die Bearbeitungen der Studierenden berücksichtigt, welche mindestens zwei unterschiedliche Einreichungen aufweisen. Die Punktedifferenz jedes Studierenden wird für jede Stufe als durchschnitt erfasst. Die Stufendurchschnitte werden dann zum Ergebnis-Delta der Aufgabe gewichtet zusammengefasst. Nach der Generierung, welche ein paar Minuten in Anspruch nimmt, werden die Resultate in eine json-Datei geschrieben. Diese wird zwingend für den Excel-export benötigt. Sofern keine hinterlegt ist wird eine Fehlermeldung beim aktivieren des Exports ausgegeben.

Excel-Export

Es besteht die Möglichkeit alle generierten Ergebnis-Delta Werte in ein Excel Dokument schreiben zu lassen. Dazu müssen vorab die Werte generiert worden sein und die "ResultDelta.json" Datei vorhanden sein. In der Excel Datei werden Daten der Aufgaben als auch Stufen geschrieben.

Folgende Spalten sind enthalten:

• Exercise ID - Identifikationsnummer der Aufgabe
• Stage count - Anzahl der Stufen einer Aufgabe (nur in Aufgabenzeile)
• Stage ID - Identifikationsnummer der Stufe (nur in Stufenzeile)
• Result-Delta - Durchschnittliche Veränderung der Punktzahl von erster und letzter Einreichung
• Student count for Result-Delta - Anzahl der Berücksichtigten Studenten
• Student count all - Anzahl aller Studenten, welche Bearbeitungen erzeugt haben
• Timestamp - Zeitpunkt der Generierung
• Level of difficulty (generated) - Hinterlegter Schwierigkeitsgrad, sofern dieser generiert wurde
• First Result-Average - Durchschnittspunktzahl der ersten Einreichungen
• Feedback-Average - Durchschnittliche Anzahl der hinterlegten Feedback-Fälle (ohne das "andere"-Feedback)
• Anzahl möglicher Teilpunktzahlen - Durchschnittliche Anzahl möglicher Teilpunktzahlen. Bsp.: Wenn ein Feedback an einer Stelle 50 Punkte gibt, wied dies als 1 mögliche Teilpunktzahl erfasst.
• Übung/Leistung - Gibt an ob die Aufgabe als "Übung", "Leistung" oder etwas anderes getagt ist.
• Result-Delta (positive) - Nur die positiven Punktedifferenzen (nur für Stufen verfügbar)
• Student count (positive) - Anzahl der berücksichtigten Studierenden für das "Result-Delta (positive)" (nur für Stufen verfügbar)
• Result-Delta (negative) - Nur die negativen Punktedifferenzen (nur für Stufen verfügbar)
• Student count (negative) - Anzahl der berücksichtigten Studierenden für das "Result-Delta (negative)" (nur für Stufen verfügbar)
• Result-Delta (indifferent) - Hat immer den Wert 0
• Student count (indifferent) - Anzahl der berücksichtigten Studierenden für das "Result-Delta (indifferent)" (nur für Stufen verfügbar)

Links

Distraktoranalyse

McIndex-Variablen