Learning Analytics ist «das Messen, Sammeln, Analysieren und Auswerten von Daten über Lernende und ihren Kontext mit dem Ziel, das Lernen und die Lernumgebung zu verstehen und zu optimieren» (George Siemens, 2013: «Learning Analytics: The Emergence of a Discipline»). Learning Analytics soll das Verständnis für Lernprozesse deutlich verbessern und entsprechend zu besseren Lernergebnissen führen.
Im Herbstsemester 2022 durften Elham Müller und Marcel Hanselmann vom Team Bildungsinformatik einen Projektkurs zum Thema Learning Analytics im Studiengang Information Science durchführen. Dieser Blogbeitrag gibt die wichtigsten Erkenntnisse bezüglich des Einsatzes von Learning Analytics Methoden und Tools im Projektkurses wieder.
Insgesamt nahmen 12 Teil- und Vollzeitstudierende am Projektkurs teil, die in einzelnen Gruppen jeweils einen Learning Analytics Use Case für ein spezifisches Stakeholder-Zielpublikum (Studierende, Dozierende, Studienleitung, Politik) erarbeiteten. Um den ganzen Prozess des Learning Analytics zu verstehen, sollten sich die Gruppen anhand eines Datensatzes mit der Datenbereinigung, Datenanalyse und Datenvisualisierung aus Sicht der jeweiligen Stakeholder beschäftigen und die wichtigsten Ergebnisse am Ende des Projektkurses präsentieren. Die Studierenden befassten sich unter anderem mit einem Moodle-Datensatz, den das Blended Learning Center (BLC) anonymisiert zur Verfügung gestellt hatte. Der Datensatz beinhaltete die Moodle-Aktivitäten aller Studierenden des Studiengangs Information Science aus den letzten fünf Jahren sowie die Abschlussnoten der einzelnen Kurse und soweit vorhanden die Bachelornote der Studierenden.
Wie die Gruppen während der Analyse der Daten feststellen mussten, waren durch die Anonymisierung des Datensatzes der Informationsgehalt leider nicht ausreichend umfassend genug, um spannende Analysen vorzunehmen. So konnte zum Beispiel aufgrund der transformierter Zeitstempels nicht mehr herausgelesen werden, wann genau welche Aktivität auf Moodle stattgefunden hat. Somit konnten Aussagen wie «An welchen Tagen haben die Studierenden sich am meisten mit jenem Inhalt auseinandergesetzt?» nicht beantwortet werden. Weiter waren das Verlinken und die Analyse von Korrelationen von Noten zu Aktivitäten nur bei wenigen Einträgen möglich, da es bei vielen Einträgen zwar zu den Noten eine Studierenden-ID gab, aber ein entsprechender Identifikator bei den Moodle-Aktivitäten fehlte.
Trotz der Limitationen des Datensatzes gab es bei der Schlusspräsentation in Zürich einige interessante Aussagen für das anwesende Publikum:
- Es gibt für einzelne Fächer einen statistisch signifikanten Zusammenhang von Moodle-Aktivitäten zu den späteren Noten, jedoch hängt dieser Zusammenhang stark davon ab, wie der Kurs aufgebaut wurde. Insbesondere in Kursen, wo die Studierende viele interaktive Aufgaben auf Moodle zu lösen hatten, war eine positive Korrelation zu finden. In anderen Moodle-Kursen, wo es nur einzelne PDFs zum Herunterladen gab, konnte kein Zusammenhang zwischen den Aktivitäten und der Semesternote festgestellt werden.
- Es gibt einen immensen Unterschied zwischen den einzelnen Moodle-Kursen, was die Anzahl an Moodle Aktivitäten angeht. So hatte ein Fach, welches sich mit Digitalisieren befasste und der Unterricht viel Interaktion auf Moodle beinhaltete, etwa achtmal so viele Aktivitäten wie der zweitmeiste Kurs und etwa 40 mal mehr als zum Kurs, wo es die wenigsten Interkationen gab.
- Bezüglich der Art der Aktivität, zeigte sich, wie nicht anders zu erwarten, dass sich die meisten Aktivitäten (> 99%) auf das Ansehen von Moodle-Inhalten bezog. Dass Studierende selbst Inhalte erstellen (wie zum Beispiel einen Forenbeitrag eingeben), war in den Daten nur ganz selten zu sehen.
Eine Gruppe machte zusätzlich zur Datenanalyse auch eine Umfrage bei Dozierenden (24 von 50 angefragten Dozierenden haben die Umfrage ausgefüllt), um herauszufinden, wie deren Umgang mit Moodle aussieht und welche Bedürfnisse dazu geäussert werden:
- 70% der befragten Dozierenden verwenden Moodle mehr als einmal pro Woche, davon 20% sogar täglich;
- 41% fühlen sich bezüglich der Handhabung von Moodle kompetent, 20% schätzen sich sogar als Experten ein;
- Sehr nützlich würden die meisten der Dozierenden eine Übersicht auf Moodle finden (ca. 70 %), die aufzeigt, wie oft welches Schulmaterial von den Studierenden genutzt wird;
- Eine Empfehlung, wie Moodle übersichtlicher gestaltet werden könnte, würden 65% der Dozierenden sehr nützlich finden;
- Eher weniger gab es Bedarf an einer Darstellung auf Moodle, wie viel Zeit die Studierenden oder die Dozierenden selbst auf Moodle verbringen;
- Auch auf wenig Interesse stiess der Vorschlag, bei Semesterbeginn auf gefährdete Studierende aufmerksam gemacht zu werden.
Der Projektkurs Learning Analytics behandelte unter anderem auch noch die sehr wichtigen Themen wie Datenschutz und Ethik, und es fand eine rege Diskussion in der Klasse dazu statt. Generell deckten sich die Aussagen der Studierenden mit denen der beiden Dozierenden, dass im Kontext von Learning Analytics der Datenschutz schon bei der Planung und Konzeption von Learning Analytics-Methoden und -Tools zentral und mitgedacht sein muss. Ausserdem sollte die Hoheit der Daten immer bei den Studierenden liegen, schliesslich wird ein Hauptteil der Analysen mit Hilfe deren generierten Daten erstellt. Sie sollten demnach entscheiden können, was mit ihren Daten gemacht werden darf.
Die Dozierenden fanden den Projektkurs sehr lehrreich und bedanken sich hiermit nochmals einerseits bei der Studiengangsleitung, dass der Kurs durchgeführt werden konnte sowie beim Blended Learning Center und Martin Studer für das Bereitstellen und Anonymisieren des Moodle-Datensatzes. Aber vor allem gebührt ein grosses Lob den Studierenden des Projektkurses für deren Bereitschaft, sich auf das Experiment Learning Analytics einzulassen und durch aktive Teilnahme am Unterricht und in den Gruppenarbeiten den Kurs entscheidend zu bereichern.
Im Herbst 2023 ist eine nochmalige Durchführung des Projektkurses geplant. Anhand des Feedbacks der Studierenden (Moodle Datensatz für Analysen zu wenig aussagekräftig, mehr Inhalte zu den Grundlagen der Datenanalyse, Aufteilung in Stakeholdergruppen gab ähnliche Resultate) soll der Kurs noch mehr auf deren Bedürfnisse angepasst und optimiert werden. Ausserdem sind bei der Hochschulleitung und im Blended Learning Center Umsetzungen in Abklärung, wie Learning Analytics immer mehr auch in die Fachhochschule integriert werden kann.
Es bleibt spannend zu sehen, wo die Reise noch hingehen wird.
Marcel Hanselmann ist Informations- und Dokumentationsspezialist und Elham Müller ist Wissenschaftliche Projektleiterin am Schweizerischen Institut für Informationswissenschaft (SII) der Fachhochschule Graubünden.