Knowledge checked!
Die Covid-19 Pandemie hat in vielen Bereichen des universitären Ablaufs eine signifikante Änderung hervorgebracht. Universitäten wurden praktisch über Nacht dazu gezwungen, den gesamten Betrieb auf ein Online-Format umzustellen, obwohl in manchen Bereichen noch kaum auf Erfahrungen zurückgegriffen werden konnte. Ein Bereich mit den wohl größten Herausforderungen stellt dabei schriftliche Online-Prüfungen dar.
Aufgrund einer Vielzahl an unterschiedlichen Prüfungsformen, unterschiedlichen Zielsetzungen einzelner Lehrveranstaltungen sowie der Kurzfristigkeit der Umstellung gab es für die Lehrenden auch so gut wie keine Chance, das Prüfungsformat gänzlich auf Open Book zu stellen. Speziell in technischen Disziplinen liegt der Fokus meist auch im Prüfen von Faktenwissen.
An der technischen Universität Graz gab es bereits vor dem rasanten Einmarsch der COVID 19 Pandemie Überlegungen und erste Pilotprojekte zur Abhaltung von schriftlichen online Prüfungen. Seit Beginn 2020 wird KnowledgeCheckR zur Abwicklung von schriftlichen Online-Prüfungen eingesetzt. In einem Rekordtempo wurde die Software flächendeckend ausgerollt und in Zusammenarbeit mit dem Zentralen Informatikdienst, der Hochschülerschaft sowie der Datenschutz Koordination alle organisatorischen und rechtlichen Rahmenbedingungen strikt umgesetzt.
KnowledgeCheckR ist ein auf künstlicher Intelligenz basierendes System zur Erzeugung, Aufrechterhaltung, Verteilung und Überprüfung von Wissen.
KnowledgeCheckR kann eine Prüfung vollständig automatisiert beaufsichtigen – auch bei vielen Teilnehmenden. Die vollständig automatisierte Prüfungsaufsicht umfasst mehrere Punkte und liefert dabei LV-Leiter*innen wertvolle Information – z.B.: wenn Teilnehmende während der Prüfung andere Programme starten, wenn komplexe Fragestellungen wesentlich schneller beantwortet werden als einfachere Fragen oder wenn die zufällig aufgezeichneten Fotos der Prüfungsteilnehmenden Anomalien aufweisen. Zusätzlich ermöglicht KnowledgeCheckR auch eine Kommunikation zwischen Lehrenden und Teilnehmenden, sodass der gesamte Prüfungsablauf damit abgewickelt werden kann. Im Anschluss an eine Prüfung können auf Wunsch auch direkt Zertifikate / Zeugnisse ausgestellt werden. Auch Verbindungsabbrüche des Internets der Studierenden stellen kein Problem dar, da ab dem Moment wo die Prüfung geöffnet und die Fragen der Prüfung eingesehen werden können, die gesamte Prüfung offline absolviert werden und nachträglich abgegeben werden kann. Dadurch wird der Modus dem einer Prüfung im Hörsaal gleichgestellt.
Sofern es zu Auffälligkeiten während einer Prüfung gekommen ist, werden die Studierenden in der Regel zu einem Plausibilisierungsgespräch gebeten. Das Plausibilisierungsgespräch ist dabei nicht als weitere Prüfung des Wissens zu verstehen, sondern dient lediglich dem Zweck der Feststellung der eigenständigen Erbringung der Prüfungsleistung.
KnowledgeCheckR kann nicht nur für Prüfungen eingesetzt werden: Im Übungsmodus festigen Teilnehmende ihr Wissen, indem sie personalisiert gereihte Fragen beantworten und individuelles Feedback zu ihren Antworten erhalten. Ein spielerischer Ansatz – Stichwort „Gamification“ – fördert gezielt die Motivation und regt die Teilnehmenden dazu an, sich über einen längeren Zeitraum (z.B.: gesamte Kursdauer) hinweg kontinuierlich mit den relevanten Inhalten zu beschäftigen. Außerdem können Teilnehmende ihren eigenen Wissensstand auf Wunsch mit dem ihrer Kolleg*innen vergleichen. Darüber hinaus helfen „Challenges“ (inkl. optionalem Ranking der Besten) bei der Festigung des relevanten Wissens.
Die größte Ungewissheit im Umgang mit schriftlichen Online-Prüfungen stellt die Notwendigkeit dar, eine alternative Prüfung für jede automatisiert beaufsichtigte Prüfung anbieten zu müssen. Die alternative Prüfung kann dabei auch online stattfinden - beispielsweise eine mündliche WebEx / Big Blue Button Prüfung bzw. dieselbe Prüfung in KnowledgeCheckR, jedoch in einem Hörsaal an der Universität und von Personen beaufsichtigt. Dadurch ergeben sich organisatorische Unsicherheiten für die Lehrenden: Die Prüfungsräume sind in der Regel lange im Vorfeld zu reservieren und schlussendlich unter Umständen viel zu groß bzw. überhaupt nicht notwendig. Bei der Organisation im Vorfeld lässt sich ohne Erfahrungsberichte nur schwer einschätzen, wie viele Personen die alternative Prüfungsform tatsächlich in Anspruch nehmen werden. Zusätzlich ist die frühzeitige Organisation und Ankündigung des Plausibilisierungsgesprächs (beides zu Semesterbeginn notwendig) eine weitere signifikante organisatorische Hürde / Unsicherheit sowohl für Lehrende als auch Studierende.
Nach nun mehr als 2 Jahren Pandemie begleiteter Lehre kann an diesem Punkt aus unserer Erfahrung „Entwarnung“ gegeben werden. Im ersten Jahr entschieden sich lediglich ca. 10% der Studierenden für die alternative Prüfungsform - im Sommersemester 2022 waren es nur mehr ca 5%. Der Komfort der schriftlichen Online-Prüfungen von zu Hause hat bei der Mehrheit der Studierenden das Interesse geweckt. Ein wesentlicher Vorteil auch für Erasmus-Studierende, die nun weit mehr Flexibilität in der ohnehin sehr stressigen Zeit eines Semester Abschlusses genießen dürfen.
Um dieses Prüfungsformat und die gewonnene Flexibilität sowohl der Lehrenden als auch der Studierenden in Zukunft weiter ausbauen zu können, bedarf es einer sinnvollen Anpassung der rechtlichen und organisatorischen Rahmenbedingungen. Ohne diese Anpassung schreckt die Unsicherheit in der Organisation und Abwicklung viele Lehrende ab auf dieses Format zurückzugreifen.