Die Qualität von Texten Jugendlicher im diachronen und digitalen Wandel untersuchen

Pilotstudie zum Ludwigsburger Aufsatzkorpus 2.0 („LuKo 2.0“)

Abstract

In einer Pilotstudie wurde untersucht, wie sich die Textproduktionsleistungen von Schüler/-innen achter Klassen beim Schreiben zu einem Bildimpuls zwischen 1998 und 2023 verändert haben. Ferner wurde der Einfluss des Schreibmediums (handschriftlich vs. digital) und die Eignung von KI zur Textqualitätsbewertung überprüft. Die Ergebnisse, die sich ausschließlich auf narrative Texte beziehen, zeigen, dass handschriftliche Texte aus 2023 im Vergleich zu 1998 schlechter bewertet wurden, während digitale Texte qualitativ vergleichbar und sogar länger waren. Die Studie legt nahe, dass eine Verschlechterung der Schreibfähigkeiten bei narrativen Texten aus diachroner Perspektive nicht pauschal zutrifft, vielmehr scheinen Schreibfähigkeiten in Abhängigkeit zum Schreibmedium zu stehen. Limitierend sind die geringe Stichprobengröße und mögliche bildungsbezogene Unterschiede. In der geplanten Hauptstudie sind diese Faktoren zu kontrollieren. Der Einbezug von ChatGPT-Textqualitätsurteilen, ergänzend zu den Urteilen menschlicher Raterinnen, führte zu vergleichbar guten Reliabilitätsschätzungen, wenngleich die paarweisen Übereinstimmungen zwischen menschlichen Raterinnen höher ausfielen als zwischen Mensch und KI.