Automatisierung von Berichten aus Evaluationsdaten

Herausforderung

Die zentrale Herausforderung für coach@school bestand in der bislang manuellen Auswertung und Berichterstellung der im Rahmen ihrer Programme erhobenen Daten. Dazu gehörten Lesetagebücher, jährliche Umfragen mit Lehrkräften sowie Feedback zu Fortbildungen. Die Daten wurden über SurveyMonkey erhoben und als CSV-Dateien heruntergeladen. Pro Jahr lagen etwa 250 Rückmeldungen von Lehrkräften sowie rund 6.000 Datensätze zu Lesetagebüchern vor – die Auswertung und Visualisierung erfolgte vollständig manuell in Excel, während die Berichte in Word zusammengeführt wurden.
Diese manuelle Verarbeitung erwies sich als zeitaufwendig und fehleranfällig: Die Erstellung eines einzigen Berichts band erhebliche personelle Ressourcen und verzögerte die Rückmeldung an Förderer und Stakeholder spürbar. Insbesondere die Erstellung von Berichten mit unterschiedlichen regionalen Schwerpunkten gestaltete sich aufwendig, da Daten aus verschiedenen Quellen manuell zusammengeführt, Auswertungen wiederholt von Grund auf neu erstellt und Grafiken jedes Mal neu angelegt werden mussten.

Das Projekt

Ziel des Projekts war es, die bestehenden, stark manuell geprägten Prozesse zu automatisieren und die Ergebnisse in Form eines nachhaltigen Reportings aufzubereiten. Dieses sollte langfristig von den Mitarbeiter*innen von coach@school eigenständig genutzt werden können, um schneller, datengestützt und zielgruppengerecht mit Förderern und Partnern zu kommunizieren und gleichzeitig interne Ressourcen zu entlasten.
Im Projekt wurden zwei Arten von Datensätzen analysiert: Zum einen Befragungen von Lehrkräften, die das Bücherkoffer-Programm nutzen und dazu Feedback geben, und zum anderen Auswertungen von Lesetagebüchern der Schüler*innen, beispielsweise zur Beliebtheit bestimmter Bücher oder zur Nutzungshäufigkeit der Bücherkoffer. Die Daten stammten aus SurveyMonkey-Umfragen und wurden als CSV-Dateien zur Verfügung gestellt.
Die zentralen Aktivitäten im Projekt umfassten:

• Die Datenbereinigung der exportierten CSV-Dateien im Sinne des Tidy-Data-Ansatzes (Daten sind „tidy", wenn jede Variable eine eigene Spalte, jede Beobachtung eine eigene Zeile und jeder Wert eine eigene Zelle bildet)
• die Erstellung eines standardisierten Reportings auf Bundesebene sowie eines weiteren Reportings mit regionalem Schwerpunkt (z. B. auf Bundeslandebene), das als Vorlage für weitere Berichte dient
• die Automatisierung des Reportings mittels RMarkdown bzw. Quarto
• eine ausführliche Dokumentation sowie die Einweisung des Teams von coach@school, sodass dieses die Berichte eigenständig anpassen und weiterverwenden kann
• die grafische Überarbeitung und teilweise Erweiterung der Datenvisualisierungen

Optional wurde zudem ein begleitendes Tutoring angeboten, um den Mitarbeitenden Grundkenntnisse in R zu vermitteln und die eigenständige Weiterarbeit nach Projektabschluss zu erleichtern.

Impact

Der Output des Projekts bestand in einem automatisierten Reporting-System, das die Evaluationsergebnisse des Bücherkoffer-Programms zusammenfasst, visuell ansprechend aufbereitet und flexibel für verschiedene Regionen erstellt werden kann. Das Output-Format waren einerseits Word-Dokumente, welche die Visualisierungen geordnet nach Kapiteln der Befragung enthielten. Andererseits besteht auch die Option, ein shiny-basiertes Quarto-Dokument zu öffnen, welches eine interaktive Exploration der Fragen und Visualisierungen beinhaltet. Ein Download der Visualisierungen ist ebenfalls möglich. Das System ermöglicht es coach@school, Fördergebende gezielt und überzeugend über ihre Arbeit zu informieren.
Darüber hinaus wurden durch die umfassende Dokumentation und Schulung die Mitarbeitenden von coach@school in die Lage versetzt, die Reports eigenständig auszuführen und auf zukünftige Befragungen anzuwenden.
Die Projektergebnisse tragen unmittelbar dazu bei, wiederkehrende Arbeitsabläufe effizienter zu gestalten und interne Ressourcen freizusetzen. Dadurch kann der Fokus stärker auf die Arbeit mit Kindern und Jugendlichen gelegt werden. Gleichzeitig ermöglichen die verbesserten Auswertungen ein tieferes Verständnis der Wirkung der Programme sowie der Bedürfnisse der Zielgruppen.