Automatisierte Fragebogenauswertung mit Generativer KI

Die Herausforderung

Babylotse Frankfurt legt großen Wert auf Familienfreundlichkeit. Um fundierte Informationen über den aktuellen Stand und das Verbesserungspotenzial in dieser Hinsicht zu sammeln, wurde eine Umfrage durchgeführt. Diese Umfrage fand sowohl online als auch in Papierform bei ausgewählten Veranstaltungen statt. Aufgrund der offenen Fragen sind die gesammelten Daten teilweise unstrukturiert und enthalten auch Spam-Antworten. Daher bittet Babylotse Frankfurt um Unterstützung bei der Auswertung der Daten. Ziel ist es, die wichtigsten Stärken („Tops“) und Schwächen („Flops“) zu identifizieren und gegebenenfalls nach Stadtteilen aufzuschlüsseln. Auf diese Weise möchte Babylotse den politischen Vertretern eine klare und prägnante Botschaft vermitteln, um die Familienfreundlichkeit in Frankfurt zu verbessern.

Datenbasis und Struktur

Alle Umfrageantworten wurden in eine gemeinsame Excel-Tabelle übertragen. Die Umfrage bestand im Wesentlichen aus drei Fragen: „Ich lebe in diesem Stadtteil“, „Was mir daran gefällt, in Frankfurt ein Baby zu bekommen“ und „Was mir daran nicht gefällt, in Frankfurt ein Baby zu bekommen“. Es gab keine Vorgaben für die Beantwortung der Fragen, sodass die Antworten in Länge, Struktur und Stil sehr unterschiedlich ausfallen. Insgesamt wurden etwa 1.000 Antworten gesammelt, von denen etwa 10 % Spam waren.

Der Lösungsansatz

Dieses Projekt wurde vollständig mit generativer KI, insbesondere mit großen Sprachmodellen (LLMs), umgesetzt. Zunächst wurde das Sprachmodell verwendet, um allgemeine Kategorien aus den Umfrageantworten zu identifizieren. In einem zweiten Schritt wurden diese Kategorien verfeinert und überarbeitet. Die endgültigen Kategorien wurden in Zusammenarbeit mit Babylotse Frankfurt festgelegt und anschließend zur systematischen Klassifizierung aller Umfrageantworten verwendet. Bei der Klassifizierung ordnete das Sprachmodell jede Antwort einer oder mehreren Kategorien zu. Wenn keine ausreichenden Zuordnungen vorgenommen werden konnten, wurde die Antwort als „Unbekannt” gekennzeichnet.

Im letzten Schritt wurden die klassifizierten Umfrageantworten analysiert, um die am häufigsten genannten Punkte sowohl insgesamt als auch auf regionaler Ebene zu ermitteln. Auch hier wurde das Sprachmodell verwendet, um zentrale Themen aus den drei häufigsten Kategorien zu extrahieren. Diese Analyse machte die Kategorien greifbarer und lieferte die Grundlage für konkrete Handlungsfelder. Das gesamte Projekt wurde mit der Programmiersprache Python und einer API für den Zugriff auf große Sprachmodelle (OpenAI) umgesetzt. Die Ergebnisse wurden aggregiert und in einem Abschlussbericht für Babylotse Frankfurt zusammengefasst.

Die Wirkung

Die Auswertung half Babylotse Frankfurt erheblich dabei, die Ergebnisse rechtzeitig für das Treffen mit den kommunalen Entscheidungsträgern bereitzustellen. Durch die drastische Reduzierung manueller Auswertungsprozesse und die Erreichung eines hohen Automatisierungsgrades konnten die verfügbaren Ressourcen intensiver auf die Interpretation der identifizierten Kategorien und die Vorbereitung der Präsentation konzentriert werden.

Das Treffen mit den kommunalen Entscheidungsträgern war ein klarer Erfolg. Die Ergebnisse wurden klar und verständlich präsentiert und eindeutige Handlungsfelder identifiziert. Die Analyse ergab, dass die Umfrageteilnehmerinnen und -teilnehmer besonders negative Erfahrungen in den Bereichen Kinderbetreuung, Verkehr, Barrierefreiheit und Familienfreundlichkeit im öffentlichen Raum gemacht haben und sich umfassende Veränderungen wünschen. Diese Ergebnisse waren für die Entscheidungsträgerinnen und Entscheidungsträger besonders überraschend, da bereits kürzlich Maßnahmen zur Verbesserung der Kinderbetreuung umgesetzt worden waren. Es scheint, dass diese Maßnahmen die Umfrageteilnehmerinnen und -teilnehmer noch nicht wirksam erreicht haben.

Ursprünglich war die Umfrage als einmalige Maßnahme geplant. Dank des erfolgreichen Einsatzes generativer KI und großer Sprachmodelle sowie der Zusammenarbeit mit CorrelAid e.V. strebt Babylotse Frankfurt – vorbehaltlich der Bewilligung finanzieller Mittel – an, diese Umfrage zu wiederholen und möglicherweise zu einer permanenten Beobachtung auszubauen. CorrelAid e.V. hat bereits wertvolle Vorschläge unterbreitet und nächste Schritte sowie mögliche Anpassungen des Fragebogens skizziert, um dieses Ziel zu erreichen.