Masterarbeit über Evidenzbasierte
Bewertung von Behauptungen:
Ein NLP-Ansatz auf Basis der
Quellenglaubwürdigkeit
Masterarbeit über Evidenzbasierte
Bewertung von Behauptungen:
Ein NLP-Ansatz auf Basis der
Quellenglaubwürdigkeit
Jana Burns-Balog, MSc studierte Software Engineering im Master und schrieb ihre Masterarbeit mit dem Titel „Evidence-Based Claim Assessment: A Source-Credibility-Based NLP Approach“. Betreut wurde sie dabei von DI (FH) Stephan Leitner seitens der Firma und von FH-Prof. PD DI Dr. Michael Affenzeller seitens der FH.
Jana: In meiner Masterarbeit geht es um die automatisierte Überprüfung von Behauptungen, also um die Frage, wie KI beim Erkennen von Falschinformationen unterstützen kann. Fehlinformationen verbreiten sich online oft schneller, als sie manuell geprüft werden können. Bestehende Faktencheck-Systeme betrachten die Suche nach Belegen, die Einordnung dieser Belege und die Vertrauenswürdigkeit der Quellen meistens getrennt voneinander. Außerdem legen sie selten offen, wie sie zu ihrem Ergebnis kommen.
Ich habe deshalb einen Prototyp entwickelt, der diese drei Schritte in einer gemeinsamen Pipeline zusammenführt, und zwar speziell für deutschsprachige österreichische Online-Nachrichten. Gibt man eine Behauptung ein, sucht das System zuerst mit klassischen Information-Retrieval-Verfahren (TF-IDF, BM25 und einer clusterbasierten Suche) die relevantesten Artikel aus einem Nachrichtenarchiv. Danach bestimmt ein Ensemble aus Sprachmodellen für jeden Artikel, ob er die Behauptung stützt, ihr widerspricht oder neutral bleibt. Im letzten Schritt werden diese Einschätzungen zu einem Gesamturteil zusammengefasst. Dabei fließt jeder Artikel entsprechend der Glaubwürdigkeit seiner Quelle ein. Diese Glaubwürdigkeit berechnet ein heuristisches Bewertungsmodell, das ich in der Arbeit entwickelt habe. Es berücksichtigt Reputation, Transparenz, inhaltliche Qualität und externe Bewertungen.
Wichtig war mir, dass das System nicht nur „wahr“ oder „falsch“ ausgibt. Es liefert eine nachvollziehbare Entscheidungsgrundlage: welche Artikel gefunden wurden, wie jeder einzelne eingeschätzt wurde und wie vertrauenswürdig die jeweilige Quelle ist. So können Menschen das Ergebnis prüfen und bei Bedarf berichtigen. Evaluiert wurde der Prototyp mit knapp 2.000 Artikeln aus zwei österreichischen und fünf synthetischen Nachrichtenquellen. Die Suche fand fast ausschließlich relevante Artikel, und die Haltungserkennung lag bei rund 79 % Genauigkeit.
Jana: In der Praxis steht Faktenprüfung vor einem Skalierungsproblem. Redaktionen und Faktencheck-Organisationen können nur einen Bruchteil der Behauptungen prüfen, die täglich in sozialen Medien geteilt werden. Viele Mediennutzer*innen haben weder die Zeit noch das Fachwissen, Aussagen selbst zu verifizieren. Ein Werkzeug, das passende Belege vorsortiert und transparent aufbereitet, kann hier viel Arbeit abnehmen, etwa für Journalist*innen, Faktenprüfer*innen oder Organisationen, die Informationen schnell einordnen müssen. Für Österreich kommt hinzu, dass die meisten Faktencheck-Systeme und Datensätze auf englischsprachige Medien ausgerichtet sind. Sie lassen sich weder sprachlich noch inhaltlich einfach übertragen.
Genau daraus ergaben sich auch die größten Herausforderungen. Es gab keinen fertigen Datensatz mit österreichischen Nachrichtenartikeln und passenden Behauptungen. Ich musste das Korpus daher selbst aufbauen: mit einem eigenen Web-Scraper, der mit wechselnden Seitenstrukturen, Paywalls sowie rechtlichen und ethischen Vorgaben umgehen musste, ergänzt durch synthetisch generierte Artikel und manuell annotierte Daten. Eine weitere Schwierigkeit war, dass sich Glaubwürdigkeit nicht objektiv messen lässt. Das Bewertungsmodell musste deshalb nachvollziehbar und begründbar sein, ohne vorzugeben, die „Wahrheit“ zu kennen. Auch die Haltungserkennung ist anspruchsvoller, als es klingt. Artikel, die ein Thema nur beschreiben, ohne Position zu beziehen, sind für Sprachmodelle schwer von stützenden oder widersprechenden Texten zu unterscheiden. Und da es kein vergleichbares System für diese Kombination gab, konnte ich die Gesamtpipeline nicht einfach an einem bestehenden Benchmark messen. Ich musste jede Komponente für sich evaluieren.
DI(FH) Stephan Leitner: Falschmeldungen und unbelegte Behauptungen verbreiten sich heute in kürzester Zeit über Nachrichtenportale und soziale Medien. Besonders deutlich zeigt sich das im politischen Bereich: Irreführende Aussagen, gezielte Desinformationskampagnen oder aus dem Zusammenhang gerissene Zahlen können die öffentliche Meinung prägen und sogar Wahlen beeinflussen. Faktencheck-Redaktionen versuchen, solche Behauptungen zu überprüfen, kommen bei der Menge an Inhalten aber kaum hinterher. Dieselben Mechanismen wirken zunehmend auch in der Wirtschaft, zumal politische Debatten etwa über Energiepreise, Zölle oder neue Regulierungen Unternehmen oft unmittelbar betreffen. Ein Gerücht über Lieferprobleme, Produktmängel oder eine angebliche Übernahme kann binnen Stunden den Ruf einer Marke oder den Aktienkurs beeinflussen. Für PR- und Kommunikationsabteilungen ist es daher wichtig, rasch zu erkennen, welche Aussagen über das eigene Unternehmen im Umlauf sind und wie gut sie belegt sind.
Die Herausforderung liegt in der schieren Menge an Informationen, die täglich veröffentlicht wird und manuell nicht mehr zu bewältigen ist. Ein automatisiertes System muss zunächst aus Tausenden Artikeln jene finden, die sich tatsächlich auf eine bestimmte Behauptung beziehen. Danach muss es erkennen, ob ein Text diese Behauptung stützt, ihr widerspricht oder sie nur neutral erwähnt, was selbst für moderne Sprachmodelle schwierig ist. Hinzu kommt, dass nicht jede Quelle gleich vertrauenswürdig ist, sich Glaubwürdigkeit aber nicht direkt messen lässt. Für den praktischen Einsatz ist außerdem entscheidend, dass das System seine Bewertung nachvollziehbar begründet. Nur so können Fachleute im Unternehmen das Ergebnis prüfen, ihm vertrauen und es bei Bedarf korrigieren, statt sich blind auf eine undurchsichtige Entscheidung verlassen zu müssen.
DI(FH) Stephan Leitner: Im Rahmen ihrer Masterarbeit hat Frau Burns-Balog gezeigt, dass sie ein komplexes und hochaktuelles Problemfeld eigenständig strukturieren und in ein funktionierendes Gesamtsystem überführen kann. Anstatt sich auf einen einzelnen Teilaspekt der automatisierten Faktenprüfung zu beschränken, hat sie Informationssuche, Standpunkterkennung und Bewertung der Quellenglaubwürdigkeit in einer modularen Pipeline zusammengeführt. Dafür war ein breites Methodenwissen nötig, das von klassischen Verfahren des Information Retrieval über Clustering bis hin zum gezielten Einsatz großer Sprachmodelle reicht. Besonders hervorzuheben ist, dass sie ein schwer greifbares Konzept wie die Glaubwürdigkeit einer Quelle in nachvollziehbare, messbare Kriterien übersetzt hat und das daraus entstehende Ranking gut mit der erwarteten Einschätzung der österreichischen Medienlandschaft übereinstimmt.
Jana: Ich arbeite bereits seit Beginn meines Master-Studiums bei der RISC Software GmbH. Als die Masterarbeit näher rückte, war für mich klar, dass ich ein Thema im Bereich Natural Language Processing bearbeiten möchte, am liebsten mit Bezug zu einem gesellschaftlich relevanten Problem. Bei der Themenfindung hat mich Stephan Leitner unterstützt, und so ist die Idee entstanden, mich mit automatisiertem Faktencheck für österreichische Nachrichten zu beschäftigen. Firmenseitig hat Stephan Leitner die organisatorische Betreuung übernommen und mich dabei unterstützt, die Arbeit neben meiner Tätigkeit im Unternehmen umzusetzen. Inhaltlich habe ich sehr selbstständig gearbeitet. Das war zwar herausfordernd, weil ich vom Aufbau des Datenkorpus über die Retrieval- und Stance-Detection-Komponenten bis zur Evaluierung alle Entscheidungen selbst treffen und begründen musste. Gleichzeitig habe ich genau dadurch sehr viel gelernt. Ich hatte den Freiraum, das System so zu gestalten, wie ich es für richtig hielt, und habe dadurch viel dazugelernt.
Jana: Ich möchte weiter im Bereich NLP und Data Science arbeiten, und zwar vor allem an der Frage, wie KI-Systeme ihre Entscheidungen nachvollziehbar machen können. Schon in der Masterarbeit war Transparenz ein zentrales Thema. Das System sollte nicht nur ein Urteil liefern, sondern offenlegen, auf welchen Belegen und Quellen es beruht, damit Menschen es prüfen und korrigieren können. Dabei habe ich auch gesehen, wie schwierig gute Erklärungen sind: Sie müssen verständlich sein, den tatsächlichen Entscheidungsweg des Modells widerspiegeln und dürfen nicht zu blindem Vertrauen verleiten.
Genau daran möchte ich in einer Dissertation anknüpfen. Geplant ist ein Dissertationsvorhaben zu Explainable AI im juristischen Bereich. Gerade im Recht, wo Entscheidungen weitreichende Folgen haben und begründet werden müssen, reicht es nicht, dass ein Modell ein Ergebnis liefert. Man muss verstehen können, warum es zu diesem Ergebnis kommt. Diese Verbindung aus Sprachverarbeitung, Nachvollziehbarkeit und verantwortungsvollem Einsatz von KI möchte ich in den nächsten Jahren weiter vertiefen.
Wir haben deine Unterlagen erhalten und sehen uns deine Bewerbung in Ruhe an.
Sobald wir eine Rückmeldung für dich haben oder noch etwas benötigen, melden wir uns bei dir.
Danke für dein Interesse – wir freuen uns darauf, mehr über dich zu erfahren!
In der Zwischenzeit kannst du dir die Wartezeit gerne versüßen und noch ein bisschen mehr über uns erfahren 🙂
