Letzten Montag (8. September 2025) hat Eva Büthe-Scheider (FAU Erlangen-Nürnberg) bei dhmuc einen Vortrag über Ihre Erfahrungen als Nutzerin und Fachwissenschaftlerin mit lemmatisierten Korpora des Deutschen gehalten. Wer der Vortrag verpasst hat oder noch einmal nachlesen will, findet hier die Präsentation:
Die automatische Lemmatisierung von Textkorpora ist eine Schlüsseltechnologie (in spe) der digitalen Wörterbucharbeit. Von der Zuverlässigkeit digitaler Lemmatisierer hängt auch ab, ob und inwieweit digitale Sprachinformationssysteme, die wesentlich auf der automatischen Auswertung von Korpora beruht, überhaupt in der Lage sind, auch die Funktion klassischer (handgemachter) Wörterbücher zu übernehmen.
Im Vortrag ging es um die (automatische) Lemmatisierung in den Historischen Korpora des DWDS und weiteren Korpora. Die sich daraus ergebenden (unterschiedlichen) Konsequenzen für die Auswertung der Daten mit den bereitgestellten Auswertungstools wurden diskutiert. Die Diskussion berührte auch den Lemmabegriff selbst.
Es versteht sich, dass mit jeder weiteren technischen Entwicklung die Karten neu gemischt werden, und dass die jetzt noch ernüchternden Ergebnisse vielleicht in Zukunft vielleicht erfreulicheren weichen.
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Eckhart Arnold (15. September 2025). Zum Stand der (automatischen) Lemmatisierung historischer Korpora des Deutschen. dhmuc. Abgerufen am 6. März 2026 von https://doi.org/10.58079/14ny6
Führen wir die Diskussion doch gerne öffentlich weiter. Meine Kollegen hier am Zentrum für digitale Lexikographie in Berlin oder die ZDL-Kollegen in Göttingen vom Projekt “Wortgeschichte digital”, die alle seit mindestens 8 Jahren erfolgreich mit den historischen Korpora für lexikographische Zwecke arbeiten, könnten dann ggf. den Nutzen bestätigen. Auch die Kollegen in Braunschweig, Würzburg und Mannheim sind sicherlich daran interessiert, zu erfahren, von welcher geringen Qualität ihre Arbeit ist.
Das können wir gerne mache! Was hältst Du davon, wenn wir das im Herbst beim Treffen der AG eHumanities tun. Das Thema “Daten-Perspektiven” eignet sich sicherlich gut dazu, Fragen der Datenqualität zu erörtern. Wir könnten anstelle eines Vortrags ein Streitgespräch oder eine Panel-Diskussion vorschlagen z.B. “Wann ist gut genug gut genug? Kriterien für die Veröffentlichungsreife von Forschungsdaten” und uns dazu eine Liste von Fragen und Thesen überlegene, über die wir diskutieren oder zu denen wir jeweils “Lighening”-talks aus unterschiedlicher Perspektive abgeben.
Fragen könnten sein “Woran bemisst sich Datenqualität? Fehlerfreiheit (absolute Datenqualität) oder Brauchbarkeit für bestimmte Anwendungsfälle (relative Datenqualität)?” “Was sind valide Kriterien für den wissenschaftlichen Wert eines Datenangebots? Anzahl der Kooperationen!?” “Wie geht man mit Nutzer-Erwartungen um? Ist man als Datengeber überhaupt verantwortlich dafür, Nutzererwartungen zu erfüllen?” Ich schick Dir nachher mal ‘ne Liste von möglichen Thesen und Fragen, und Du kannst es Dir ja überlegen (Deadline wäre da der 2. Oktober, also nächsten Freitag).
Eine 45-seitige Kritik statistischer Annotationsverfahren, basierend auf Einzelfallbeobachtungen und Mutmaßungen über das Ausmaß, mit dem Fazit, dass vielleicht KI helfen könnte – wo ist da der Witz?
Ich denke, der Vortrag zeigt anhand einer Stichprobe, dass die Qualität der Lemmatisierung beim DTA so schlecht ist, dass sie für einschlägige Anwendungsfälle nicht brauchbar ist. Das ist für sich genommen schon mal ein wichtiges Resultat. Es handelt sich zwar nur um ein einzelnes Beispiel, aber angesichts der Schwächen, die dabei zu Tage getreten sind, wäre es sehr verwunderlich, wenn Stichproben mit anderen Wörtern wesentlich besser ausfallen würden.
Mein Eindruck ist, dass eine Qualitätskontrolle vor der Veröffentlichung der Daten möglicherweise gar nicht stattgefunden hat oder dass die Qualitätskontrolle, wenn sie stattgefunden hat, ihrerseits unzureichend war.
Wenn meine Schlussfolgerung bzgl. der niedrigen Qualität der Lemmatisierung stimmt, dann wäre es besser gewesen, die Daten nicht in dieser Form und an diesem Ort: https://www.deutschestextarchiv.de/download#tcf, d.h. in einem Rahmen zu veröffentlichen, wo die Anwenderinnen und Anwender eine gewisse Zuverlässigkeit erwarten. Mindestens hätte man die TCF-Daten als experimentell kennzeichnen müssen. Grundsätzlich halte ich die Veröffentlichung auch negativer Versuchsergebnisse, aber für wichtig und wertvoll, denn nur so kann man aus Fehlern lernen. Es muss eben nur ersichtlich sein.
Als Ergebnis automatischer Lemmatisierungsversuche sind die TCF-Daten sicherlich instruktiv. Es ist in dem Zusammenhang auch keine Schande, wenn man sich von der automatischen Lemmatisierung vielleicht mehr erhofft hatte, denn, wie am Ende des Blog-Beitrags angedeutet, der nächste Versuch mit anderen Herangehensweisen und einer weiterentwickelten Technologie kann erfolgreicher ausfallen.
Sollte tatsächlich doch eine Qualitätskontrolle oder Stichproben stattgefunden haben, dann wäre es vor dem Hintergrund sehr hilfreich, deren Ergebnisse irgendwo zugänglich zu machen. Vielleicht ist das ja auch schon irgendwo geschehen?
Zum DTA sowie insbesondere den computerlinguistischen Verfahren, die seiner Kuration, seiner Qualitätssicherung und seinen Findmitteln zugrunde liegen, ist umfangreich publiziert worden:
https://deutschestextarchiv.de/doku/publikationen
Dass statistische Verfahren fehlerbehaftet sind, ist evident, weshalb die Unterstellung, eine Qualitätskontrolle habe nicht stattgefunden, weil die automatisiert annotierten Daten Fehler aufweisen, weit hergeholt erscheint.
Die Förderung des DTA-Projekts lief 2016 aus. Folgende Zusammenstellung mag belegen, dass die Qualität der Daten hinreichend ist, um informierten Nutzern seine Nachnutzung zu ermöglichen:
https://deutschestextarchiv.de/clarin-kooperationen
Was mich persönlich allerdings eher interessieren würde, als über den evidenten Nutzen des DTA für sprachwissenschaftliche Zwecke zu diskutieren: Gab es denn im Rahmen der Diskussion nach dem Vortrag Ideen, wie man den Forschungsstand bei der automatisierten Normalisierung und Lemmatisierung historischer Korpora verbessern kann, 9 Jahre nach Auslaufen der DTA-Projektfinanzierung? Arbeiten wie die von Yannic Bracke und Anton Ehrmanntraut
https://zenodo.org/records/14983283
scheinen mir da konstruktiverer Natur als die in ihrem Workshop vorgestellte Fehleranalyse. Haben Sie in München dazu Angebote?
Ich bestreite ja nicht, dass das DTA als solches für viele Leute (uns eingeschlossen) nützlich ist, sondern bezweifele nur, dass die Lemmatisierung etwas taugt. Weder in der Liste der Kooperationspartner noch in der Literaturliste finde ich ein Beispiel dafür, dass schon mal jemand von der Lemmatisierung im DTA einen sinnvollen Gebrauch machen konnte.
Diejenigen Publikationen auf der Liste, die sich explizit mit Qualitätskontrolle befassen, untersuchen die Qualität von Double-Keying-Verfahren, betreffen also mehr die Eingangs- als die Ausgangskontrolle.
Es ist gut möglich, dass beim Stand der Technik von 2016 gar nicht mehr drin gewesen ist. Mein Eindruck ist, dass wir auch heute noch nicht soweit sind. Aber den Link gebe ich mal lieber an die Kolleginnen und Kollegen weiter, die bei uns daran arbeiten und das besser beurteilen können.
Um nur mal 3 beliebige Beispiele aus den 130 aufgeführten Kooperationen herauszugreifen, bei denen von der Lemmatisierung ein sinnvoller Gebrauch gemacht wurde:
https://encycnet.github.io/
https://diacollo.gei.de/
https://aclanthology.org/W19-2501/
Wäre es nicht wenigstens ein Gebot der Fairness, den Stand der Forschung zur Kenntnis zu nehmen, bevor man Ergebnisse jahrelanger Arbeit, die zudem schon lange zurückliegt, als kategorisch “schlecht”, “nicht brauchbar” oder von “niedriger Qualität” aburteilt?
Bei den beiden ersten Beispielen scheint es sich um rein technische Dienste zu handeln, die existierende Datenbestände verknüpfen oder in irgendeiner rein technischen Form weiterverwursten. Es ist sehr fraglich, ob die die Qualität ihrer Datenquellen überhaupt ernsthaft prüfen. Hier ist eher zu befürchten, dass die Qualitätsmängel der Datenquellen an die Endnutzer der Sekundärdienste einfach durchgereicht werden. Man kann nur hoffen, dass sich die Fehler dabei nicht noch potenzieren.
Lediglich der dritte Artikel ist ein möglicher Kandidat, um zu zeigen, dass die Lemmatisierung beim DTA trotz ihrer niedrigen Qualität immer noch für bestimmte Anwendungsfälle ausreichend gut ist. Auch hier wäre natürlich zunächst zu prüfen, ob nicht minderwertige Daten lediglich naiv weiterverarbeitet worden sind.
Aber nehmen wir einmal an das wäre nicht der Fall und wir hätten (endlich!) ein Beispiel dafür, dass die Lemmatisierung des DTA zumindest besser ist als nichts (was dann im Übrigen auch die Veröffentlichung der Daten in dieser Form und trotz bestehender Mängel rechtfertigen könnte). Dann bleibt doch immer noch bestehen, dass die automatische Lemmatisierung beim DTA sich (falls sich die ernüchternden Ergebnisse der Stichprobe verallgemeinern lassen) deutlich unter dem wissenschaftlichen Standard für Lemmatisierung bewegen, der durch die lexikographische Tradition und die dabei erreichte Qualität händischer Lemmatisierung nun einmal gesetzt ist. Wenn wir schon vom Stand der Forschung reden, dann frage ich mich, warum sich die computergestützte Sprachforschung und -technologie erlaubt, den Stand der Forschung, den die analoge Sprachwissenschaft bereits erreicht hat, so souverän zu ignorieren.
Auch vor 9 Jahren wäre es, genauso wie heute, ein Leichtes gewesen, sich Klarheit darüber zu verschaffen, wo Ihr mit Eurer Technik steht: Ihr hättet bloß ein paar Philologen oder Lexikographen in Eurem Hause bitten müssen, die Ergebnisse Eurer automatischen Lemmatisierung einmal kritisch in Augenschein zu nehmen. Die sagen einem dann schon, wo sie die Probleme sehen.