Rückblick auf die erste Data Challenge von HERMES: “Challenge the Newspaper Data!”

In unserem ersten Blog-Beitrag zu dieser Data Challenge haben wir unser Konzept für das neue Format im Bereich der digitalen Geisteswissenschaften vorgestellt. Zudem haben wir die Aufgabenstellung unserer ersten Challenge präsentiert, die auf der Analyse von Zeitungsdaten aus dem Deutschen Zeitungsportal basierte. Mit dem erfolgreichen Abschluss der Challenge möchten wir nun gemeinsam mit den Gewinner*innen auf verschiedene Aspekte zurückblicken und unsere Erkenntnisse mit der Digital-Humanities-Community teilen.
Unser Konzept und unsere Erwartungen für diese Challenge
Die Data Challenge hatte das Ziel, eine kritische Analyse der bereitgestellten Daten aus dem Deutschen Zeitungsportal durchzuführen. Die teilnehmenden Teams sollten ausgehend von einer geisteswissenschaftlichen Fragestellung den Datensatz untersuchen und insbesondere Mängel identifizieren, die eine Beantwortung dieser Frage erschweren würden. Im Mittelpunkt stand die interdisziplinäre Zusammenarbeit von Geistes- und Datenwissenschaftler*innen.
Ein zentraler Aspekt dieser Analyse war die Qualität der OCR-Texterkennung. Es war zu erwarten, dass die Teilnehmenden feststellen würden, dass eine Volltextanalyse aufgrund der fehlerhaften Erkennung gescannter Zeitungsseiten problematisch ist. Ebenso sollte die unvollständige Abdeckung der Zeitungsbestände im Portal thematisiert werden: Nicht alle zwischen 1914 und 1945 publizierten Zeitungen sind im Datensatz enthalten, zudem fehlen oft ganze Ausgaben oder einzelne Seiten.
Auch die Analyse der Metadaten erwies sich als aufschlussreich. Dabei zeigte sich, dass eine und dieselbe Zeitung je nach digitalisierender Bibliothek unter unterschiedlichen Titeln geführt wurde. Eine erste notwendige Aufgabe bestand daher in der Bereinigung und Standardisierung dieser Metadaten, um Publikationsmuster sichtbar zu machen. Diesen Schritt der Datenbereinigung haben wir im Vorfeld der Challenge vorgenommen und anschließend die Publikationszeiträume aller im Datensatz enthaltenen Zeitungen wie folgt visualisiert:

Obwohl dieser Graph erkennbare Entwicklungen – etwa einen Rückgang der erfassten Zeitungen ab 1933 – suggeriert, stellt sich die Frage nach der Repräsentativität des Datensatzes. Inwiefern reflektiert die Sammlung im Deutschen Zeitungsportal die Gesamtheit aller in diesem Zeitraum erschienenen Zeitungen? Lassen sich aus den festgestellten Datenlücken historische Rückschlüsse ziehen, etwa auf eine gezielte Unterdrückung bestimmter Zeitungen durch das NS-Regime oder resultieren diese Lücken eher aus archivbezogenen Faktoren wie dem Verlust von Zeitungen im Krieg oder unsystematischer Archivierung? Sollte sich ein Zusammenhang mit politischen Restriktionen herstellen lassen, stellt sich zudem die Frage, ob die OCR-Qualität eine tiefgehende Inhaltsanalyse zulässt.
Diese und ähnliche kritische Fragen standen für uns im Zentrum der Challenge und von den Teilnehmenden wurde erwartet, dass sie sich vorrangig mit diesen Herausforderungen auseinandersetzen. Teams mit ausreichender technischer Expertise konnten darüber hinaus versuchen, einige dieser Probleme zu lösen, etwa durch eine Verbesserung der OCR-Texterkennung oder durch die Entwicklung einer automatisierten „Pipeline“ zur erneuten Texterkennung auf Basis der gescannten Seiten.
Falls die Teams nicht über die nötigen datenwissenschaftlichen Ressourcen verfügten, lag der Fokus auf der Entwicklung von Empfehlungen für die mit der Deutschen Digitalen Bibliothek verbundenen Archive. Ziel war es, Strategien zu erarbeiten, wie diese Institutionen künftig ihre Zeitungsbestände so digitalisieren und bereitstellen können, dass sie für geisteswissenschaftliche Forschung besser nutzbar werden.
Teilnehmendenstruktur und -beteiligung
Die Challenge wurde über verschiedene Kanäle beworben, die sowohl Geisteswissenschaftler*innen als auch Digital Humanists als Zielgruppe ansprechen. Letztlich bestanden die angemeldeten Teams entweder ausschließlich aus Digital Humanists oder aus Datenwissenschaftler*innen. Dies zeigt, dass unsere Ausschreibung Geisteswissenschaftler*innen ohne digitale Vorkenntnisse nicht ausreichend erreicht hat, insbesondere jene, die sich in einer beratenden Rolle innerhalb eines hybriden Teams hätten sehen können.
Obwohl sieben Teams registriert waren, erreichte nur eines die Ziellinie. Wir hätten gerne mehr darüber erfahren, warum die anderen Teams kein Ergebnis eingereicht haben. War die Aufgabe zu anspruchsvoll? Fehlten spezifische Fachkenntnisse im Team? Mangelte es an Zeit oder Motivation, um die Challenge bis zum Ende durchzuhalten? Könnten attraktivere Preise dazu beitragen, die Motivation aufrechtzuerhalten?
Um Antworten auf diese Fragen zu erhalten, haben wir eine Umfrage unter den angemeldeten Teilnehmenden durchgeführt, die aufgrund einer zu geringen Rücklaufquote nicht repräsentativ ist. Aber die Jury, die die eingereichten Ergebnisse bewertet hat, lieferte uns wertvolle und konstruktive Rückmeldungen. Basierend auf diesen Erkenntnissen haben wir für die nächste Data Challenge eine klarer definierte und einfacher umsetzbare Aufgabe sowie eine stärkere Förderung interdisziplinärer Teams geplant.
Feedback und Reflexion
Aus der eigenen Analyse sowie dem Feedback der Jury und des Gewinnerteams lassen sich einige zentrale „Learnings“ ableiten. Die Herausforderung lag weniger im Einstieg als vielmehr im Durchhalten der Teilnehmenden. Hier zeigte sich, dass wir den kontinuierlichen Austausch zwischen uns und den Teilnehmenden in zukünftigen Durchläufen stärker fördern sollten. Auch eine klarere Problemstellung könnte helfen, die Orientierung über die gesamte Laufzeit hinweg zu verbessern.
Gerade die Formulierung der Fragestellung wurde sowohl von der Jury als auch vom Gewinnerteam kritisch beurteilt. Sie ließ bewusst viel Spielraum – was, wie das Siegerteam eindrucksvoll zeigte, zu innovativen und spannenden Ansätzen führen kann. Gleichzeitig bringt eine solche Fragestellung einige Herausforderungen mit sich. Den gesamten Verlauf – von einer ersten kritischen Betrachtung, über Aufbereitung der Daten bis hin zur Korrektur oder einem Best-Practice-Vorschlag zur Datenbereitstellung – als Thema zu formulieren, erwies sich als zu ambitioniert. Auch wenn die Idee darin bestand, nur einen Teil dieser Pipeline konkret zu bearbeiten, waren die Möglichkeiten zu umfangreich.
Interessanterweise hat jedoch gerade dieser offene Charakter den besonderen Erfolg des Gewinnerteams ermöglicht: Ihre Herangehensweise wich deutlich von unserer ursprünglichen, vor allem geisteswissenschaftlich-kritisch gedachten Perspektive ab und führte doch zu einem vielversprechenden Ergebnis.
Das abgegebene Ergebnis stellt einen sehr interessanten Ansatz für die Analyse von Zeitungsdaten mithilfe von Künstlicher Intelligenz dar, ist aber durch die Komplexität der Aufgabenstellung nicht vollständig – so die Bewertung der Jury.
Die Perspektive des Siegerteams
An dieser Stelle möchten wir dem Gewinnerteam die Bühne überlassen. Sie werden sich unseren Leser*innen vorstellen und erklären, was sie motiviert hat, an der Challenge teilzunehmen. Zudem teilen sie ihre Herangehensweise und reflektieren, welche Aspekte aus datenwissenschaftlicher Sicht gut oder weniger gut funktioniert haben und was sie aus dieser Erfahrung mitnehmen konnten:
Unser Challenge-Team, bestehend aus Daniel, Lilian, Marc und Boro, ist ein bunt zusammengewürfelter Haufen mit einem gemeinsamen Fokus auf Deep-Tech- Anwendung in der Praxis. Wir haben uns den Teamnamen “daLLMayer” gegeben, da wir schon früh wussten, dass wir in dieser Challenge irgendetwas mit LLMs tun würden und weil wir den Kaffee- und Teekonsum feiern. Kennengelernt haben wir uns über ein Kundenprojekt zum Thema Quantensicherheit, für das wir von unseren jeweiligen ehemaligen Arbeitgebern aus verschiedenen Firmen entsandt wurden.
Daniel hat seinen Bachelor/Master/PhD an der TU Darmstadt über Informatik absolviert und dabei Praktika in den U.S.A. bei NVIDIA und Facebook gemacht. Seitdem ist er in Deutschland in der Deep-Tech-Startup-Szene tätig und arbeitet in Vollzeit als Teamleiter im Bereich Compiler für Hybrid Computing sowie als selbstständiger Berater im Bereich KI.
Marc hat seinen Bachelor und Master in medizinischer Informatik an der Universität Heidelberg abgeschlossen und promoviert dort derzeit über die Anwendung von LLMs in der Medizin. Hauptberuflich in Vollzeit ist er Senior Entwicklungsleiter für Generative AI über Information Retrieval bei der Schwarz Gruppe.
Lilian hat ihren Bachelor an der Ruhr-Universität Bochum und Master an der RWTH-Aachen in Operations Research and Management abgeschlossen und promoviert derzeit an der Philipps-Universität Marburg zum Thema Mensch-KI-Kollaboration. Vordergründig arbeitet sie als freiberufliche Dozentin und Beraterin im Bereich KI-Governance-Umsetzung.
Boro hat sein Informatikstudium an der TU München abgeschlossen und promoviert derzeit an der TU Berlin neben seiner Haupttätigkeit als Berater im Bereich High-Performance-Computing.
Unsere Motivation an der Challenge teilzunehmen, war zum einen, dass wir gerne etwas zusammen machen wollten und unsere Neugier, wie weit man mit großen, unstrukturierten Datenmengen ohne Enterprise-Ressourcen kommen würde. Damit einher ging auch unsere Neugier, welche Erkenntnisse sich mit neuen Methoden – wie etwa die Anwendung von LLMs in der Vorverarbeitung dieser Datenmengen – gewinnen lassen könnten. Die erwarteten Probleme mit dieser Art der Datenmenge sind relativ früh aufgetaucht. Diese möchten wir wie folgt etwas genauer erläutern:
Nach dem Standardverständnis von Untersuchungen mit Daten wünscht man sich einen repräsentativen Datensatz. Die Auswertung großer, unstrukturierter Datensätze wie des vorliegenden Zeitungsarchivs – insbesondere unter Vermeidung impliziter Vorannahmen – ist eine aufwändige und komplexe Aufgabe, die häufig manuelle Arbeit von Expert*innen erfordert. Der gegebene Datensatz ist quasi vollständig und bildet somit eine ganzheitliche Grundgesamtheit ab. Die schiere Größe dieses Datensatzes alleine bedürfte schon der Arbeit mehrerer Expert*innen. Jegliche Automatisierung an dieser Stelle wird begrenzt durch die zur Verfügung stehenden Ressourcen zur Datenverarbeitung, die dann wiederum die Größe des Extrakts limitieren. Um diese Ressourcen möglichst zielgerichtet einsetzen zu können, haben wir in unserer Datenvorverarbeitungs-Pipeline große Sprachmodelle eingesetzt, welche die Daten zusätzlich bereinigen und vorverarbeiten sollten, um anschließend die Voraussetzungen für eine explorative Datenanalyse zu schaffen.
Die zur Verfügung stehenden Ressourcen – aus Eigenmitteln! – erlaubten, trotz Implementierung durch Domänenexperten aus der KI, nur eine Vorverarbeitung von 1% der gesamten Datengrundlage. Die führte bereits zu einer Rechendauerlast von zwei ganzen Tagen. Das kritische technische Set-Up bestand dabei aus einer 12 TB Festplatte (je nach Marktlage im Durchschnitt für 300 EUR erhältlich) und 2 RTX – GPUs (3090 und TITAN RTX – je nach Marktlage im Durchschnitt für 1.000 – 2.500 EUR erhältlich). Die Räumlichkeiten haben sich wegen dieser Vorverarbeitung auf 31 Grad aufgeheizt. Optimierungspotenzial der Ergebnisse gibt es bereits an dieser Stelle, wenn mit einem größeren Sprachmodell gearbeitet wird. Die Grafikkarten waren jedoch auf 48 GB RAM beschränkt. Besser wären mehrere GPUs mit mehr Speicher; die RTX 5090 ist das aktuellste “Konsumenten”-GPU von NVIDIA und kostet im Schnitt 3.000 EUR mit 32 GB RAM. Die industriellen Varianten dürften in der kleinsten Ausprägung auch in dieser Preisklasse liegen (z.B. die Project DIGITS von NVIDIA ab Mai 2025) oder deutlich höher sein. Zum Vergleich: Ein System, das etwa das aktuelle Deepseek-Modell betreiben kann, schlägt mit etwa 30.000 – 50.000 EUR allein in der Anschaffung zu Buche.
Auf die Vorverarbeitung folgte ein weiterer Verarbeitungsschritt, in dem die Daten für die eigentliche Datenanalyse durch Labeling aufbereiten wurden. Hierfür wollten wir ein sehr performantes Sprachmodell nutzen, welches wir über kostenlose Google Cloud Credits und dem damit verbundenen Gemini-Modell bezogen. Da wir auf 300 EUR Creditwert beschränkt waren, mussten wir den schon vorverarbeiteten Subset weiter reduzieren.
Der vorliegende Zeitungsarchiv-Datensatz bietet eine umfassende Grundgesamtheit, doch die Herausforderung liegt in seiner Größe, die eine kosteneffiziente Verarbeitung erschwert. Durch die Einschränkungen bei den technischen Kapazitäten und dem verfügbaren Budget, musste ein repräsentatives Subset erstellt werden. Die Vorverarbeitung mit großen Sprachmodellen war ein wichtiger Schritt, um die Daten zu bereinigen und auf eine explorative Analyse vorzubereiten.
Allerdings zeigte sich, dass die vorhandene Hardware an ihre Grenzen stieß, was zu einer langen Verarbeitungszeit und einer Überhitzung der Räumlichkeiten führte. Um optimale Ergebnisse zu erzielen, wäre entweder ein Clustersystem nötig (Preis: siehe oben) oder ein uneingeschränkter Zugang zu einem kommerziellen System – hier bewegen sich die Kosten schnell im Bereich von mehreren Hunderttausend Euro. Trotz dieser Herausforderungen bietet der vorverarbeitete Subset eine gute Grundlage für weitere Analysen. Durch die Nutzung von Google Cloud Credits und dem Gemini-Modell lässt sich das Sprachmodell zudem weiter verbessern.
Im Allgemeinen wäre es zu empfehlen, für Daten in dieser Größe mit Server und Methoden der Large-Scale-Datenverarbeitung zu arbeiten. Die Verarbeitung dieser Datenmengen mit Large-Language-Modellen sollte mit H100/GB200 NVIDIA Chips oder mithilfe von Hyperscaler APIs prozessiert werden. Auch eine professionelle Datenstruktur mit „Lakehouse“ oder ähnlichen Storage-Strukturen ist zu empfehlen. Mit solchen Strukturen bewegt man sich allerdings bereits im sechsstelligen Bereich – und liegt damit weit entfernt von einem für Wissenschaftler oder Lehrstühle möglichen Setup.
Aus dieser Challenge haben wir vieles mitgenommen. Um es kurz zu fassen, möchten wir einen wesentlichen Aspekt hervorheben: die Herausforderung, große Datenmengen mit begrenzten Hardware-Ressourcen zu verarbeiten.
Die Größe des Datensatzes stellt eine erhebliche Herausforderung dar, die durch unsere Hardware-Beschränkungen noch verschärft wurde, die keineswegs gering waren. Wir konnten lediglich 1% der Daten verarbeiten, was die Notwendigkeit leistungsstarker Systeme und weiterer Investitionen in “Upscaling” unterstreicht, um voranzukommen. Leider haben die nicht ausreichend korrekt kommunizierten Errungenschaften von DeepSeek und ihrem LLM-Modell den Eindruck vermittelt, dass man auch ohne große Hardwareressourcen auskommt. Wir hoffen, dass sich dieser Eindruck nicht festigt und dass ernsthafte Investitionen in Datenverarbeitungs-Hardware berücksichtigt werden, da diese für eine effiziente Analyse großer Datensätze unerlässlich sind. Dies wird mit unseren Erkenntnissen aus dieser Challenge nochmals unterstrichen.
Nur der Text ist unter der Lizenz Creative Commons Namensnennung 4.0 International nutzbar. Alle anderen Elemente (Abbildungen, importierte Anhänge) sind „Alle Rechte vorbehalten“, sofern nicht anders angegeben.
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Golnaz Sarkar Farshi, Corinna Berg, Robert Zwick, Daniel Thürck, Lilian Do Khac, Marc Fabian Mezger, Boro Sofranac (10. Juni 2025). Rückblick auf die erste Data Challenge von HERMES: “Challenge the Newspaper Data!” Humanities Data Literacy. Abgerufen am 8. Februar 2026 von https://doi.org/10.58079/142zn

Durch die Redaktion vorgenommene Änderungen:
– Lizenz CC-BY-4.0 für den Artikel hinterlegt
– Angabe der Autorschaft aktualisiert