Dieser Bericht über unseren Workshop von der DHd 2020 habe ich im Rahmen der Round Table Maschinelles Lernen in den Geisteswissenschaften auf selbiger Konferenz vorgetragen. Wir haben uns entschlossen ihn als Gastbeitrag auf digitalintellectuals zu veröffentlichen.

Motivation

Bei der Vorbereitung des Workshops ist uns bewusst geworden, dass in den DH immer mehr Machine Learning Methoden verwendet werden und die DH deshalb die Schwächen und Fallstricke solcher Methoden kennen sollten. Außerdem können die DH die perfekte Schnittstelle bilden, die gesellschaftlichen und kulturellen Risiken von ML Modellen zu erforschen.

In der ML Community sehen wir einen Wunsch nach Reduzierung von Bias in Datensätzen. Dort wendet man sich an Kulturerbeeinrichtungen. Diese sollen durch ihre Tradition in reflektierter Datenarchivierung das nötige Wissen und die nötigen Praktiken in die ML Community tragen [Jo und Gebru 2019].

Wir sehen insbesondere in den DH eine große Gefahr von ungewünschten Biases, weil dort häufig mit vergleichsweise kleinen Corpora gearbeitet wird und das Mittel des Transfer Learnings lockt, man sich also gerne auf anderen Datensätzen vortrainierter Repräsentationen bedient, um scheinbar bessere Ergebnisse zu bekommen. Durch diesen Schritt des Vortrainierens wird allerdings die Datengrundlage der Modelle intransparenter und häufig ändert sich die Verteilung der Eingabedaten.

Überblick über den Workshop

Der Workshop war in zwei Halbtage unterteilt und diese jeweils nochmal in einen theoretischen Vortragsteil und eine praktische Sitzung. Am ersten Tag wurden zunächst verschiedene Definitionen von Biases aus unterschiedlichen Fachrichtungen eingeführt und vergleichend Diskutiert und dann konkreter über Biases in Word Embeddings gesprochen. 

Word Embeddings sind Repräsentationen von Worten in einem Vektorraum, in dem semantische und syntaktische Beziehungen zwischen Worten erhalten bleiben sollen. Worte, die sich syntaktisch oder semantisch ähnlich sind, sollen auch eine ähnliche Repräsentation im Vektorraum haben.

Es wurde unter anderem theoretisch und praktisch gezeigt, wie anhand von kuratierten Wortpaarlisten (beispielsweise Frau-Mann) Gender biases in Word Embeddings entdeckt und verringert werden können. 

Am zweiten Tag wurde sich im theoretischen Teil dem Thema Bias aus der Perspektive der DH, insbesondere aus der digitalen Literaturwissenschaft und der digitalen Editorik genähert. 

Verschiedene Auftreten von Bias wurden Beispielhaft anhand von zwei konkreten DH Projekten vorgeführt, der Briefedition Berliner Intellektuelle und einer Streitkulturanalyse auf Twitterdaten zum Hashtag #Thüringen.

Im praktischen Teil wurden, ganz im Sinne des spielerischen Ausprobierens, Gruppen gebildet und Biasproblematiken wurden an individuellen Datensätzen erprobt. In zwei der Gruppen wurden von Teilnehmer:innen mitgebrachte Daten analysiert.

Bias: Definitionen

Es gibt in verschiedenen Communities sehr unterschiedliche Definitionen von Bias und selbst innerhalb der Communities sind diese längst nicht eindeutig. Wir haben im Workshop über viele Arbeiten zur Definitionen von Bias gesprochen, aber ich möchte nur eine ganz kurz vorstellen, um zu betonen, wie vielfältig die Gründe für Bias in einem Projekt sein können, die Arbeit von [Suresh und Guttag 2019]. Suresh und Guttag kategorisieren verschiedene Biases. Ich greife jetzt wiederum nur vier Biases heraus und erkläre sie kurz an einem Beispiel: Dem Kreieren und Trainieren eines Modells zur Bestimmung der Güte eines Buchs.

Bei der Erstellung eines Korpus kann es sein, dass einem schlichtweg Bücher fehlen, weil sie nie geschrieben wurden. Beispielsweise aus Gründen der Selbstzensur der Autor:innen. Dies nennen Suresh und Guttag Historic Bias. 

Natürlich kann es auch sein, dass Bücher zwar existieren, aber nicht für das Training zur Verfügung stehen. Seien es Lizenzprobleme, finanzielle Gründe oder das Unwissen der Wissenschaftler. Dies nennen Suresh und Guttag Representation Bias.

Bei diesen beiden Formen von Bias sind wir überzeugt, dass DHler eine Schlüsselrolle spielen können um sie zu entdecken und ihnen entgegenzuwirken.

Als dritte Bias Kategorie wird Measurement Bias genannt, in diesem Fall beispielsweise das Problem, dass das Modell auf Grundlage der Bücher versucht, die Güte von Autor:innen zu bestimmen, ungeachtet dessen, dass im Entstehungsprozess eines Buchs noch weitere Akteure, wie Herausgeber:innen eine wichtige Rolle spielen. 

Als letzte Kategorie, die ich hier nennen möchte, noch den Aggregation Bias, also wenn das Modell zur Bestimmung der Güte eines Romans gut funktioniert, sagt das noch nichts über die Bestimmung der Güte von Gedichtbänden aus.

Bei diesen beiden Formen sind wir überzeugt, dass insbesondere MLler Kernkompetenzen besitzen um mit den Biases umzugehen.

Zwei Herangehensweisen

Unser Eindruck nach den beiden Tagen war, dass die Herangehensweisen der beiden Disziplinen, ML und DH zum Thema Bias sehr unterschiedlich sind. In den ML wurde beispielsweise ein bestimmter Bias (Gender Bias) für eine bestimmte Methode (Word Embeddings) auf einem bestimmten Datensatz (Wikipedia) verringert. Und dafür wurde auch noch eine subjektive Liste von Wörtern benötigt, die diese Biaspolaritäten beschreibt [Maudslay et al. 2019].

In den DH sehen wir Entwicklungen wie Sampling Criteria (also wieder subjektive Listen!) zur Korpuskonstruktion und auch auf dieser Konferenz eine gesundes Misstrauen gegen Lösungen, die aus ML Modellen fallen, wir sehen aber noch nicht, dass sich die DH dieses Thema tatsächlich zueigen machen. Wir würden uns freuen, wenn Sie uns mit Referenzen eines anderen belehrten.

Ergebnisse

Wir konnten, so hoffen wir, eine Einführung in dieses Thema geben und die Teilnehmer:innen motivieren, auch in ihren eigenen Projekten sich mit Biases auseinanderzusetzen. Teilnehmer:innen haben uns berichtet, dass sie bereits zwischen den Sitzungen begonnen haben, die Biaserkennungsmethode auf ihren eigenen Daten anzuwenden und in der zweiten praktischen Sitzung wurde ebenfalls auf anderen mitgebrachten Daten der Teilnehmer:innen gearbeitet. Darüber hinaus haben wir versucht die Teilnehmer:innen zu motivieren, in Zukunft in ihre Projekt- und Forschungsdatenmanagementpläne ein Statement zum Thema Bias hinzuzufügen und würden das in diesem Bericht, an alle gerichtet, gerne wiederholen.

Als Fazit für diesen Bericht würden wir uns wünschen, dass in den DH Best Practices formuliert und angewendet werden, um insbesondere mit Historical Bias und Representation Bias umzugehen, dass sich eine enge Zusammenarbeit mit MLern entwickelt, sodass die weitere Formen von Bias verringert werden können und möchten abschließend die Frage stellen, ob das nicht vielleicht wirklich eine Kernaufgabe der DH sein könnte.

Bibliographie

Eun Seo Jo, Timnit Gebru. Lessons from Archives: Strategies for Collecting Sociocultural Data in Machine Learning. https://arxiv.org/abs/1912.10389

R. H. Maudslay, H. Gonen, R. Cotterell, and S. Teufel. It’s all in the name: Mitigating gender bias with name-based counterfactual data substitution. https://arxiv.org/abs/1909.00871

Harini Suresh, John V. Guttag. A Framework for Understanding Unintended Consequences of Machine Learning. https://arxiv.org/abs/1901.10002

---

Am Workshop waren beteiligt:

David Lassner (@davidlassner), Stephanie Brandl (@StephanieBrandl), Louisa Guy (@Louisa_GUY_) und Anne Baillot (@AnneBaillot).

Die Materialien des Workshops stehen auf Github zur Verfügung: 

https://github.com/millawell/bias-ml-dh

Diese enthalten die Vortragsfolien, den Code der praktischen Sitzungen mit Lösungen und eine umfangreichere Bibliographe.

---

---