Programmable Corpora · ForText · Hamburg

### **Programmable Corpora in der Praxis**

Frank Fischer
 **@umblaetterer**

Higher School of Economics  ·  Moskau 
DARIAH-EU   🇪🇺   Board of Directors

[2. forTEXT-Expertenworkshop](https://fortext.net/news/2019/2-fortext-expertenworkshop)  ·  Hamburg  🇩🇪  ·  6. Juli 2019

---

# Kapitel 1.

### Was bisher geschah

## DLINA und *dramavis*

- Forschungsgruppe [DLINA](https://dlina.github.io/) (2014–2018)
- digitale Dramenanalyse
- Python-Scriptsammlung [***dramavis***](https://github.com/lehkost/dramavis) (2014–2018)
 - All-in-one-Ansatz: mittlerweile zu hoher Maintenance-Aufwand

## Distant-Reading Showcase (dank *dramavis*)

![465 drama networks at a glance](images/distant-reading-showcase-poster.jpg)

*Distant-Reading Showcase* (DHd2016 in Leipzig, 9. März 2016). Download via Figshare. DOI: [10.6084/m9.figshare.3101203.v2](https://dx.doi.org/10.6084/m9.figshare.3101203.v2).

## Dramenquartett (dank *dramavis*)

![Dramenquartett](images/dramenquartett-poster-dhd2018.jpg)

*Dramenquartett* (DHd2018 in Köln, 1. März 2018). Download via Figshare. DOI: [10.6084/m9.figshare.5926363.v1](https://doi.org/10.6084/m9.figshare.5926363.v1).

### Adaptionen?

![Phèdre](images/phedre-it-works.png)

https://twitter.com/christof77/status/772370040016568320

---

# Kapitel 2.

### TEI-Korpusarbeit

## **DraCor**

- nachhaltige Forschungsprojekte benötigen (und erzeugen) dedizierte Infrastruktur
- DraCor: Drama Corpora Platform (https://dracor.org/)
- zwei Hauskorpora:
 - German Drama Corpus, GerDraCor (1730er–1930er)
 - Russian Drama Corpus, RusDraCor (1740er–1940er)

## Street Creds 🌿

<blockquote class="twitter-tweet" data-lang="de">⁦<a href="https://twitter.com/umblaetterer?ref_src=twsrc%5Etfw">@umblaetterer</a>⁩ DraCor wird gerade in einem studentischen Referat gewürdigt ;-) <a href="https://t.co/5tqLdB8X4s">pic.twitter.com/5tqLdB8X4s</a>— Manuel Burghardt (@8urghardt) <a href="https://twitter.com/8urghardt/status/1145656610368438272?ref_src=twsrc%5Etfw">1. Juli 2019</a></blockquote>

### DraCor @ ForText

https://fortext.net/ressourcen/textsammlungen/dracor-drama-corpora-project

## Frontend dracor.org

![DraCor-Frontpage)](images/dracor-frontpage.png)

https://dracor.org/ (public beta!)

## GerDraCor

- bisher (DLINA): 465 Stücke aus dem TextGrid Repository (TEI-Konversionen der zeno.org-Dateien)
- GerDraCor: Übernahme des TextGrid-Korpus, aber generelle Korrekturphase seit 2017:
 - Ergänzung verschwundener Textteile 😱
 - korrekte Auszeichnungen von Versen ```<l>``` und Absätzen ``````
 - ggf. Umwandlung von ```<hi>``` zu ```<stage>``` (auf Fall-für-Fall-Basis)
 - Sammlung aller ```<speaker>```-IDs in ```<particDesc>```
 - Wikidata-IDs zu Autor*innen und Stücken
- mittlerweile 473 Stücke (Ergänzungen aus Wikisource, Gutenberg-DE, …)

## In Planung

- IbsDraCor
- HolDraCor (aus der digitalen Edition [*Ludvig Holbergs skrifter*](http://holbergsskrifter.dk/holberg-public/view?docId=adm/HolbergsWritings.xml&sort=category))
- SweDraCor (von [*Dramawebben*](https://litteraturbanken.se/dramawebben))
- BashDraCor
- ItaDraCor (aus der Sammlung [*Letteratura teatrale nella Biblioteca italiana*](http://www.bibliotecaitaliana.it/))
- …?

---

# Kapitel 3.

## LiterAPIrwissenschaft ¹ ²

¹ API: Application Programming Interface (Anwendungsschnittstelle) 
² Peter-Handke-Gesetz: [»Ein Wortspiel pro Text ist erlaubt.«](https://www.welt.de/119569452)

## DraCor Technology Stack

![Anzahl Figuren](images/dracor-drawio.svg)

Alle Repos sind Open Source: https://github.com/dracor-org

## DraCor-API (1/2)

- liefert Metadaten, maßgeschneiderte Auszüge sowie verschiedene Metriken
- Live-Dokumentation: https://dracor.org/documentation/api/

## DraCor-API (2/2)

- Liste erhältlicher Korpora und deren Inhalt (Liste aller Stücke)
- Metadaten und Netzwerkdaten zu allen Stücken als CSV oder GEXF
- Liste sprechender Figuren pro Stück (oft bedeutend umfangreicher als die *dramatis personae*!)
- Figuren pro Segment eines Stücks (dynamische Graphen!)
- gesprochener Text (gesamt/weibl./männl. oder pro Figur)
- Regieanweisungen
- SPARQL-Endpunkt
- …

## Beispiel
#### Anzahl von Figuren pro Stück in chronologischer Folge (1/2)

```R
library(data.table)
library(ggplot2)
gerdracor <- fread("https://dracor.org/api/corpora/ger/metadata.csv")
ggplot(gerdracor[], aes(x = year, y = numOfSpeakers)) + geom_point()
```

Beispiel für einfaches R-Script, das die Daten über die API bezieht.

#### Anzahl von Figuren pro Stück in chronologischer Folge (2/2)

![Anzahl Figuren](images/num-of-speakers-gerdracor.png)

Ausgabe in RStudio.

## Hands-On mit Metadaten

```https://dracor.org/api/corpora/rus/metadata```

---

# Kapitel 4.

## Programmable Corpora

## Zum Begriff

- Analogie zur IT-News-Plattform *ProgrammableWeb* (Slogan: »APIs, Mashups and the Web as Platform«)
- Korpora als vergleichbare Objekte, die selbst Funktionen anbieten und mit anderen Datenquellen verbunden sind (via LOD)
- FAIR-Prinzipien, bessere Reproduzierbarkeit
- Andockbarkeit auf allen Ebenen (TEI, API, R, Python, …)

### Pushkins „Boris Godunov“ (1/2)

![betweenness](images/betweenness-pushkin-boris-godunov.png)

Größe der Label entspricht Betweenness Centrality. Gavrila Pushkin – eine Nebenfigur – in der Mitte. (Quelle: GEXF-Datei via https://dracor.org/rus/pushkin-boris-godunov.)

### Pushkins *Boris Godunov* (2/2)

![Boris Godunov (dynamic graph)](images/pushkin-boris-godunov.gif)

**Dynamischer Graph**, generiert mit dem [**ndtv**](https://cran.r-project.org/web/packages/ndtv/index.html)-Package. Daten direkt von der **DraCor API**. Script von Ivan Pozdniakov ([Sourcecode auf RPubs.com](https://rpubs.com/Pozdniakov/godunov)).

## Shiny App

![Shiny App](images/shiny-kaethchen.png)

https://shiny.dracor.org/ (von Ivan Pozdniakov).

## Boris Yarkho (1889–1942)

![Boris Yarkho (cropped)](images/boris-yarkho.jpg)

(Bildquelle: http://urokiistorii.ru/article/52560)

Boris Yarkho: ***Speech Distribution in Five-Act Tragedies (A Question of Classicism and Romanticism)*** (geschrieben 1935–1938).

Hrsg. von Frank Fischer, Marina Akimova und Boris Orekhov. In: *Journal of Literary Theory*. [Vol. 13. No. 1: *»**Moscow Formalism and Literary History**«*](https://www.degruyter.com/view/j/jlt.2019.13.issue-1/issue-files/jlt.2019.13.issue-1.xml). De Gruyter 2019, S. 13–76.

DOI:[**10.1515/jlt-2019-0002**](https://doi.org/10.1515/jlt-2019-0002)

## Redeverteilung nach Yarkho

![Emilia Galotti, speech distribution](images/speech-distribution-lessing-emilia-galotti.png)

Implementiert in **DraCor** (hier für Lessings *Emilia Galotti*): https://dracor.org/ger/lessing-emilia-galotti#speech

---

# Kapitel 5.

## Linked Open Data

![LOD cup](images/lod-cup.jpg)

(Bildquelle: https://www.w3.org/DesignIssues/LinkedData.html)

### Beispiel für eine RDF-Represäntation

- Quelle: *The Programming Historian*:
 - Matthew Lincoln: [Using SPARQL to access Linked Open Data](https://programminghistorian.org/lessons/graph-databases-and-SPARQL) (publ. 2015, released under CC-BY 4.0)

![Rembrandt: De Nachtwacht](https://upload.wikimedia.org/wikipedia/commons/0/0b/Rembrandt_van_Rijn-De_Nachtwacht-1642.jpg)

- Rembrandt: De Nachtwacht (The Nightwatch), 1642

(img source: [Wikimedia Commons](https://commons.wikimedia.org/wiki/File:Rembrandt_van_Rijn-De_Nachtwacht-1642.jpg))

![Vermeer: A Woman Holding a Balance](https://upload.wikimedia.org/wikipedia/commons/7/72/Woman-with-a-balance-by-Vermeer.jpg)

- Vermeer: A Woman Holding a Balance, 1662/1663

(img source: [Wikimedia Commons](https://commons.wikimedia.org/wiki/File:Woman-with-a-balance-by-Vermeer.jpg))

![graph visualisation of RDF-encoded information](https://programminghistorian.org/images/graph-databases-and-SPARQL/sparql01.svg)

graph visualisation of RDF-encoded information: arrows indicate the direction of the predicate, *The Nightwatch* was created by Rembrandt and not the other way around (img source: [*The Programming Historian*](https://programminghistorian.org/lessons/graph-databases-and-SPARQL))

## Anbindung an die Linked-Open-Data-Cloud

- Beispiel: Lessings *Emilia Galotti* (1772)
- hat einen [Wikipedia-Artikel](https://de.wikipedia.org/wiki/Emilia_Galotti)
- hat einen Wikidata-Artikel mit Fakten: https://www.wikidata.org/wiki/Q782653

## Uraufführungsorte in GerDraCor

![ezlinavis screenshot](images/first-performances-overall.png)

Via Wikidata:[P4647](https://www.wikidata.org/wiki/Property:P4647) (»location of first performance«).

## Urauführungsort Berlin in GerDraCor

![ezlinavis screenshot](images/first-performances-berlin.png)

Via Wikidata:[P4647](https://www.wikidata.org/wiki/Property:P4647) (»location of first performance«).

## Repräsentativität eines Korpus

| Stück | Anzahl Wikipedia-Links |
|:-----:|:----------------------:|
| Anton Tschechow: Der Kirschgarten | 35	|
| Anton Tschechow: Drei Schwestern | 34	|
| Nikolai Gogol: Der Revisor | 34 |
| Anton Tschechow: Die Möwe | 33 |
| Anton Tschechow: Onkel Wanja | 31 |
| Maxim Gorki: Nachtasyl | 12 |
| Alexander Puschkin: Boris Godunow | 12 |
| Alexander Gribojedow: Verstand schafft Leiden | 11 |
| Anton Tschechow: Iwanow | 10 |
| Nikolai Gogol: Die Hochzeit | 10 |

Die 10 international populärsten Stücke laut Wikipedia (RusDraCor umfasst momentan 163 Stücke).

---

# Kapitel 6.

## Laufende DraCor-Forschungsprojekte

Beispiel 1: Small-World-Phänomen in russischen Dramen

![Small-World-Phänomen in russischen Dramen)](images/rusdracor-small-world-preview.png)

Arbeit von Evgeniya Ustinova (Publikation in Vorbereitung).

Beispiel 2: Topics im gesprochenen Text russischer Dramen

![Topics)](images/rusdracor-topics-per-author.png)

Arbeit von Irina Pavlova ([Abstract](https://eadh2018.exordo.com/files/papers/158/final_draft/Pavlova___Fischer_-_Topic_Modeling_-_EADH_conference.pdf)).

Beispiel 3: Regieanweisungen

![Regieanweisungen)](images/rusdracor-didascalie-all-pos.png)

Arbeit von Daria Maximova ([Abstract](https://eadh2018.exordo.com/files/papers/79/final_draft/Stage_Directions_for_EADH_Conference.pdf)).

Beispiel 4: Female/Male Character Word Usage

![Female/Male Character Word Usage)](images/rusdracor-craigs-zeta.jpg)

Arbeit von Skorinkin/Fischer/Palchikov ([Artikel](http://www.dialog-21.ru/media/4332/skorinkind.pdf)).

---

# Kapitel 7.

## Didaktik

## Gamification!

![card game](images/card-game-dh2018.jpg)

„Brecht Beats Shakespeare“ (veröffentlicht 2018, Bildquelle: [@angelikah](https://twitter.com/angelikah/status/1012100869301702657)). Volle Auflösung hier: https://doi.org/10.6084/m9.figshare.6667424.v1

Was tut man, wenn im Datenanalyse-Bootcamp …

… plötzlich der Strom ausfällt?

![card game](images/boot-camp-card-game.jpg)

![a card](images/card-hamlet.jpg)
![a card](images/card-faust.jpg)
![a card](images/card-grabbe.jpg)

###  *ezlinavis*

![ezlinavis screenshot](images/ezlinavis-screenshot-tolstoy.png)

**ezlinavis** in Aktion: https://ezlinavis.dracor.org/

---

## Zusammenfassung

allgemein:
- Konzept der **Programmable Corpora** für Forschung und Lehre

speziell:
- **dracor.org**: Forschungsinfrastruktur zum europäischen Drama:
 - verlässliche, erweiterbare Korpora in mehreren Sprachen (→ komparatistische Ansätze)
 - Open-Source-Projekt: lurken, forken, pull requests

Vielen Dank.

https://dracor.org/

#LiterAPIrwissenschaft

#ProgrammableCorpora