Weil ich ja sonst nichts zu tun habe...

…bin ich jetzt studentische Hilfskraft am Arbeitsbereich Linguistik der Uni Münster.

In den ersten Wochen habe ich mit “Kamerad Merse” Herrn Prof. Paprotté bei der NLP-(Natural Language Processing) Vorlesung und dem Syntax I Seminar unterstützt.

NLP

Meine Aufgabe in der Vorlesung war live zu zeigen wie man aus einem Haufen von Text die Anzahl der häufigsten Worte raussucht. Das ist garnicht mal schwer, wenn man weiss wie.

Als erstes braucht man einen Corpus (es ist das Corpus, fragt nicht, ist so). Ein Corpus ist eine (große) Menge von Texten, die in elektronischer Form vorliegen (daher einfach verarbeitbar sind), die mehr oder weniger repräsentant für einen Bereich von Sprache sind. Z.B. Zeitungsartikel aus den 1970ern oder die gesammelten Werke von (ha!) Shakespeare. In der Vorlesung hatten wir zum einen zwei Werke von Mary Shelley (Frankenstein und Mathilda) mit zusammen etwa 130 000 Wörtern und zum anderen den guten alten BNC (British National Corpus), der eine schmucke Sammlung von nur 100 000 000 Wörtern in Textform ist.

Da haben wir dann schnell die häufigsten Wörter rausgesucht und es sind, sehr überraschend, Funktionswörter wie “to”, “the”, “in”, usw. Interessanter wurde die Suche nach Bi- und Trigrammen. Das sind Zweier- bzw. Dreiergruppen von Wörtern in einem Text. “I think” oder “what the” sind z.B Bigramme und “I like Ike” und “elderly woman on” Trigramme. Nun kann man schauen, wie oft so ein n-Gram in einem Corpus vorkommt und schon stoplert man über ganze syntaktische Einheiten, die oft vorkommen. Hier mal eine kleine Liste aus dem BNC:

1. 82 one of the
2. 71 per cent of
3. 56 the end of
4. 48 there is a
5. 37 out of the
6. 36 the government s
7. 36 it is not
8. 36 cent of the

Warum ist das jetzt spannend? Um eine Rechtschreibkorrektur zu programmieren ist es zwar nett, wenn man schonmal falsche Wörter erkennt, aber grammatikalische Schnitzer sollte man auch finden. Das kann man z.B. erreichen, in dem man die vorkommenden Trigramme in einem Text mit der Häufigkeit in so einer riesigen BNC-Trigramm-Frequenzliste vergleicht und selten bis garnicht vorkommende Kombinationen anstreicht. “Hund bitte wach nicht nicht auf” hat wohl ein “nicht” zu viel und so ein Trigramm “hat nicht nicht” oder “nicht nicht auf” ist wohl selten bis nichtexistent. Treffer, versenkt.

Syntax

Im Seminar Sprechen wir über die Grundlagen der Syntax. Wie man Teile von Sätzen klassifiziert und miteinander in Beziehung setzt. “I must ask that no one leave the room” ist nicht einfach nur eine zufällige Reihe von Wörtern, sondern dahinter verbirgt sich eine Struktur. Als Sprecher einer Sprache versteht man intuitiv, was Sache ist. Eine Maschine ist hingegen erstmal doof. Wir wissen, dass “I” und “must” und “ask” irgendwie von zentraler Bedeutung sind, dass “must ask” zusammen gehören und was der ganze Rest bedeutet. So eine Satzstruktur lässt sich schön als Baum malen, ein paar Beispiele kann man bei Google bewundern.

Bevor Maschinen Sprache “verstehen” können, müssen sie erstmal die Struktur eines Satzes auf die Kette bekommen, bevor es irgendwie weitergeht. Und weil wir so kreativ mit Sprache umgehen können (“Das is dem Vatter seine Bude”) ist das nicht grade trivial. Es gibt also viel zu tun. Packen wirs an.