Wenn Sprachmodelle auf Wörter treffen Herzliche Einladung zu einem Gastvortrag von Dr. Yuval Pinter am 17. April.
In den letzten Jahren haben tiefe neuronale Modelle den Bereich der Verarbeitung natürlicher Sprache (NLP) übernommen und bei vielen Aufgaben auf Sequenzebene große Verbesserungen erzielt. Aber die End-to-End-Natur dieser Modelle macht es schwer herauszufinden, ob die Art und Weise, wie sie einzelne Wörter repräsentieren, mit der Art und Weise übereinstimmt, wie sich Sprache von unten nach oben aufbaut, oder wie lexikalische Änderungen in Register und Domäne die ungeprüften Aspekte solcher Repräsentationen beeinflussen können, oder welche Phänomene durch Einheiten kleiner als das Wort modelliert werden können.
In einem Gastvortrag am 17. April wird Dr. Yuval Pinter, Senior Lecturer im Fachbereich Informatik an der Ben-Gurion Universität des Negev, NYTWIT vorstellen, einen Datensatz, der erstellt wurde, um große Sprachmodelle (LLMs) auf lexikalischer Ebene herauszufordern.
Wie ist das möglich? Große Sprachmodelle werden mit der Identifizierung von Prozessen beauftragt, die zur Bildung neuer englischer Wörter führen, sowie mit der Segmentierung und Wiederherstellung der spezifischen Unterklasse lexikalischer Mischungen, wobei ich aufzeigen werde, auf welche Weise subword-tokenized LLMs bei deren Analyse versagen. Anschließend wird Dr. Pinter XRayEmb vorstellen, eine Methode, die die Schwierigkeiten bei der Verarbeitung dieser Neuerungen durch die Anpassung eines Kodierers auf Zeichenebene an die Teilwort-Tokenizer bestehender Modelle lindert, sowie SaGe, einen Teilwort-Tokenizer, der den Kontext in das Ziel der Wortschatzerstellung einbezieht.
Mehr Informationen:
-
Wann? Montag, 17. April 2023, 14 Uhr
-
Wo? Institut für Informatik der Universität Bonn
im Hörsaal des b-it, Raum 0.109 -
Sprache? Die Vortragssprache ist Englisch
Mehr über Dr. Yuval Pinter
Dr. Yuval Pinter ist Senior Lecturer im Fachbereich Informatik an der Ben-Gurion Universität des Negev und konzentriert sich auf die Verarbeitung natürlicher Sprache als PI des MeLeL Labs. Yuval promovierte am Georgia Institute of Technology School of Interactive Computing als Bloomberg Data Science PhD Fellow. Zuvor arbeitete er als Forschungsingenieur bei Yahoo Labs und als Computerlinguist bei Ginger Software. Er erwarb einen MA in Linguistik und einen BSc in CS und Mathematik, beide von der Universität Tel Aviv. Yuval bloggt (auf Hebräisch) über Sprachfragen auf Dagesh Kal.
