- Message Understanding Conference
-
Die Message Understanding Conferences (MUC) sind eine Reihe von Forschungswettbewerben, die von der US-amerikanischen Behörde DARPA initiiert und finanziert wurden, um die Entwicklung neuer und besserer Methoden der Informationsextraktion zu fördern. Der Wettbewerbscharakter – mehrere konkurrierende Forscherteams traten gegeneinander an – erforderte die Entwicklung verlässlicher Standards zur Evaluation, z. B. die zur MUC-2 entwickelten Maße Recall und Precision.
Themengebiete und Aufgaben
Nur bei der ersten Tagung (MUC-1) konnten die Teilnehmer das Ausgabeformat für die extrahierte Information selbst bestimmen. Ab der zweiten Tagung war das Ausgabeformat vorgegeben, die Systeme der Teilnehmer wurden evaluiert. Für jedes Themengebiet waren einzelne Felder vorgegeben, die mit Information aus den Texten gefüllt werden mussten. Typische Felder waren z. B. das Ereignis, die Akteure, Zeit und Ort des Ereignisses, die Folgen etc. Die Anzahl der Felder nahm von Tagung zu Tagung stetig zu.
Mit der sechsten Tagung (MUC-6) kam als Zusatzaufgabe die Identifikation von Eigennamen (Named Entity Recognition) hinzu. Dabei sollten in einem Text alle Phrasen markiert werden, die Personen, Orte, Organisationen, Zeitpunkte und Maße bezeichnen.
Die Themengebiete und Textgattungen, die zu bearbeiten waren, zeigen einen kontinuierlichen Übergang von militärischen zu zivilen Themen, was die zunehmende wirtschaftliche Bedeutung der Informationsextraktion widerspiegelt.
Konferenz Jahr Textgattung Themengebiet (Domäne) MUC-1 1987 mil. Meldungen Flottenoperationen MUC-2 1989 mil. Meldungen Flottenoperationen MUC-3 1991 Nachrichten terroristische Aktivitäten MUC-4 1992 Nachrichten terroristische Aktivitäten MUC-5 1993 Nachrichten Joint Ventures, Chipproduktion MUC-6 1995 Nachrichten Führungswechsel in der Wirtschaft MUC-7 1997 Nachrichten Flugzeugabstürze, Raumfahrzeuge, Raketenstarts Literatur
- Ralph Grishman, Beth Sundheim: Message Understanding Conference – 6: A Brief History. In: Proceedings of the 16th International Conference on Computational Linguistics (COLING), I, Kopenhagen, 1996, 466–471.
Weblinks
Wikimedia Foundation.
