Nachricht

Aug 14, 2023

KIs können Gags schreiben, sind aber nicht an dem Witz beteiligt

Füllen Sie das Formular unten aus und wir senden Ihnen per E-Mail eine PDF-Version von „KIs können Gags schreiben, sind aber nicht im Scherz dabei“. Füllen Sie das Formular unten aus, um den Zugriff auf ALLE Audioartikel freizuschalten. Große neuronale Netze, a

Füllen Sie das Formular unten aus und wir senden Ihnen per E-Mail eine PDF-Version von „KIs können Gags schreiben, sind aber nicht im Scherz dabei.“

Füllen Sie das Formular unten aus, um den Zugriff auf ALLE Audioartikel freizuschalten.

Große neuronale Netze, eine Form der künstlichen Intelligenz, können Tausende von Witzen wie „Warum hat das Huhn die Straße überquert?“ erzeugen. Aber verstehen sie, warum sie lustig sind?

Anhand Hunderter Einsendungen aus dem Cartoon Caption Contest des New Yorker Magazins als Testumgebung forderten die Forscher KI-Modelle und Menschen mit drei Aufgaben heraus: einen Witz einem Cartoon zuordnen; Identifizieren einer erfolgreichen Bildunterschrift; und erklären, warum eine gewinnende Bildunterschrift lustig ist.

Bei allen Aufgaben schnitten Menschen nachweislich besser ab als Maschinen, auch wenn KI-Fortschritte wie ChatGPT die Leistungslücke geschlossen haben. Beginnen Maschinen also, Humor zu „verstehen“? Kurz gesagt: Sie machen einige Fortschritte, sind aber noch nicht ganz am Ziel.

Abonnieren Sie den täglichen Newsletter von Technology Networks, der Ihnen täglich aktuelle wissenschaftliche Nachrichten direkt in Ihren Posteingang liefert.

„Die Art und Weise, wie Menschen das Verständnis von KI-Modellen herausfordern, besteht darin, Tests für sie zu erstellen – Multiple-Choice-Tests oder andere Bewertungen mit einem Genauigkeitswert“, sagte Jack Hessel, Ph.D. '20, Forschungswissenschaftler am Allen Institute for AI (AI2). „Und wenn ein Modell schließlich alles übertrifft, was Menschen bei diesem Test erreichen, denken Sie: ‚Okay, bedeutet das, dass es wirklich versteht?‘ Es ist eine vertretbare Position zu sagen, dass keine Maschine wirklich „verstehen“ kann, weil Verstehen eine menschliche Sache ist. Aber egal, ob die Maschine es versteht oder nicht, es ist immer noch beeindruckend, wie gut sie diese Aufgaben bewältigen.“

Hessel ist Hauptautor von „Do Androids Laugh at Electric Sheep?“ Humor ‚Understanding‘ Benchmarks from The New Yorker Caption Contest“, der auf der 61. Jahrestagung der Association for Computational Linguistics, die vom 9. bis 14. Juli in Toronto stattfand, mit einem Preis für den besten Beitrag ausgezeichnet wurde.

Lillian Lee '93, Charles Roy Davis Professorin am Cornell Ann S. Bowers College of Computing and Information Science, und Yejin Choi, Ph.D. '10, Professor an der Paul G. Allen School of Computer Science and Engineering der University of Washington und leitender Direktor für Common-Sense-Intelligence-Forschung bei AI2, sind ebenfalls Mitautoren des Papiers.

Für ihre Studie haben die Forscher 14 Jahre lang New Yorker Untertitelwettbewerbe zusammengestellt – insgesamt mehr als 700. Jeder Wettbewerb umfasste: einen Cartoon ohne Bildunterschrift; die Einträge dieser Woche; die drei Finalisten, die von den Redakteuren des New Yorker ausgewählt wurden; und bei einigen Wettbewerben Schätzungen zur Crowd-Qualität für jede Einsendung.

Für jeden Wettbewerb testeten die Forscher zwei Arten von KI – „aus Pixeln“ (Computer Vision) und „aus Beschreibung“ (Analyse menschlicher Zusammenfassungen von Cartoons) – für die drei Aufgaben.

„Es gibt Datensätze von Fotos von Flickr mit Bildunterschriften wie ‚Das ist mein Hund‘“, sagte Hessel. „Das Interessante am Fall New Yorker ist, dass die Beziehungen zwischen den Bildern und den Bildunterschriften indirekt und spielerisch sind und auf viele Entitäten und Normen der realen Welt verweisen. Daher erfordert die Aufgabe, die Beziehung zwischen diesen Dingen zu „verstehen“, etwas mehr Raffinesse.“

Im Experiment erforderte das Matching, dass KI-Modelle die Finalisten-Bildunterschrift für den gegebenen Cartoon aus den „Ablenkern“ auswählen mussten, die Finalisten waren, aber für andere Wettbewerbe; Qualitätsranking erforderte Modelle zur Unterscheidung eines Finalisten von einem Nicht-Finalisten; und erklärungsbedürftige Modelle, um Freitext zu generieren, der sagt, wie sich eine hochwertige Bildunterschrift auf den Cartoon bezieht.

Hessel hat die meisten von Menschen erstellten Erklärungen selbst verfasst, doch nach Crowdsourcing erwies sich die Aufgabe als unbefriedigend. Er verfasste 60-Wörter-Erklärungen für mehr als 650 Cartoons.

„Eine Zahl wie 650 scheint im Kontext des maschinellen Lernens nicht sehr groß zu sein, wo man oft Tausende oder Millionen von Datenpunkten hat“, sagte Hessel, „bis man anfängt, sie aufzuschreiben.“

Diese Studie zeigte eine erhebliche Lücke zwischen dem „Verständnis“ der KI und des Menschen, warum ein Cartoon lustig ist. Die beste KI-Leistung in einem Multiple-Choice-Test zum Zuordnen von Cartoon und Bildunterschrift betrug nur 62 % Genauigkeit und lag damit weit hinter den 94 % von Menschen in der gleichen Umgebung. Und wenn es darum ging, von Menschen und KI generierte Erklärungen zu vergleichen, wurden Menschen etwa im Verhältnis 2 zu 1 bevorzugt.

Während KI möglicherweise noch nicht in der Lage sei, Humor zu „verstehen“, schrieben die Autoren, könnte sie ein kollaboratives Werkzeug sein, das Humoristen zum Brainstorming von Ideen nutzen könnten.

Weitere Mitwirkende sind Ana Marasovic, Assistenzprofessorin an der University of Utah School of Computing; Jena D. Hwang, wissenschaftliche Mitarbeiterin am AI2; Jeff Da, wissenschaftlicher Mitarbeiter an der University of Washington Rowan Zellers, Forscher bei OpenAI; und der Humorist Robert Mankoff, Präsident von Cartoon Collections und langjähriger Cartoon-Redakteur beim New Yorker.

Die Autoren haben diesen Aufsatz im Geiste des Themas geschrieben und ihn durchgehend mit spielerischen Kommentaren und Fußnoten versehen.

„Diese drei oder vier Jahre der Forschung haben nicht immer besonders viel Spaß gemacht“, sagte Lee, „aber etwas, das wir in unserer Arbeit oder zumindest in unserem Schreiben versuchen, ist, mehr Spaß zu fördern.“

Referenz: Jack Hessel, Ana Marasovic, Jena D. Hwang, Lillian Lee, Jeff Da, Rowan Zellers, Robert Mankoff und Yejin Choi. Lachen Androiden über elektrische Schafe? Humor-„Verständnis“-Benchmarks vom New Yorker Caption Contest. Proc conf Assoc Comput Linguist (Band 1: Long Papers), 2023. Seiten 688–714. doi:

Dieser Artikel wurde aus den folgenden Materialien erneut veröffentlicht. Hinweis: Das Material wurde möglicherweise hinsichtlich Länge und Inhalt bearbeitet. Für weitere Informationen wenden Sie sich bitte an die angegebene Quelle.