• Zuhause
  • Artikel
  • AMI Residency Teil 1: Den (Wort-) Raum erforschen, Bedeutung auf Lärm projizieren, erlernt gegen menschliche Vorurteile.
Veröffentlicht am 15-08-2019

AMI Residency Teil 1: Den (Wort-) Raum erforschen, Bedeutung auf Lärm projizieren, erlernt gegen menschliche Vorurteile.

Frauen haben Vagina, Männer Nasenlöcher

Dies ist der zweite Artikel aus einer Reihe von Artikeln [1, 2, 3] zu Forschungsarbeiten, die ich in den letzten Jahren durchgeführt habe und über die ich gerade erst schreibe. Im Mai / Juni 2016 war ich bei Google im Bereich Artists & Machine Intelligence tätig. Ich habe einige verwandte Themen mit separaten Ausgaben untersucht. Ich werde also in zwei Beiträgen darüber schreiben. Dies ist die erste davon.

Links zu diesem Beitrag:
- @wordofmath, @wordofmathbias, @almost_inspire
- Python und OF / C ++ src unter https://github.com/memo/ofxMSAWord2Vec
- (zu diesem Artikel ist kein Artikel vorhanden)

Einführung

Das Erkunden des latenten Raums kann eine sehr faszinierende Sache sein. Ich habe vorher hier ausführlich darüber geschrieben. Um es kurz zu machen, ein latenter Raum kann als hochdimensionaler Raum betrachtet werden, in dem ein einzelner Punkt eine einzelne Dateninstanz oder -probe darstellt. Am wichtigsten ist, dass wir versuchen können, diesen latenten Raum so zu konstruieren, dass er im Idealfall eine Art bedeutungsvoller semantischer Beziehungen erfasst, z. so dass wir geometrische Operationen an Punkten durchführen können, um sie zu transformieren, oder in bestimmte Richtungen bewegen können, um die Daten sinnvoll zu manipulieren, z. einem Gesicht eine Brille hinzufügen oder ein Gesicht zum Lächeln bringen usw.

Einige Aspekte des maschinellen Lernens (ML) können als Lernfunktionen betrachtet werden, die von unseren Eingabe- und Ausgabebereichen (z. B. rohen Pixeln) auf solche latenten Räume abgebildet werden. Das Weiterleiten von Daten durch ein tiefes neuronales Netzwerk kann als Reise durch mehrere Dimensionen und Transformationen im Raum (und in der Zeit) betrachtet werden.

Word-Einbettungen

Worteinbettungen (oder Wortvektoren) sind ein ähnliches Konzept, das auf Wörter angewendet wird. Man kann das Vokabular einer Sprache (z. B. 20.000 Wörter, 50.000 Wörter, 100.000 Wörter usw.) nehmen und sie als Punkte in einem beliebigen hochdimensionalen Raum darstellen.

Es gibt einige etablierte Algorithmen, die dies tun, insbesondere Word2Vec und GloVE. Hierbei handelt es sich um Lernalgorithmen, die einen großen Textbestand (z. B. 100 Milliarden Wörter) durchlaufen und lernen, wie Wörter in einem hochdimensionalen Raum (z. B. 300D) so positioniert werden, dass komplexe, aussagekräftige räumliche Beziehungen zwischen den Wörtern bestehen. Es ist nicht nur so, dass Wörter, deren Bedeutung in Beziehung steht, nahe beieinander liegen, sondern auch die Richtungen und Entfernungen, in denen sie organisiert sind, bedeuten etwas.

Mikolov, T., Corrado, G., Chen, K. & Dean, J. (2013). Effiziente Schätzung von Wortrepräsentationen im Vektorraum. Tagungsband der International Conference on Learning Representations (ICLR 2013)

Und so können wir bekanntermaßen mathematische Operationen mit Wörtern durchführen. Sie können im linken Bild sehen, dass der Vektor vom Wort "König" zur "Königin" dem Vektor von "Mann" zur "Frau" sehr ähnlich ist. zu 2D für Visualisierungszwecke). Oder tatsächlich ist der Vektor von „Mann“ zu „König“ dem Vektor von „Frau“ zu „Königin“ sehr ähnlich. Wir können also den Vektor von "Mann" zu "König" (d. H. "König" - "Mann") zum Vektor für "Frau" hinzufügen und erhalten einen neuen Punkt in diesem 300D-Latenzraum. Wenn wir nach dem nächstgelegenen Wort zu diesem Punkt suchen, werden wir feststellen, dass es "Königin" ist (tatsächlich ist dies nicht ganz korrekt, dazu später mehr).

Wort-Analogien

Wir können dies als das berühmte word2vec-Beispiel schreiben:
König - Mann + Frau => Königin

Dies ist auch als Word-Analogie bekannt und wird häufig in der folgenden Syntax geschrieben:
Mann: König :: Frau: [Königin]
(zu lesen als: "Mann ist König wie Frau?" und das Modell gibt "Königin" zurück)

In ähnlicher Weise ist der Vektor von "Gehen" zu "Gehen" dem Vektor von "Schwimmen" zu "Schwimmen" sehr ähnlich. Das Modell scheint auch Zeitformen zu lernen. Auch Land-Kapital-Beziehungen, z.B. Vergleichen Sie die Vektoren von „Spanien“ zu „Madrid“ und „Italien“ zu „Rom“ usw.

Am wichtigsten ist, dass diese Beziehungen während des Trainings vom Menschen nicht explizit erzwungen werden. Sie werden unbeaufsichtigt aus dem Trainingskorpus gelernt. Der Lernalgorithmus durchläuft den Text und nimmt Muster auf, wie Wörter in Sätzen und Phrasen angeordnet sind, und leitet daraus ab, wie die Vektoren zugewiesen werden sollen.

Denken Sie auch daran, dass die obigen Diagramme Projektionen in den 3D-Raum (in den 2D-Raum projiziert) sind, damit wir sie anzeigen können. In Wirklichkeit ist dieser latente Raum 300D groß, sodass er weitaus mehr Beziehungen in Richtungen erfasst, als wir uns überhaupt vorstellen können. Und wer weiß, was es sonst noch lernt.

Also habe ich ein paar Twitter-Bots geschrieben, um diesen Raum zu erkunden.

@WordOfMath

Dieser Bot führt zufällige mathematische Operationen an zufälligen Wörtern durch und tweetet die Ergebnisse.

Zunächst werden 2 bis 4 vollständig zufällige Wörter aus einem Wortschatz von 100.000 Wörtern ausgewählt (tatsächlich sind es 53.000 Wörter, die in der Quelle erläutert wurden. Es wird geschätzt, dass ausgebildete englische Muttersprachler einen Wortschatz von etwa 20.000 bis 30.000 Wörtern haben). Der Bot zeichnet diese Wörter in einem hochdimensionalen latenten Raum auf (unter Verwendung des berühmten word2vec-Modells, das von Mikolov et al. An 100 Milliarden Wörtern von Google News trainiert wurde). Es führt dann zufällige arithmetische Operationen (Addition oder Subtraktion) an diesen Vektoren durch. Dies führt zu einem neuen Ort im hochdimensionalen Raum. Der Bot gibt dann die nächsten Wörter zurück.

https://twitter.com/wordofmath

Das heißt "Mensch" - "Gott" = "Tier" bedeutet, dass der Bot die Wörter "Mensch" und "Gott" zufällig ausgewählt und zufällig entschieden hat, eine Subtraktion durchzuführen. Es subtrahiert den Vektor für 'Gott' vom Vektor für 'Mensch' und findet und twittert das diesem Punkt am nächsten liegende Wort, in diesem Fall 'Tier' (tatsächlich twittert es die fünf am nächsten liegenden Wörter, hier habe ich nur einige von Hand ausgewählt meiner Lieblingsergebnisse).

Oben sehen Sie einige unverfälschte Ergebnisse. Aber ich sollte darauf hinweisen, dass es Hunderte (wenn nicht Tausende?) Von Ergebnissen gibt, und ich habe einige meiner Favoriten ausgewählt. (Ich habe sie nicht alle gründlich durchgesehen, es könnten noch viel interessantere sein.)

Ursprünglich habe ich kuratiert und versucht, Regeln für die Wörter festzulegen, aus denen der Bot auswählen soll, damit die Ergebnisse „sinnvoller“ und interessanter werden. Dabei wurde mir klar, dass ich die Fähigkeit des Bots einschränkte, kreativere (und vermutlich interessantere oder unerwartetere) Ergebnisse zu erzielen. Also entfernte ich alle Einschränkungen, die ich auferlegt hatte, und ließ den Bot den Raum viel freier erkunden. Es liefert jetzt Ergebnisse, die oft unsinniger und manchmal viel schwieriger zu verstehen sind.

Und genau darum ging es in diesem Projekt.

Es geht nicht darum, was das Modell uns sagt, sondern darum, wonach wir suchen und was wir im Ergebnis sehen.

Unzählige Beispiele finden Sie auf Twitter. Nachstehend einige von mir ausgewählte. Einige der ersten Beispiele sind wahrscheinlich recht einfach zu interpretieren.

Mensch - Gott = Tier

Das ist interessant. Es könnte so interpretiert werden: „Wenn wir nicht an Gott glauben, werden wir auf die Ebene der primitiven Tiere herabsteigen“ oder alternativ: „Was den Menschen von anderen Tieren unterscheidet, ist, dass wir nach dem Bilde Gottes geschaffen wurden ”. Oder vielleicht: „Menschen sind nur Tiere, die Religionen und Glauben an Gott erfunden haben“ usw.

Es gibt wahrscheinlich viele andere Möglichkeiten, dies zu interpretieren, und ich bin gespannt auf weitere Ideen. Aber die Wahrheit ist, ich glaube nicht, dass es eines dieser Dinge bedeutet. Denn dahinter steht niemand, der es sagt, um ihm einen Sinn zu geben. Es ist nur Rauschen, das von einem Filter geformt wird, und dann projizieren wir, was wir wollen. Es ist nur ein Ausgangspunkt für uns, bewusst oder unbewusst das zu formen, was wir wollen.

Einige mögen anderer Meinung sein und sagen, dass das Modell aus dem massiven Textkorpus gelernt hat, auf den es trainiert hat, und dass dieses vom Modell erzeugte Artefakt die im Korpus eingebetteten Bedeutungen trägt. Dies ist natürlich bis zu einem gewissen Grad der Fall und kann anhand der zuvor angegebenen Beispiele überprüft werden, z. B. König-Mann + Frau = Königin oder Gehen-Gehen + Schwimmen = Schwimmen. Sicher ist es kein Zufall, dass das Modell in diesen Fällen so aussagekräftige Ergebnisse liefert?

Anscheinend hat das Modell etwas gelernt. Wenn wir jedoch anfangen, die Grenzen des Modells zu überschreiten, ist es am besten, wenn wir der Versuchung widerstehen, zu Schlussfolgerungen darüber zu springen, was das Modell gelernt hat, verglichen mit den möglicherweise 'halbzufälligen' Ergebnissen, wobei unser Gehirn den Rest des Bildes vervollständigt . Ich schlage nicht vor, dass es einen Grenzwert dafür gibt, wann das Modell keinen Sinn mehr macht und anfängt, zufällige Ergebnisse zu generieren. Es ist eher ein Spektrum. Je mehr wir uns von dem abwenden, womit sich das Modell "wohl" fühlt (dh während des Trainings reichlich gesehen hat, gelernt hat und verallgemeinern kann), desto wichtiger ist das Rauschen in der Ausgabe (dh niedrigeres Signal-Rausch-Verhältnis). und möglicherweise, je fruchtbarer die Ergebnisse für unsere voreingenommenen Interpretationen sind.

Ich werde darauf etwas später näher eingehen. Aber zuerst noch ein paar Beispiele.

naturgott = dynamik

Ich mag dieses besonders. Ich interpretiere es als "ohne die Notwendigkeit eines Gottes, Natur ist nur die Gesetze der Physik".

twitter + bot = memes

Ich konnte es nicht glauben, als ich es sah. Es bedarf fast keiner Erklärung. "Bots auf Twitter werden zu Memes". Zu schön um wahr zu sein.

Sex - Liebe = Geschlechtsverkehr, Masturbation, Prostitution, Vergewaltigung

Dies ist eine mächtige. Ich interpretiere es als "Sex ohne Liebe ist nur Geschlechtsverkehr" oder "Prostitution ist Sex ohne Liebe" oder "Vergewaltigung beinhaltet Sex und Hass (als das Gegenteil von Liebe)". Diese Ergebnisse sind sehr interessant. Aber auch hier sollte nicht angenommen werden, dass das Modell diese bestimmte Interpretation aus den Trainingsdaten lernt. Höchstwahrscheinlich befinden sich alle diese Wörter in der Nähe von „Geschlecht“ und / oder „Liebe“, da es sich um verwandte Wörter handelt. Und ja, vielleicht liegen diese Wörter in einer bestimmten Richtung von "Liebe" oder "Sex". Es gibt jedoch einen Unterschied zwischen einer Reihe von Wörtern, die im Raum angeordnet sind, und dem Satz „Sex ohne Liebe ist Geschlechtsverkehr oder Prostitution…“. Letzteres ist meine Interpretation der räumlichen Anordnung.

Behörden - Philosophie = Polizei, Regierungen

Ich muss meine Kreativität beflügeln, um diesen einen Sinn machen zu können. Ich frage mich: „Wenn wir Philosophie als den Akt des Denkens betrachten, als logisch und kritisch; dann sagt dieser Satz vielleicht, dass Polizei und Regierungen Behörden sind, die nicht denken und nicht logisch sind? " Oder mit anderen Worten: „Welche Arten von Behörden haben kein kritisches Denken? Polizei und Regierungen “.

Bart - gerechtfertigt - Raum + Lehre = Theologie, Prediger

Dieser schiebt die Grenzen meiner Kreativität noch weiter. Aber ich kann immer noch einen Sinn finden, wenn ich mich bemühe. Z.B. Nehmen wir an, ein Bart bedeutet traditionell und stereo-typisch Weisheit. Stellen Sie sich einen Bart vor, der nicht gerechtfertigt ist - d. H. Er gibt vor, Weisheit zu bedeuten, aber tatsächlich nicht. Tatsächlich ersetzt dieser Bart auch den Raum (von dem ich großzügig annehme, dass er das Universum, das Wissen und die Wissenschaft repräsentiert) durch eine Lehre. Wo könnten wir einen solchen Bart finden, der vorgibt, weise zu sein, aber die Wissenschaft durch Lehre ersetzt? In der Theologie natürlich, z.B. ein Prediger.

Natürlich bin ich sehr bemüht, einen quadratischen Stift in ein rundes Loch zu stecken, und versuche, diesen vom Modell ausgespuckten „halbzufälligen“ Satz zu verstehen. Es würde mich nicht wundern, wenn jemand diesen Satz so interpretieren könnte, dass er genau das Gegenteil von dem ist, was ich gewählt habe.

Bedeutung auf Lärm projizieren

Trotzdem finde ich diese Ergebnisse unendlich faszinierend. Nicht weil ich denke, dass das Modell die englische Sprache so gut versteht, sondern weil es als eine Art "Bedeutungsfilter" fungiert.

Was in das Modell einfließt, ist völlig zufällig (d. H. Die Wörter und Rechenoperationen, die der Bot auswählt). Oder, um etwas genauer mit meiner Sprache umzugehen, stellen Sie sich Rauschen mit einer gleichmäßigen Verteilung vor, weißes Rauschen.

Vermutlich gibt es hier nicht viel Material, mit dem Sie sich beschäftigen und Geschichten schreiben können? Es ist so ziemlich eine leere Tafel.

Das Modell wendet dann effektiv einen Filter auf dieses Rauschen an, biegt es, formt es und es entsteht eine neue Art von Rauschen.

https://en.wikipedia.org/wiki/File:Rorschach_blot_01.jpg

Allgemeiner ausgedrückt, sehe ich diese latenten Räume als Möglichkeiten, Tintenkleckse nach Rorschach-Art für verschiedene Bereiche zu konstruieren, z. Wörter, Bilder, Töne, Text usw. Zufällige Zahlen oder Prozesse (d. h. weißes Rauschen) fließen in das Modell ein und es werden mehr „strukturierte Zufallsergebnisse“ ausgegeben. Es ist immer noch "zufällig", aber mit einer spezifischeren Verteilung, mehr Struktur. Mit einer ausreichenden Struktur, damit wir die Dinge sehen und die Bedeutung darauf projizieren können.

Und wir sind Maschinen, die sich nach Struktur sehnen und auf die wir Bedeutung projizieren. Weil wir das tun. So haben wir es immer gemacht. So überleben wir in der Wildnis, so verhalten wir uns zueinander. Wir erfinden Geschichten, wir erfinden Sachen und wir glauben ihnen. Wir suchen nach Regelmäßigkeiten und projizieren Bedeutungen darauf, basierend darauf, wer wir sind und was wir wissen.

Alles, was wir sehen, lesen oder hören, auch diese Sätze, die ich gerade schreibe, versuchen Sie zu verstehen, indem Sie sich auf Ihre eigenen früheren Erfahrungen beziehen, gefiltert nach Ihren vorherigen Überzeugungen und Kenntnissen.

Manchmal - wie bei diesen Wörtern auf dieser Seite - ist wohl eine beabsichtigte Bedeutung in das Artefakt eingebettet. Dies ist eine Bedeutung, die ein Autor wie ich, der Produzent des Artefakts, auferlegt hat - eingebettet in eine gemeinsame Sprache, Kommunikationsmethode und Kontext (z. B. das lateinische Alphabet, die englische Sprache usw.). In diesem Fall interpretieren Sie die eingebettete Bedeutung hoffentlich so, wie ich es beabsichtigt hatte. Sie werden dies als Ausgangspunkt verwenden und dann in Kombination mit den Überzeugungen, die Sie bereits in sich tragen, eine Botschaft wegnehmen, die hoffentlich etwas mit meiner beabsichtigten Bedeutung in Einklang steht. Aber vielleicht auch nicht, es ist sehr leicht, aufgrund unklarer Kommunikationen zu Meinungsverschiedenheiten zu kommen. Fragen Sie einfach Richard Dawkins.

Aber wir finden immer noch Sinn, auch an Orten, an denen es nicht immer einen beabsichtigten, eingebetteten Sinn gibt, oder an denen überhaupt kein Autor vorhanden ist. Wie wenn wir Gesichter in Wolken sehen oder Heilige in Toast. Oder sogar wie die vielen verschiedenen Mythen und Geschichten, die von den vielen verschiedenen Kulturen der Welt erfunden wurden, wenn man die hellen Punkte betrachtete, die den Nachthimmel schmücken.

Dies ist, was ich an Deepdream geliebt habe, als es letztes Jahr herauskam. Nicht, dass es trippige Welpenschnecken und Vogeleidechsen hervorgebracht hätte. Aber dass es Rauschen nahm und es gerade genug verzerrte, so dass wir anfingen, Bedeutung darauf zu projizieren, um welpenähnliche, schneckenähnliche, vogelähnliche Merkmale zu erkennen und zu interpretieren - so wie es der Algorithmus selbst tat.

Ich habe einen längeren Beitrag über deepdream im Zusammenhang mit diesem Gedankengang geschrieben (hier), und eine Zusammenfassung des relevanten Teils lautet wie folgt:

Wenn wir uns diese von Deep Dream erzeugten Bilder ansehen, sagen wir: "Oh, es ist eine Welpenschnecke oder eine Vogeleidechse." Aber eigentlich gibt es so etwas nicht. Es gibt keine Vögel oder Eidechsen oder Welpen oder Schnecken in diesen Bildern. Es gibt nur Vogel- * ähnliche *, Welpen- * ähnliche *, Schnecken- * ähnliche * Merkmale. Das künstliche neuronale Netzwerk erkennt diese Merkmale im Originalbild vage, die entsprechenden künstlichen Neuronen feuern jedoch schwach und irgendwo tief im latenten Raum. Der Deepdream-Algorithmus modifiziert die Bilder, um diese Brände zu verstärken. Und dann * sehen * wir uns diese Bilder an, und bestimmte Aktivitäten in unserem Gehirn registrieren dieselben vogelartigen, welpenartigen, schneckenartigen Merkmale. Trotzdem gibt es hier keine Vögel oder Welpen. * Wir * schließen diesen Erkennungsprozess ab, indem wir diese Bedeutungen mit einer bestimmten Verteilung auf das zurückprojizieren, was im Wesentlichen Rauschen ist. Und ich würde behaupten, dass dies wirklich die Essenz unserer gesamten Existenz ist: den Sinn bestimmter Lärmverteilungen zu erkennen.

Gelernt gegen menschliche Voreingenommenheit

Etwa zur gleichen Zeit, als ich diese Untersuchungen durchführte, wurde eine Untersuchung veröffentlicht, die sich mit den gesellschaftlichen Vorurteilen befasste, die durch die Modelle erlernt wurden [1, 2].

Vater: Arzt :: Mutter: [Krankenschwester]

Insbesondere ein Ergebnis war weit verbreitet und sorgte für Schlagzeilen. Bei der Angabe "Arzt-Vater + Mutter" (d. H. "Vater soll Arzt sein, wie Mutter?") Gibt das Modell anscheinend "Krankenschwester" zurück. Wenn dies zutrifft, ist dies ein eindeutiger Beweis für eine starke geschlechtsspezifische Verzerrung im Modell, die aus den Trainingsdaten (in diesem Fall 100 Milliarden Wörter von Google News) abgeleitet wurde.

Dies ist jedoch leider nicht ganz richtig.

Wenn wir eine Operation wie "König-Mann + Frau" ausführen, ist das dem Endpunkt am nächsten liegende Wort in Wirklichkeit nicht immer "Königin". Es ist ziemlich wahrscheinlich, dass es "König" ist. Tatsächlich ist bei allen obigen Operationen das nächstliegende Wort normalerweise eines der ursprünglichen Wörter, die in der Eingabeabfrage vorlagen (d. H. König, Mann oder Frau). Wenn wir diese Operationen ausführen, entfernen wir die Eingabewörter manuell aus den Ergebnissen, die das Modell zurückgibt (d. H. Herausfiltern, ignorieren). Im Fall von "Arzt-Vater + Mutter" gibt das Modell tatsächlich "Arzt" als nächstgelegenes Wort zurück, wobei "Krankenschwester" das zweitnächste ist. Tatsächlich sind die fünf wichtigsten Wörter des Modells Arzt, Krankenschwester, Ärzte, Arzt, Zahnarzt (Sie können es hier ausprobieren).

Die Autoren der Artikel geben ausdrücklich an, dass „[Worteinbettungen] verborgene Vorurteile aufweisen, die dem Datensatz inhärent sind, auf dem sie trainiert werden… und voreingenommene Lösungen zurückgeben… wie zum Beispiel Vater: Arzt :: Mutter: Krankenschwester“. Dieses Gefühl kommt in beiden Abhandlungen oft zum Ausdruck, und tatsächlich ist eine erlernte Voreingenommenheit die Grundlage der Forschung.

Tatsächlich hat das Modell diese geschlechtsspezifische Ausrichtung nicht gelernt. Das Top-Ergebnis des Modells ist in der Tat "Doktor", aber dieses Ergebnis wird ignoriert und "Krankenschwester" (das 2. Top-Ergebnis) wird im Papier als Top-Ergebnis des Modells angegeben. Dies ist entweder eine reine Lüge (was ich sehr bezweifle) oder ein menschlicher Benutzerfehler der Autoren des Papiers (was wahrscheinlicher ist). Ich hoffe und denke, dass es ein harmloser Fehler ist und die Autoren nicht direkt mit dem Modell arbeiten, sondern eine Schnittstelle eines Drittanbieters zum Modell verwenden. Diese Benutzeroberfläche von Drittanbietern filtert, und die Autoren sind sich dessen möglicherweise gar nicht bewusst (z. B. ist hier eine ungefilterte Online-Benutzeroberfläche für das Modell und hier eine gefilterte Online-Benutzeroberfläche - wählen Sie das englische Google News-Modell aus. Alternativ kann ich Habe hier Python- und C ++ - Code, um direkt mit dem Modell zu spielen.

Nichtsdestotrotz wurde diese Untersuchung in den Nachrichten und in den sozialen Medien als viral eingestuft und weit verbreitet - insbesondere in Bezug auf dieses spezielle Ergebnis - auch auf Websites wie MIT Technology Review. Ein interessanter Aspekt dabei ist, dass gefälschte Nachrichten zwar ein großes Problem sind, wir "intellektuell kritischen Denker" sie jedoch im Allgemeinen gerne der "anderen Seite" zuschreiben - der Daily Mail, Breitbart und alt-right auf Facebook (jetzt mehr) aktueller denn je). Warum meldet MIT Technology Review falsche Nachrichten? Warum teilen es alle auf Twitter und Facebook? Sind die Leute, die nach Voreingenommenheit und Ungerechtigkeit in Modellen des maschinellen Lernens suchen, nicht die kritischen Denker, die "Guten"?

Dies ist ein großes Thema für einen anderen Beitrag, aber es ist die Motivation für das folgende Projekt, sodass ich kurz darauf eingehen werde.

Es scheint, dass die menschliche Tendenz bei der Interpretation der Ergebnisse stärker ist als jede Tendenz, die in das Experiment oder Modell eingebettet ist. Und niemand ist dagegen immun (einschließlich mir natürlich, was der Perspektive dieses Artikels innewohnt).

Es scheint, als wollten die Autoren dieser Artikel Voreingenommenheit im word2vec-Modell finden, ohne wirklich zu hinterfragen, wie oder warum sie diese Ergebnisse erzielten. Es scheint, dass MIT Technology Review eine Verzerrung des Sprachmodells melden wollte, ohne die Forschung in Frage zu stellen. Warum sollten sie es schließlich in Frage stellen? Die Ergebnisse waren in einem Papier! (NB. Ein Beitrag zu arxiv ist nicht von Fachleuten begutachtet, jeder kann dort Beiträge verfassen, und er sollte keine Befugnisse haben. Ein Beitrag auf einem Workshop wird nicht auf dem gleichen Prüfungsniveau gehalten wie eine Konferenz oder ein Journal.)

Offenbar wollten alle, die diese Artikel auf Twitter und Facebook geteilt haben, Geschichten über erlernte geschlechtsspezifische Voreingenommenheit in ML-Modellen teilen. Warum sollten sie MIT Technology Review hinterfragen? oder Forscher an der Boston University oder Microsoft Research?

Und am wichtigsten ist, dass die Fragen, die in den Papieren gestellt werden, wichtige Fragen sind und gestellt und diskutiert werden sollten, und ich lobe die Autoren dafür (tatsächlich wäre das nächste Projekt möglicherweise nicht zustande gekommen, wenn sie es nicht wären - und sie viele andere Studien in den Papieren durchführen, die sehr gültig sind).

Trotzdem finde ich es faszinierend, wie wir unsere Wachsamkeit aufgeben und unsere Verbündeten - Geschichten, Erzählungen und Beweise - weniger kritisieren können, wenn sie mit Ursachen in Einklang stehen, die wir unterstützen und an die wir glauben. Es ist fast so, als wären wir bereit um unsere Kriterien für die kritische Beurteilung zu lockern und ein wenig auf die Wahrheit zu verzichten, wenn es sich um einen „guten Zweck“ handelt (dies ist etwas, das in meinen Überlegungen häufig vorkommt, und ich habe hier kurz darüber geschrieben, mit einem klassischen Beispiel hier ).

Ich behaupte nicht, dass das Modell keine erlernten Vorurteile enthält. In der Tat gibt es zweifellos erlernte Verzerrungen im Modell, es gibt fast immer Verzerrungen in einem Modell, deshalb wurde das Gebiet der Statistik von Anfang an geboren! (d. h. um diese Verzerrung zu untersuchen und zu minimieren - ich habe hier über eine kurze Geschichte der maschinellen und statistischen Verzerrung geschrieben).

Es ist nur so, dass "Arzt-Vater + Mutter = Krankenschwester" in diesem Fall kein Beispiel dafür ist. Wenn überhaupt, ist dies ein Beleg für die menschliche Befangenheit bei der Interpretation, Berichterstattung und Weitergabe der Ergebnisse.

Also begann ich darüber nachzudenken, wie man die geschlechtsspezifische Verzerrung im Modell untersuchen könnte.

@WordOfMathBias

https://twitter.com/wordofmathbias

Alles, was ich bis zu diesem Punkt gesagt habe - das Projizieren von Bedeutung auf Lärm und das Vergleichen von menschlicher Voreingenommenheit - war die Motivation für diesen Twitter-Bot.

Dieser Bot ähnelt dem vorherigen, aber es geht eher darum, gesellschaftliche Vorurteile (insbesondere das Geschlecht) zu untersuchen, die das Modell möglicherweise aus den Trainingsdaten gelernt hat. Es sucht nach zufälligen Wort-Analogien mit "Mann" und "Frau" und führt sie in beide Richtungen aus.

Das heißt Wenn ungefiltert "Mann: Arzt: Frau:?" den Arzt zurückgibt, was nicht sehr interessant ist, gewinnen wir nicht viel Einsicht über das Modell oder die Daten. Wenn gefiltert, bekommen wir eine Krankenschwester, was interessant ist, aber nicht viel sagt. Das heißt Dies kann nicht als das Modell interpretiert werden, das behauptet: "Mann ist Arzt, wie Frau ist Krankenpflege" (siehe voriger Abschnitt).

Wenn wir jedoch "Mann" und "Frau" vertauschen und auch "Frau: Arzt: Mann:?" Ausführen und die Ergebnisse filtern, erhalten wir "Arzt". Das ist interessant und wirft mehr Licht auf das Modell, denke ich. Während das beste (ungefilterte) Ergebnis für "Mann: Arzt" und "Frau: Arzt" immer noch "Arzt" ist, ist das zweite beste Ergebnis für Frauen "Krankenschwester", während das zweite beste Ergebnis für Männer "Arzt" ist. Dies ist eindeutig eine Verzerrung, die in das Modell eingebettet ist und aus den Trainingsdaten gelernt wurde. Ich frage mich, was noch drin ist?

Dieser Bot untersucht also Worteinbettungen auf diese Weise. Es wählt ein völlig zufälliges Wort aus, fügt den Vektor von "Mann" zu diesem Wort zu "Frau" hinzu und gibt die Ergebnisse zurück. Außerdem wird der Vektor von "Frau" zu diesem Wort zu "Mann" hinzugefügt und das Ergebnis zurückgegeben. In beiden Fällen werden die ersten vier Ergebnisse zurückgegeben und die eingegebenen Abfragewörter herausgefiltert, um Speicherplatz zu sparen.

Es ist nicht sehr wissenschaftlich, eher eine gelegentliche Erkundung. Aber tatsächlich geht es nicht nur darum, die erlernten Vorurteile im Modell zu untersuchen, sondern auch um die menschlichen Vorurteile in unseren Interpretationen. Genau wie im Fall von @wordofmath bot finde ich es interessant zu sehen, wie wir versuchen, Bedeutung auf die Ergebnisse zu projizieren. Da der Bot ein wirklich zufälliges Wort auswählt (d. H. Weißes Rauschen, gleichmäßige Verteilung), sind die Ergebnisse oft recht schwer zu interpretieren. Und nach wie vor lesen wir aus diesem strukturierten Rauschen, was wir lesen wollen.

Z.B.

Wenn das zufällige Wort "angefordert" ist, "stimmt" oder "fordert" eine Frau zu, während ein Mann "anweist" oder "zustimmt". Bin ich es oder scheinen die Worte des Mannes eher eine positive Konnotation zu haben? Sagt das etwas über die Trainingsdaten aus? oder lese ich zu viel hinein? Sagt es etwas über das Modell aus? Oder sagt es mehr über mich und die Art, wie ich denke? Wie hätte ich diese Ergebnisse vor 10 Jahren im Vergleich zu heute interpretiert? Wie werde ich sie in 10 Jahren interpretieren?

Wenn das zufällige Wort "Likes" ist, liebt oder genießt eine Frau, während ein Mann "genießt" oder "weiß". Wie kommt es, dass eine Frau „genießt“, während ein Mann „weiß“? Bedeutet das etwas? Oder könnte es so belanglos sein, als würde es durch Gleitkomma-Rundungsfehler verursacht?

Wenn das zufällige Wort "Charaktere" ist, ist die Frau "Heldinnen" oder "Schauspielerinnen", während der Mann "Bösewichte" oder "Monster" ist.

Wenn das zufällige Wort "Autos" ist, ist das einzige Wort, das sich unterscheidet, "Limousine" für die Frau und "Transporter" für den Mann. Ich denke, es ist üblicher, männliche Van-Fahrer als weibliche zu haben. Ist das ein Zufall? Oder hat das Modell das tatsächlich gelernt?

Dies ist sehr interessant, wenn das zufällige Wort "gekaut" wird, das einzige andere Wort für die Frau "gegessen" und für den Mann "verschlungen" wird. Persönlich ist "verschlungen" eine ziemlich genaue Beschreibung, wie ich esse. Aber ich weiß noch nicht, ob ich gerade zu viel hineinlese.

Frauen sind eher mit „Interessenvertretung“ oder „Wohltätigkeitsorganisationen“ verbunden, während Männer eher mit einer „Mannschaft“ oder einem „Verein“ verbunden sind. Das klingt wieder glaubwürdig.

Zu den "sozialen" Themen im Zusammenhang mit Frauen zählen "Geschlecht", "Mütter", "Wohlfahrt", während es sich bei Männern um "soziologische", "Jugend" und "intellektuelle" Themen handelt.

Als Reaktion auf "Augenlider" haben Frauen "Vagina" und "Wangen", während Männer "Nasenlöcher" und "Stirn" haben.

Schließlich,

Frau ist zu "Wanne" oder "Tablett", wie Mann zu "Eimer" oder "Sieb". Was bedeutet das? Ich bin sicher, dass man dies als Ausgangspunkt für einen Aufsatz verwenden könnte, wenn man es sich genau so überlegt, wie ich es mit dem Beispiel „Bart-gerechtfertigter-Raum + Doktrin = Theologie, Prediger“ getan habe.

Das Modell gibt ein Ergebnis zurück, egal wie lächerlich die Frage ist, die Sie stellen. Ich erinnere mich wieder an eines meiner Lieblingszitate (die ich auch in meinem Beitrag zur Geschichte der statistischen Verzerrung wiedergebe):

[auf Babbages Rechenmaschinen]
„Zweimal wurde ich [von Abgeordneten] gefragt,
"Beten Sie, Herr Babbage, wenn Sie die falschen Zahlen eingeben, werden die richtigen Antworten herauskommen?"
Ich bin nicht in der Lage, die Art von Ideenverwirrung zu verstehen, die eine solche Frage provozieren könnte. “
- Charles Babbage (1791–1871), „Passagen aus dem Leben eines Philosophen“, 1864

Es besteht kein Zweifel, dass Worteinbettungen tatsächlich lernen können, Wörter in hohen Dimensionen räumlich so zu positionieren, dass sie eine Art sinnvoller Beziehungen erfassen. Dies schließt Verzerrungen ein, die in die Trainingsdaten eingebettet sind. Und wenn solche Modelle für die kritische Entscheidungsfindung verwendet werden, hat jede durch solche Vorurteile verursachte Diskriminierung wahrscheinlich sehr negative Konsequenzen, insbesondere für diejenigen, die bereits benachteiligt sind.

Vermischt damit, sind diese Ausgaben oft so fein zwischen "zufällig" und "strukturiert" positioniert, dass es manchmal sehr schwierig ist zu wissen, ob tatsächlich eine Bedeutung dahinter steckt, dh ob die Verzerrungen im Modell eingebettet sind oder wir projizieren nur das, was wir sehen wollen, und decken unsere eigenen Vorurteile bei der Interpretation der Ergebnisse auf. Manchmal ist die Projektion von zu viel Bedeutung auf die Ausgabe eines Modells so, als würde man Jesu Gesicht in einem Stück Toast sehen und sich davon überzeugen, dass es eine Botschaft von Gott ist.

In manchen Fällen ist dies nicht immer eine schlechte Sache. Ich finde die Idee faszinierend, ML-Modelle und latente Räume als Bedeutungsfilter zu verwenden, unsere eigenen Vorurteile und Wahrnehmungen zu hinterfragen - gleichmäßige Rauschverteilungen (dh völlig zufälliges, dh weißes Rauschen) zu nehmen und sie in etwas strukturierteres Rauschen zu biegen , wie parametrische Rorschach-Inkblot-Generatoren, für verschiedene Bereiche.

Und dann können wir die produzierten Artefakte als Ausgangspunkte verwenden, als Samen, die in unserer Phantasie blühen, in denen wir Dinge sehen, auf die wir Bedeutung projizieren, Geschichten erstellen und Erzählungen erfinden, wie wir es seit Millionen von Jahren tun.

NB. Diese Ideen der „Projektion von Bedeutung auf Lärm“ und andere eigennützige Verzerrungen gehen natürlich weit über die Interpretation der Ergebnisse von Modellen des maschinellen Lernens hinaus, wohl auf alle Aspekte der Erkenntnis und des tatsächlichen Lebens - einschließlich sogar einiger der extremen sozialen und politischen Polarisierung, die wir betreiben sehst heute. Zweifellos werde ich in naher Zukunft mehr an diesen Themen arbeiten.

Immer wenn ich an den Begriff "Was bedeutet das?" Denke, muss ich an yosemitebear62s Doppelregenbogenvideo denken und an seine Bemühungen, Bedeutung auf dieses großartige Phänomen zu projizieren:

und noch beispielhafter in den letzten 30 Sekunden seiner Erklärung:

Danksagung

Zusätzlich zu meiner laufenden Forschung auf diesem Gebiet im Rahmen meiner Promotion wurde diese Arbeit von einer Residency beim Google Artists and Machine Intelligence Program unterstützt. In dieser Eigenschaft möchte ich mich bei Kenric McDowell, Mike Tyka, Andrea Held, Blaise Agüera und Arcas und vielen anderen für die Unterstützung und die anregenden Gespräche und Vorschläge bedanken. Die Arbeit und Ideen, über die ich hier spreche, wurden auch von vielen anderen inspiriert, aber ich möchte Allison Parrish und Ross Goodwin einen besonderen Gruß aussprechen.

Siehe auch

Könnte die Fuji XT2 die beste Kamera sein, die jemals hergestellt wurde?So verkaufen Sie Ihre Ideen an UnternehmenszombiesEinführung in Streulicht und die Motive für den Bau eines menschenzentrierten InkubatorsDemokratisierung des UrheberrechtsAlex & Allyson Gray über unsere natürliche Neigung, kreativ zu sein.Was tun, wenn Sie sowohl eine Familie als auch eine Leidenschaft haben?