• Zuhause
  • Artikel
  • Verwenden von Computer Vision zum Markieren der Sammlung.
Veröffentlicht am 04-09-2019

Verwenden von Computer Vision zum Markieren der Sammlung.

Während unseres gesamten Sammlungsprojekts haben wir über die Verwendung von Computer Vision und maschinellem Lernen gesprochen, um die visuellen Beziehungen zu bestimmen. Darüber hinaus haben wir dieselben Tools verwendet, um Bilder zu analysieren und Stichwörter zum Thema für die Suche bereitzustellen. Sam Hains hat diesen Teil des Projekts für uns gemacht und ich werde Ihnen sagen, dass dies ein kniffliger Teil war. Computer kommen vor allem mit impressionistischen Gemälden nur so weit ... erinnerst du dich an die Kuscheltiere?! ??

Im ersten Teil dieses Projekts wurden sechs Dienste verwendet - Microsoft Azure, IBM Watson, Google, AWS Recognition, TensorFlow und Clarifai -, um Gemälde in unserer Sammlung zu „betrachten“ und uns mitzuteilen, was sie enthielten. Wir haben die Standardmodelle der einzelnen Dienste verwendet, die größtenteils anhand von Fotos trainiert wurden, sodass wir wussten, dass es viele Fehler geben würde. Dieser Teil des Projekts wurde zu einem sorgfältigen Gleichgewicht zwischen der Minimierung von Fehlern und dem Erhalt eines Teils der Serendipität, die uns Maschinen verliehen.

Sprechen wir also zuerst über Serendipity. Hier ist ein wirklich gutes Beispiel für Computer, die Verbindungen über Wörter herstellen, auf die wahrscheinlich kein Mensch jemals gekommen wäre - insbesondere nicht über die Erstellung „genauer“ Schlüsselwörter. So sieht die Suche nach "Cherubs" aus ...

Suchergebnisse für

Natürlich sind dies keine Cherubs, aber viele dieser Dinge könnten als Cherub-artig betrachtet werden, und Sie können sofort sehen, dass ein Konzept auf die gesamte Sammlung angewendet wird. Dies bringt Sie zum Nachdenken und zum Herstellen von Verbindungen. Es ist diese Magie, die wir behalten wollen.

Computer haben Giorgio de Chiricos Porträt von Dr. Barnes (BF805) als [0,37 - Christus, 0,12 - Mann, 0,06 - Alt + Frau, 0,06 - Heiliger, 0,04 - Porträt, 0,03 - Engel, 0,03 - Mutter, 0,03 - Verführung] markiert. . Und lassen Sie so das Schrubben von religiösen Begriffen und geschlechtsspezifischen Begriffen beginnen.

Während wir versuchen, die Magie beizubehalten, versuchen wir auch, Fehler zu minimieren. Dies erreichen wir unter anderem durch die Verwendung von Vertrauensbewertungen, die die meisten dieser Services zusammen mit den Keywords liefern. Wir haben mit der Erstellung eines Cutoffs begonnen, sodass die esoterischeren Wörter mit niedrigeren Konfidenzbewertungen entfernt wurden. Wir haben außerdem Keywords über verschiedene Services hinweg verglichen, um festzustellen, ob die Services für Tags "vereinbart" wurden. Wenn zwei oder mehr Dienste angaben, dass ein Gemälde „Äpfel“ enthält, haben wir dieses Ergebnis beibehalten.

Dann haben wir auch unser eigenes Modell erstellt - ein Projekt, das ein bisschen mehr Arbeit gekostet hat. Ich setzte mich mit einer Reihe von Objekten hin und markierte sie, und Sam verwendete meine Ergebnisse, um ein Modell zu trainieren. Nach einigem Nudeln, das auf Github dokumentiert ist, waren diese Ergebnisse ziemlich genau und die meisten dieser Tags wurden beibehalten. Letztendlich hielten wir all diese Methoden für notwendig, um die Ergebnisse zu beschneiden und uns einen Mehrwert zu verschaffen.

Trotz all dieser Methoden mussten wir die Ergebnisse noch schrubben. Computer schienen es außerordentlich schwer zu haben, das Geschlecht von Personen zu bestimmen, die in Kunstwerken abgebildet sind. Daher haben wir geschlechtsspezifische Wörter oder Wortvariationen eliminiert. Wir haben auch Wörter im Zusammenhang mit Religion gestrichen, nachdem wir gesehen haben, dass Computer unseren Gründer als „Christus“ bezeichneten. Dies war nicht das einzige Beispiel - Sam berichtete in seinen Unterlagen: „Es schien, als würde die Klasse„ Christus “einen Bart aufheben Mann."

Computer dachten, unser

Wir haben eine Farbanalyse durchgeführt, indem wir die tatsächlichen visuellen Eigenschaften des Gemäldes mittels Computer Vision verarbeiteten - dies ist der Motor unserer Suche nach Farben. Es sollte jedoch beachtet werden, dass wir aus offensichtlichen Gründen immer dann eliminierten, wenn ein Computer versuchte, festzustellen, ob etwas Bestimmtes (oder höchstwahrscheinlich jemand Bestimmtes) eine Farbe war. Wir haben Computer eliminiert, die uns sagten, dass es sich um einen „Hund“ handele, weil dies auf eine außergewöhnliche Menge von Gegenständen angewendet wurde, die Frauen zeigten, als überhaupt keine Hunde anwesend waren. Wenn Sie neugierig sind, waren Katzen viel weniger ein Problem.

All dies bedeutete, dass eine Liste von 40.000 Tags nach Red-Flag-Wörtern durchsucht wurde, von denen wir glauben, dass sie in Anwendungen, die variieren könnten, problematisch sein könnten. Anschließend haben wir vor Ort geprüft, wie hoch unsere Toleranz ist, wenn wir Tags betrachten, die direkt auf Objekte angewendet werden. Wir haben uns dazu entschlossen, viele andere Dinge loszulassen, da am Ende sogar fehlerhafte Stichwörter die Entdeckung erleichtern können - versuchen Sie es mit einer Suche nach „Graffiti“ oder „Selfie“.

Es versteht sich von selbst, dass beim Erstellen von Titeln, Beschreibungen und anderen Feldern in unseren Metadaten in den Suchergebnissen hohe Priorität eingeräumt wird und die von Computern generierten Schlüsselwörter zuletzt angezeigt werden. Eine Aufgabe nach dem Start ist die Verfeinerung unter Berücksichtigung der Vertrauensbewertungen in der Reihenfolge der Suchergebnisse. Dies wird uns helfen, einige dieser zufälligeren Verbindungen beizubehalten und gleichzeitig genauere Ergebnisse zu erzielen.

Sie werden auch feststellen, dass in den Objekt-Metadaten kein "Keyword-Feld" angezeigt wird. Das Auftauchen in diese Felder durch Suchen ist eine Sache. Es kann jedoch eine Weile dauern, bis Sie diese computergestützten Keywords direkt auf der Seite sehen.

Das Online-Projekt zur Sammlung der Barnes Foundation wird von der Knight Foundation finanziert und unser Code ist Open Source. Folgen Sie der Barnes Foundation auf Medium.

Siehe auch

Raus aus dem KaninchenbauVom Praktikanten zum Außendienstmitarbeiter, Teil 3: Aufbau einer Kunstinstallation für Ärzte ohne GrenzenDas Für und Wider von InktoberRÜCKBLICK: Die düstere Schönheit von Hollow Knight (Team Cherry)Ich war ein AktmodellAnleitung für Spieleentwickler zu grafischen Projektionen (mit Videospielbeispielen), Teil 1: Einführung