Veröffentlicht am 04-09-2019

Kunstgenie

Entdeckung von Kunstwerken mit visueller Suche oder der angemessenen Wirksamkeit von neuronalen Faltungsnetzen

Dieser Artikel wurde ursprünglich am 6. November 2017 vor der Übernahme von Thread Genius durch Sotheby’s veröffentlicht.

Probieren Sie die Demo unter art.threadgenius.co aus

Wir wollten schon immer versuchen, das visuelle Sucherlebnis von Thread Genius zu erweitern, um Kunstwerke zu entdecken, die auf visueller Ähnlichkeit beruhen. Es wurde nie eine hohe Priorität eingeräumt, da Trainingsmodelle für eine neue Domäne in der Regel die Erfassung völlig neuer Trainingsdaten erfordern. Ebenso wie wir unser modisches neuronales Netz darauf trainiert haben, die Silhouetten von Kleidern und die verschiedenen Variationen von Karomustern kennenzulernen, wäre es sinnvoll, dasselbe für Aspekte der Kunst zu tun.

Aber wie gut würden unsere bestehenden Modelle aus Neugier auf Kunst abschneiden? Das heißt, würden die visuellen Merkmale, die aus der Mode gelernt wurden, auch auf das Erkennen von Ähnlichkeiten zwischen Kunstwerken zutreffen?

In diesem Blog-Beitrag werden wir diese Frage weiter untersuchen.

Zusammensetzung vs. Gegenstand

Bei Thread Genius gibt es einige Modelle für neuronale Netze, die darauf trainiert sind, verschiedene Konzepte in Bildern zu erkennen. Ein Model mit dem Spitznamen FashNet oder Fashion Model wurde nur darauf trainiert, modebezogene Konzepte zu erkennen. Dazu gehören Muster (Streifen vs. Tarnung), Form (Kleid vs. Hose), Farben (Blau vs. Rot) und Verzierungen (Schnallen vs. Schulterklappen). Ein anderes Modell, das wir intern als Supermodel bezeichnen, wurde geschult, um Modekonzepte sowie allgemeine Konzepte zu erkennen, über die die meisten Menschen Bescheid wissen - denken Sie an Tiere, Pflanzen, Gebäude usw. Dies wurde in erster Linie geschult, um Fehlalarme im Umgang mit Benutzern zu minimieren generierte Fotos.

Ohne neue Konzepte zur Kunst einzuführen, haben wir zwei Suchindizes erstellt, indem wir diese Modelle auf einem Katalog von über 600.000 Kunstwerken ausgeführt haben.

Vergleich von Suchergebnissen aus zwei verschiedenen Modellen: eines trainiert nur mit Modebildern (d. H.

Ein Vergleich der Ergebnisse dieser beiden Modelle zeigt, dass ein Kompromiss besteht. Unser Model weiß nichts über Dinge außerhalb der Mode. Was sind wolken Ich habe sie noch nie gesehen, aber sie sehen aus wie Federdrucke. Äpfel? Nein, das sind wahrscheinlich rote Uhren. Wenn Sie es also damit beauftragen, visuelle Merkmale von Bildern zu unbekannten Konzepten zu extrahieren, gibt es interessante Effekte. Zum einen liegt der Schwerpunkt auf dem, was es weiß, z. B. Farben und Texturen. Für das Model ist ein Ölgemälde eines Apfels nur ein rundes rotes Ding mit fleckigen Texturen und gruppiert daher runde, rote, fleckige Dinge. Für das Supermodel werden, da es sich mit Äpfeln auskennt, Äpfel zu einer Gruppe zusammengefasst.

Fashion Model ist großartig für abstrakte Kunst, Super Model weniger. Super Model eignet sich hervorragend für Skulpturen, Fashion Model weniger. Abhängig von Ihrem Geschmack können Sie eines dem anderen vorziehen.

Randnotiz: Interessanterweise fand das Model ein Apfelgemälde, das genau so aussah wie das eingegebene Bild. Bei näherer Betrachtung handelt es sich tatsächlich um zwei verschiedene Gemälde von zwei verschiedenen Künstlern: Das eingegebene Bild stammt von Jane Palmer und das Suchergebnis ist ein 2016er-Stück von George Cassallo. OOOOOH.

Suchergebnisse von Fashion Model

Eine Sache, die uns fasziniert, ist, dass, obwohl wir diese Modelle nie darauf trainiert haben, etwas über Künstler oder Maltechniken zu wissen, Stücke desselben Künstlers auf der Grundlage von Ähnlichkeiten bei Pinselstrichen, Farbwahl usw. auf natürliche Weise gruppiert werden.

Trennungsgrade

Was wäre ein Deep Learning-Blog-Beitrag ohne ein riesiges t-SNE-Bild unserer Einbettungen? Es folgt der obligatorische Geldschuss.

Früher hatten wir diese Demo bei Spotify mit dem Titel „Boil the Frog“, bei der wir zwei zufällige Songs aufgenommen und mithilfe maschineller Lerntechniken eine Kette von Songs gefunden haben, die sich nach und nach ineinander verwandelten. Hier einige Beispiele dieses Konzepts für Kunstwerke.

Beispiele für KunstleiterKunstleiter im animierten GIF-StilWeitere Beispiele für Kunstleitern

Was kommt als nächstes?

Letzten Monat haben wir unsere API veröffentlicht, mit der Entwickler auf unsere visuelle Suchmaschine zugreifen können. Tatsächlich haben Entwickler der API Zugriff auf dasselbe Model, mit dem wir die Ergebnisse in diesem Blogbeitrag erstellt haben. Zugegebenermaßen würde eine weitere Feinabstimmung erforderlich sein, damit unsere Modelle für alle Arten von Kunstwerken geeignet sind. Sie haben gesehen, wie es einen Kompromiss zwischen einem Modell, bei dem die Komposition im Vordergrund steht, und einem Modell, bei dem das Thema im Vordergrund steht. Ein optimales Modell zu finden, würde bedeuten, das richtige Gleichgewicht zwischen diesen beiden Stärken zu finden.