Kunstgenie

Entdecken Sie Kunstwerke mit visueller Suche oder die angemessene Wirksamkeit von Faltungs-Neuronalen Netzen

Dieser Artikel wurde ursprünglich am 6. November 2017 vor der Übernahme von Thread Genius durch Sotheby's veröffentlicht.

Probieren Sie die Demo auf art.threadgenius.co aus

Wir wollten schon immer versuchen, die visuelle Suche von Thread Genius um das Entdecken von Kunstwerken zu erweitern, die auf visueller Ähnlichkeit basieren. Es wurde nie hoch priorisiert, da Trainingsmodelle für eine neue Domäne normalerweise das Sammeln völlig neuer Trainingsdaten bedeuten. Auf die gleiche Weise, wie wir unser neuronales Mode-Netz trainiert haben, um etwas über Silhouetten von Kleidern und die verschiedenen Variationen von Plaid zu lernen, wäre es sinnvoll, dass wir dasselbe für Aspekte der Kunst tun müssten.

Aber wie gut würden unsere bestehenden Modelle aus Neugier in Bezug auf Kunst abschneiden? Das heißt, würden die aus der Mode gelernten visuellen Merkmale auch für das Erkennen von Ähnlichkeiten zwischen Kunstwerken gelten?

In diesem Blog-Beitrag untersuchen wir diese Frage weiter.

Zusammensetzung vs. Gegenstand

Bei Thread Genius haben wir einige neuronale Netzmodelle trainiert, um verschiedene Konzepte in Bildern zu erkennen. Ein Modell mit dem Spitznamen FashNet oder Fashion Model wurde nur geschult, um Konzepte im Zusammenhang mit Mode zu erkennen. Dazu gehören Muster (Streifen vs. Tarnung), Form (Kleid vs. Hose), Farben (Blau vs. Rot) und Verzierungen (Schnallen vs. Schulterklappen). Ein anderes Modell, das wir intern als Supermodel bezeichnen, wurde geschult, um Modekonzepte sowie allgemeine Konzepte zu erkennen, über die die meisten Menschen Bescheid wissen würden - denken Sie an Tiere, Pflanzen, Gebäude usw. Dies wurde hauptsächlich trainiert, um Fehlalarme im Umgang mit Benutzern zu minimieren -generierte Fotos.

Ohne neue Konzepte für Kunst einzuführen, haben wir zwei Suchindizes erstellt, indem wir diese Modelle in einem Katalog mit mehr als 600.000 Kunstwerken ausgeführt haben.

Vergleich der Suchergebnisse von zwei verschiedenen Modellen: eines nur für Modebilder (dh „Model“) und das andere gleichzeitig für Mode und allgemeine Objekte der realen Welt (dh „Supermodel“). Sie können einen Kompromiss zwischen einem Fokus auf Textur und Farbe (Komposition) und dem, worum es in dem Stück geht (Thema), sehen.

Ein Vergleich der Ergebnisse dieser beiden Modelle zeigt, dass es einen Kompromiss gibt. Unser Model weiß nichts über Dinge außerhalb der Mode. Was sind Wolken? Ich habe sie noch nie gesehen, aber sie sehen aus wie Federabdrücke. Äpfel? Nein, das sind wahrscheinlich rote Uhren. Wenn Sie also die Aufgabe haben, visuelle Merkmale aus Bildern über Konzepte zu extrahieren, die es nicht kennt, gibt es interessante Effekte. Zum einen liegt der Schwerpunkt auf dem, was es weiß, beispielsweise auf Farben und Texturen. Für das Model ist ein Ölgemälde eines Apfels nur ein rundes rotes Ding mit fleckigen Texturen, und so werden alle runden, roten, fleckigen Dinge zusammengefasst. Für das Supermodel werden Äpfel zusammengefasst, da es sich mit Äpfeln auskennt.

Fashion Model ist großartig für abstrakte Kunst, Super Model weniger. Super Model eignet sich hervorragend für Skulpturen, Fashion Model weniger. Je nach Geschmack bevorzugen Sie möglicherweise einen gegenüber dem anderen.

Randnotiz: Interessanterweise fand das Model ein Apfelgemälde, das genau das gleiche zu sein schien wie das Eingabebild. Bei näherer Betrachtung handelt es sich tatsächlich um zwei verschiedene Gemälde von zwei verschiedenen Künstlern: Das Eingabebild stammt von Jane Palmer und das Suchergebnis ist ein Stück von George Cassallo aus dem Jahr 2016. OOOOOH.

Suchergebnisse von Fashion Model

Eine Sache, die uns fasziniert, ist, dass, obwohl wir diese Modelle nie geschult haben, etwas über Künstler oder Maltechniken zu wissen, Stücke desselben Künstlers auf natürliche Weise aufgrund von Ähnlichkeiten in Pinselstrichen, Farbauswahl usw. gruppiert werden.

Trennungsgrade

Was wäre ein Deep-Learning-Blog-Beitrag ohne ein riesiges t-SNE-Bild unserer Einbettungen? Obligatorischer Geldschuss folgt.

Wir hatten diese Demo bei Spotify mit dem Titel "Boil the Frog", in der wir zwei zufällige Songs schnappten und einige Techniken des maschinellen Lernens verwendeten, um eine Kette von Songs zu finden, die sich allmählich ineinander verwandelten. Hier einige Beispiele dieses Konzepts für Kunstwerke.

Beispiele für KunstleiterKunstleiter, animierter GIF-StilWeitere Beispiele für Kunstleitern

Was kommt als nächstes?

Letzten Monat haben wir unsere API gestartet, mit der jeder Entwickler auf unsere visuelle Suchmaschine zugreifen kann. Tatsächlich haben Entwickler der API Zugriff auf dasselbe Model, mit dem wir die Ergebnisse in diesem Blogbeitrag erstellt haben. Zugegebenermaßen würde eine zusätzliche Feinabstimmung erforderlich sein, damit unsere Modelle für alle Arten von Kunstwerken gut funktionieren. Sie haben gesehen, wie es einen Kompromiss zwischen einem Modell, das die Komposition betont, und einem Modell gibt, das das Thema betont. Ein optimales Modell zu finden, würde bedeuten, das richtige Gleichgewicht zwischen diesen beiden Stärken zu finden.