Veröffentlicht am 11-09-2019

Die Form der Kunstgeschichte in den Augen der Maschine

(Der Blog wurde gemeinsam mit Professor Marian Mazzone, Kunstgeschichte, College of Charleston, verfasst.)

Die erste und zweite Variante einer gelehrten Darstellung mit Gemälden, die nach Entstehungsdatum farblich gekennzeichnet sind. Die Darstellung zeigt eine glatte Chronologie, die von der Maschine erkannt wurde. Der erste Modus (die horizontale Achse) korreliert am ehesten mit Heinrich Wölfflins Konzept von Planer (rechts) und Rezession (links). Die vertikale Achse korreliert am stärksten mit der linearen (nach unten) und der malerischen (nach oben) Achse.

Mehrere Studien haben die Fähigkeit der Maschine gezeigt, Stilkategorien wie Renaissance, Barock, Impressionismus usw. aus Bildern von Gemälden zu lernen und vorherzusagen. Dies impliziert, dass die Maschine durch ihre visuelle Analyse eine interne Darstellung erlernen kann, die Unterscheidungsmerkmale codiert. Eine solche Darstellung ist jedoch für den Menschen nicht unbedingt interpretierbar. Wie klassifiziert die Maschine Stile in der Kunst? Und in welcher Beziehung steht es zu den Methoden des Kunsthistorikers zur Stilanalyse?

In Zusammenarbeit mit dem College of Charleston haben wir dieses Problem in Rutgers 'Labor für Kunst und künstliche Intelligenz untersucht. Der Schwerpunkt unserer Studie liegt auf dem Verständnis, wie die Maschine die Klassifizierung von Stilen erreicht, welche interne Repräsentation sie verwendet, um diese Aufgabe zu erfüllen, und wie diese Repräsentation mit kunsthistorischen Methoden zur Identifizierung von Stilen zusammenhängt.

Um ein solches Verständnis zu erreichen, verwendeten wir eine der Schlüsselformulierungen für Stilmuster und Stilwechsel in der Kunstgeschichte, die Theorie von Heinrich Wölfflin (1846–1945). Wölfflins vergleichender Ansatz zur formalen Analyse hat sich zu einer Standardmethode der kunstgeschichtlichen Pädagogik entwickelt. Wölfflin entschied sich für eine Trennung der Formanalyse von der Diskussion von Thema und Ausdruck, wobei er sich auf das „visuelle Schema“ der Werke konzentrierte und wie die „sichtbare Welt für das Auge in bestimmten Formen kristallisierte“. Wölfflin identifizierte Paare von Kunstwerken, um Stilunterschiede durch Vergleichs- und Kontrastübungen zu demonstrieren, die sich auf wichtige Prinzipien oder Merkmale konzentrierten. Mit seiner Methode differenzierte Wölfflin die Renaissance vom Barock durch fünf zentrale visuelle Prinzipien: linear / malerisch, planar / rezessional, geschlossene Form / offene Form, Multiplizität / Einheit, absolute Klarheit / relative Klarheit. Wölfflin ging davon aus, dass der Formwechsel ein gewisses Differenzierungsmuster hat, so dass Stiltypen und -änderungen nur in bestimmten Abfolgen entstehen können. Wölfflins Theorie wurde aufgrund ihrer Betonung formaler, diskriminierender Merkmale und der Vergleichs- / Kontrastlogik seines Systems gewählt, Eigenschaften, die es für maschinelles Lernen förderlich machen. Kunsthistoriker wenden heute eine Vielzahl von Methoden an, die sich nicht nur auf die Form konzentrieren, sondern für die Art der Analyse dieser Studie Wölfflins Ansatz nützlich ist.

Tiefe neuronale Faltungsnetze haben in letzter Zeit eine transformative Rolle bei der Weiterentwicklung der künstlichen Intelligenz gespielt. Wir haben eine große Anzahl hochmoderner Modelle für tiefe Faltungs-Neuronale Netze und Varianten davon evaluiert, die für die Klassifizierung von Stilen trainiert wurden. Wir haben uns darauf konzentriert, die Interpretierbarkeit der gelernten Präsentation zu verbessern, indem wir die Maschine gezwungen haben, eine Klassifizierung mit einer reduzierten Anzahl von Variablen zu erreichen, ohne die Klassifizierungsgenauigkeit zu beeinträchtigen. Anschließend analysierten wir die erreichten Darstellungen durch lineare und nichtlineare Dimensionsreduktion des Aktivierungsraums, Visualisierung und Korrelationsanalyse mit der Zeit und mit Wölfflins Paaren. Wir verwendeten eine Sammlung von fast 80.000 digitalisierten Gemälden, um die Modelle zu trainieren, zu validieren und zu testen.

Eine der wichtigsten Erkenntnisse unserer Studie ist, dass die Maschine die Kunstgeschichte in einer glatten Chronologie codiert, ohne einen Zeitbegriff zu haben. Die Maschine wurde darauf trainiert, Stile vorherzusagen, die nur auf lauten diskreten Stiletiketten basieren. Es wurden keine Informationen darüber bereitgestellt, wann jedes Gemälde erstellt wurde, wann jedes Stil stattfand, welcher Künstler welches Gemälde erstellte und wie die Stile zusammenhängen (wie z. B. Stil x) ähnlich wie Stil y oder kam nach oder vor Stil z). Trotz des Fehlens all dieser Informationen sind die gelernten Darstellungen zeitlich klar geglättet und spiegeln ein hohes Maß an Korrelation mit der Zeit wider. Zum Beispiel können wir in der obigen Darstellung sehen, dass die Bilder in der Darstellung radial im Uhrzeigersinn um den Mittelpunkt angeordnet sind, um einen vollständigen Kreis in dieser 2D-Projektion zu bilden, die mit der Renaissance beginnt und mit der abstrakten Kunst endet. Wir können sehen, wie die Handlung im Uhrzeigersinn von der italienischen und nördlichen Renaissance im unteren Bereich über den Barock, den Neoklassizismus und die Romantik bis hin zum Impressionismus im oberen Bereich gefolgt von Postimpressionismus, Expressionismus und Kubismus verfolgt wird. Der Loop schließt mit Abstract und Pop Art ab.

Eine weitere interessante Erkenntnis, die den soeben beobachteten geschlossenen Regelkreis erklärt, ist, dass die erlernte Darstellung auf der Grundlage einiger Faktoren erklärt werden kann. Die ersten beiden Variationsmodi orientieren sich an den von Heinrich Wölfflin vorgeschlagenen Konzepten von linear vs. malerisch und planer vs. Wir können deutlich den fließenden Übergang von der linearen Form in der Renaissance unten zur malerischeren Form im Barock zum extremen Fall des malerischen Impressionismus oben sehen. Dann können wir den Übergang zurück zur linearen Form in abstrakten und Pop-Art-Stilen sehen. Die Projektion der Daten in diese beiden vorherrschenden Variationsmodi, die auf Ebene vs. Rezession und linear vs. malerisch ausgerichtet sind, gibt eine Erklärung dafür, warum diese Darstellung radial mit der Zeit korreliert.

Die ersten drei Variationsmodi der VGGNet-Aktivierungen. Markante Künstler, die jeden Stil repräsentieren, werden durch die Darstellung identifiziert und in der Mitte von der Wolke weggezogen.

Die Visualisierung der verschiedenen Darstellungen zeigt, dass bestimmte Künstler von der Maschine konsequent als unverwechselbare Repräsentanten ihrer Stile ausgewählt wurden, da sie die äußersten Punkte entlang der mit jedem Stil ausgerichteten Dimensionen waren. Dies ist in den ersten drei Variationsmodi der von VGGNet erlernten Darstellung sichtbar. Die Renaissance des Nordens ist in der gelben Ellipse zu sehen, wobei die meisten Gemälde von Van Eyck und Albrecht Dürer stammen. Der Barock in der schwarzen Ellipse wird von Rubens, Rembrandt und Velázquez dargestellt. Die orangefarbene Ellipse ist der Impressionismus, und an ihrer Basis befinden sich Pissarro, Caillebotte und Manet als die am wenigsten malerischsten dieser Art, wobei Monet und Renoir am Ende der Spitze am malerischsten enden. Die beiden roten Kreise sind Postimpressionismus, und einer wird von Van Gogh dominiert, der andere von Cézanne, der die Basis für die Spitze des Kubismus in der hellblauen Ellipse bildet. Diese Spitze wird von Picasso, Braque und Gris dominiert; und geht auf die abstraktesten kubistischen Werke aus. Interessanterweise trennt die Darstellung Rousseau, wie in der grünen Ellipse markiert, die hauptsächlich von seiner Arbeit dominiert wird.

Cézannes Brücke: Beim Postimpressionismus ist eine Verzweigung zu sehen, bei der sich Cézannes Arbeiten deutlich von den anderen Postimpressionisten und Expressionisten nach oben abheben. Dieser Zweig entwickelt sich weiter, bis er sich mit frühen kubistischen Werken von Picasso und Braque sowie abstrakten Werken von Kandinsky verbindet. Alle Thumbnails ohne Beschriftung in dieser Handlung stammen von Cézanne.

Die erlernten Darstellungen der Maschine zeigten auch interessante Zusammenhänge. Vor allem, wie in Abbildung Z zu sehen, fungiert Cézannes Werk als Brücke zwischen dem Impressionismus auf der einen Seite und dem Kubismus und dem Abstrakten auf der anderen Seite. Kunsthistoriker betrachten Cézanne als Schlüsselfigur für den Übergang zum Kubismus und die Entwicklung der Abstraktion in der Kunst des 20. Jahrhunderts. Diese Brücke von Cézannes Gemälde in der gelehrten Darstellung ist ziemlich interessant, da dies eine quantifizierbare Verbindung in den Daten ist, nicht nur ein metaphorischer Begriff. Wir können eine Verzweigung im Postimpressionismus sehen, wo Cézannes Arbeiten sich deutlich von den anderen Postimpressionisten und Expressionisten abheben. Dieser Zweig entwickelt sich weiter, bis er sich mit frühen kubistischen Werken von Picasso und Braque sowie abstrakten Werken von Kandinsky verbindet.

Die Verbindung zwischen Renaissance und Moderne wird durch die Ausreißer in den zeitlichen Fortschrittsmustern bestimmter Werke von El-Greco, Dürer, Raffael, Mantegna und Michelangelo gekennzeichnet.

Eine weitere interessante Verbindung ist die Verbindung zwischen der Renaissance und der modernen Kunst, die durch die gelehrte Darstellung erfasst wird. Trotz der Tatsache, dass die Struktur einen reibungslosen zeitlichen Verlauf widerspiegelt, ist es interessant, Ausreißer für diesen Verlauf zu erkennen. Insbesondere einige Gemälde der Hochrenaissance, der nördlichen Renaissance und des Manierismus ragen links aus dem Renaissance-Cluster heraus und verbinden sich mit der Kunst des späten 19. und frühen 20. Jahrhunderts. Dies liegt daran, dass die häufige Ähnlichkeit von Kunstwerken im Laufe der Zeit dazu führte, dass einflussreiche Kunstwerke aus der Ordnung gerissen und der Kunst, die sie beeinflusst haben könnten, näher gebracht wurden. In der Abbildung ist zu sehen, dass die Werke, die links aus dem Renaissance-Cluster herausragen und mit der Moderne in Verbindung stehen, hauptsächlich von einigen Gemälden von El-Greco und einigen Gemälden von Dürer dominiert werden. Unter den Gemälden von El-Greco, die besonders hervorstechen, befinden sich Laocoön, Saint Ildefonso, View of Toledo und Pietà. Wir können auch Werke von Raphael, Mantegna und Michelangelo in dieser Gruppe sehen.

Die Ergebnisse dieser Studie heben die potenzielle Rolle hervor, die Datenwissenschaft und maschinelles Lernen im Bereich der Kunstgeschichte spielen können, indem sie sich der Kunstgeschichte als prädiktiver Wissenschaft nähern, um grundlegende Muster und Trends zu entdecken, die für das menschliche Auge nicht unbedingt erkennbar sind. Die Studie zeigt auch, wie nützlich es ist, die formalen Methoden der Kunstgeschichte, die von Kunsthistorikern wie Wölfflin im Zeitalter der Datenwissenschaft unter Verwendung von Werkzeugen aus dem Bereich der Bildverarbeitung und des maschinellen Lernens entwickelt wurden, erneut zu untersuchen. Schließlich bietet die Studie Einblicke in die Merkmale und Funktionen des Stils für Kunsthistoriker, bestätigt vorhandenes Wissen auf empirische Weise und liefert maschinenproduzierte Muster und Verbindungen für die weitere Erforschung. Die Ergebnisse zeigen auch, dass der Stil, der ein subjektives Problem zu sein scheint, mit objektiven Mitteln rechnerisch modelliert werden kann.

Die Arbeit wurde in einem Artikel mit dem Titel „Die Form der Kunstgeschichte in den Augen der Maschine“ veröffentlicht, der auf der 32. AAAI-Konferenz über künstliche Intelligenz vom 2. bis 7. Februar 2018 in New Orleans erschien. Der Artikel kann abgerufen werden unter https://arxiv.org/abs/1801.07729

Siehe auch

Sex am StrandOffensichtlich, erklärt.… Und allen eine dunkle Nacht (ein Abschiedsbrief an Lenoir, NC)Betreten Sie das Kaninchenloch: Das Doge-Ethereum-KunstprojektWie man ein erfolgreicher Künstler wirdInterview mit Mark Klink