Membrane mit Interface im Kunstverein Tiergarten Galerie Nord
Membrane ist eine Kunstinstallation, die als Hauptwerk einer gleichnamigen Ausstellung im Kunstverein Tiergarten in Berlin Anfang 2019 produziert wurde. Sie baut auf einer Reihe von generativen Videoinstallationen mit Echtzeit-Videoeingabe auf. Membrane erlaubt es dem Betrachter, direkt mit der Generierung des Bildes durch ein neuronales Netzwerk, hier den sogenannten TGAN-Algorithmus, zu interagieren. Eine Schnittstelle ermöglicht es, die „Vorstellungskraft“ des Computers zu erleben und den Besucher je nach Neugier und persönlichen Vorlieben zu führen.
Die Bilder von Membrane stammen von einer statischen Videokamera, die eine Straßenszene in Berlin beobachtet. Eine zweite Kamera ist im Ausstellungsraum positioniert und kann nach Belieben bewegt werden. Auf zwei Bildschirmen werden beide Szenen in Echtzeit gezeigt.
In meinen früheren künstlerischen Experimenten haben wir in diesem In meinen früheren künstlerischen Experimenten haben wir in diesem Kontext jedes Pixel eines Videodatenstroms als eine operative Einheit betrachtet. Ein Pixel lernt aus Farbfragmenten während der Laufzeit des Programms und liefert eine Farbe, die als Summe aller Farben während der Laufzeit der Kamera betrachtet werden kann. Diese einfache Speichermethode schafft etwas grundlegend Neues: eine Aufzeichnung von Bewegungsmustern an einem bestimmten Ort.
Auf technischer Ebene kontrolliert Membrane nicht nur Pixel oder klar umrissene Details eines Bildes, sondern Bild-„Merkmale“, die erlernt, gespeichert und wieder zusammengesetzt werden. Um beim Beispiel der Farbe zu bleiben: Wir wählen Merkmale aus, aber ihre Eigenschaften werden an einen Algorithmus delegiert. TGANs (Temporal Generative Adversarial Nets) realisieren „unbeaufsichtigtes Lernen“ durch den gegenläufigen Rückkopplungseffekt zweier Teilnetze: Ein Generator erzeugt kurze Bildsequenzen und ein Diskriminator bewertet das künstlich erzeugte Filmmaterial. Der Algorithmus wurde speziell entwickelt, um Repräsentationen von unkategorisierten Videodaten zu erzeugen und – mit Hilfe dieser – neue Bildsequenzen zu produzieren. (Temporal Generative Adversarial Nets).
Kunstsammlung NRW K20, Düsseldorf exhibition at the fountain wall 9.9.-9.10. 2005
Die ‚Zeitraum‘-Installation ist die jüngste „inoutside“-Installation in der Reihe der Video-Tracking-Installationen für den öffentlichen Raum. Man nimmt eine virtuelle Skulptur wahr, die als Raumhülle entsteht und wieder verschwindet. Diese sich ständig verändernde Skulptur wird durch das Geschehen auf dem Grabbeplatz gesteuert. Wie eine natürlich gewachsene Architektur ist diese Form in die Konturen der unmittelbaren Umgebung des aktuellen Standortes des Betrachters eingebettet. Die Positionen der Menschen auf dem Grabbeplatz sowie die Position des Betrachters des Bildes sind mit roten Kreuzen markiert. Verbindungslinien weisen von den markierten Personen ungefähr auf die Stelle der Raumhülle, an der die Personen die generierte Form beeinflussen. Die Installation besteht aus nächtlichen Projektionen auf die Brunnenwand in der Passage von K20. Auf dem Dach der Kunstsammlung sind zwei Infrarotstrahler und eine Infrarotkamera installiert. Die Strahler gleichen das fehlende Tageslicht aus, so dass die Kamera die Bewegungen auf dem Gelände aufnehmen kann. Das regelmäßige Licht ist eine wichtige Voraussetzung, um die Bewegungen der Menschen ableiten zu können. Dies geschieht durch ein Video-Tracking-Programm. Durch den Vergleich des aktuellen Videobildes mit einem zuvor aufgenommenen Bild des leeren Geländes wird ermittelt, wo auf dem Gelände die Bewegung stattfindet. Die Ergebnisse werden dann nach „Blobs“ sortiert. „Blob“ steht für „Binary Large Object“ und bezeichnet ein Feld mit unstrukturierten Koordinaten, das sich gleichmäßig bewegt. Diese animierten Datenfelder werden an ein Grafik- und Soundprogramm weitergegeben, das aus den abstrahierten Spuren die virtuelle Skulptur errechnet. In diesem werden die Bewegungsspuren interpretiert. Wie in früheren Installationen wie „memory space“ (2002), „trace pattern II“ (1998) oder „inoutside I“ (1998) und „inoutside II“ (1999) ist das gelieferte Videobild anhand einer Videotextur sichtbar, so dass die Menschen, die dieses Bild sehen, sich in dem virtuellen Bild wiedererkennen können. So wird deutlich, wie die virtuellen Formen, die Wolken und Pfeile berechnet werden.
Installation
Konzept
Die Installation behandelt architektonische und städtebauliches Planen. Es soll ein neuer Zugang zu Architektur ausprobiert werden, der darauf abzielt, das Verhalten der Menschen in Architektur selbst zu beobachten. Ziel ist es, die Stadt bzw. die Architektur als einen dynamischen Organismus darzustellen. Stadt und Menschen als etwas Kollektives zu zeigen, etwas, das sich in ständiger Veränderung befindet, ist das, was die Installation vermitteln möchte. top
Interface/Videoüberwachung
Das System, wie wir es in den sechs „inoutside“-Installationen eingesetzt haben, erlaubt es nicht, den Menschen in seiner Individualität zu erfassen. Es geht nicht darum, per Überwachungssystem zu erkennen, was den einzelnen Menschen ausmacht (das können wir Menschen immer noch besser als Maschinen), sondern darum, die ortsspezifische Qualität wahrzunehmen und an Menschen und menschlichem Verhalten zu testen. Es geht um die Erkennung von Verhaltensmustern, aber nicht um eine Beschreibung des Individuums. Vielmehr sollte der Ort selbst individualisiert werden, um seinen Charakter zu ermitteln. top
Datenverarbeitung
Bei der Aufzeichnung von Spuren ist es so, dass die in der Installation vorgenommenen Berechnungen darauf abzielen, den Ort zu charakterisieren, wobei das Sammeln der verschiedenen Einzelspuren wesentlich wird. Die frühen Installationen wie „trace pattern II“ (1998) sind offensichtlich auf die Interaktion der Menschen untereinander ausgerichtet. Das Verhalten der Menschen wird aufgezeichnet, verstärkt und interpretiert: Gehen sie nahe beieinander? Gehen sie voneinander weg? Gibt es „Tracks“ – mehrere Personen, die im Gleichschritt gehen? Diese Beobachtungen werden Teil der Interpretation. In der aktuellen Installation in K20 wird der Raum in Form von einem oder mehreren Körpern dargestellt. Diese Körper haben Eingänge und Ausgänge, Öffnungen und Verschlüsse, sie werden aus kleinen Einheiten gebündelt oder verschmelzen zu einem großen Ganzen oder teilen sich. Sie schwellen an oder bilden Löcher, die sich vergrößern, bis sich die Körper auflösen. All diese räumlichen Elemente werden durch das Verhalten der Menschen bestimmt. Wir kartieren auch die Spuren der Besucher des Ortes entsprechend ihrer unterschiedlichen Gehgeschwindigkeit und ihrer Häufigkeit der Anwesenheit vor Ort auf eine mathematische Form – die Isofläche, die sich je nach Verhalten verändert.
Das neuronale Netz, hier die Kohonen-Karte, lernt durch Selbstorganisation. Dies ist eine Lernmethode, die auf den Nachbarschaftsbeziehungen der Neuronen untereinander beruht. Es wird ein Netz konstruiert, das das abbildet, was sich auf der Seite befindet. Darüber hinaus wird die klassische SOM (self-organizing map) modifiziert, um das Problem zu lösen, das entsteht, wenn der überwachte Raum ein begrenztes Gebiet ist. Denn am Rand gelten andere Berechnungsbedingungen als in der Mitte, weil der Zustand eines Standortes auch in seiner Nachbarschaft verankert ist. In der Simulation physikalischer Prozesse definiert man den Überwachungsraum einfach als Torus oder Kugel, wobei das, was z.B. am rechten Bildrand verschwindet, am linken wieder auftaucht. Für ein reales Gelände macht das aber keinen Sinn, weshalb wir das Verfahren modifiziert haben: In den Regionen mit zu großer Impulsdichte lassen wir die Neuronen in eine zweite Ebene hinabsteigen, die die Neuronen auf die nächstgelegenen neuronenlosen Stellen verteilt. Dadurch haben wir eine kompakte zyklische Energieauswertung geschaffen, die verhindert, dass nur ein Cluster des SOMs in der Mitte des Raumes verbleibt (siehe Grafik). Das wäre nichts anderes als eine zu hohe Informationsdichte, die keinerlei Informationen liefern könnte (fast ein schwarzes „Datenloch“). Für mich als Künstlerin ist die Anwendung von neuronalen Netzen sehr spannend, weil sie von mir verlangen, dass ich meine künstlerischen und visuellen Wünsche zugunsten von Prozessen zurückhalte, die mit Hilfe dieses Kameraauges geschehen – in Wirklichkeit nicht durch die Kamera, sondern durch die Menschen, die im Fokus der Kamera stehen, also durch das Bild des Ortes. Da der computerinterne Datenverarbeitungsapparat den menschlichen Wahrnehmungsapparat imitiert, verlangt er von mir, dass ich mich mit den Grenzen der Wahrnehmung und den Möglichkeiten und Unmöglichkeiten der Projektion von Wissen beschäftige.
Das Video
Die Isosurface
Wie bereits erwähnt, wird der Grabbeplatz durch eine Videotextur in einem virtuellen Bild wiedergegeben. Er markiert den vom Tracking-Programm erfassten Bereich, über den die Berechnungen einen abstrakten Raum erzeugen. Die Knoten der SOM bilden in diesem Raum Trajektorien, die von Impulsen genährt werden, die sich auf Geschwindigkeit, Richtung und Aufenthaltsdauer der Passanten beziehen. So wird die Ebene der Ebenenverfolgung um eine weitere Dimension erweitert. Um die Beziehungen der Knoten nicht nur als Punkte im Raum, sondern auch in Relation zueinander zu visualisieren, lassen wir in der Umgebung jedes einzelnen Knotens eine gedachte potentielle Energiefunktion herrschen. Diese Funktion wird als eine Fläche im Raum dargestellt. Diese folgt dem Weg eines jeden Knotens und passt ihre Form an seine aktuelle Rolle im SOM an. Solche Flächen werden Isosurfaces genannt. Sie werden verwendet, um die Homogenität von Energiezuständen (hier: potentielle Energiezustände) innerhalb eines Kontinuums darzustellen. Alle Punkte dieser Fläche stellen einen äquivoken Zustand dar. Die potentiellen Energiefunktionen – eine für jeden Knoten – überlagern oder vermeiden einander, verstärken oder heben sich gegenseitig auf. Dieses Ereignis visualisiert Oberflächen, die, vergleichbar mit einer Haut, ineinander verschmelzen, abtropfen oder sich in unendlich kleinen Einheiten verlieren. In der arithmetischen Summe aller Einzelpotentiale liegt der Schlüssel zu diesen Flächen. Es werden alle Punkte im Raum bestimmt, deren potentielle Energiefunktion einen bestimmten (von uns bestimmten) Zahlenwert erreicht. Die Gesamtheit dieser unzähligen Punkte (und damit die virtuelle Skulpturenform) erscheint als glatte oder zerklüftete, poröse oder kompakte Form, deren sich ständig bewegende Oberfläche eine neue Sichtweise auf die Entwicklung der SOM bietet. In Bezug auf den Grabbeplatz repräsentiert die SOM die zeitlich-räumliche Verzerrung des Ortes, wenn er nicht als kontinuierliche Raumform gesehen wird, sondern als Summe einzelner „Weltenlinien“ der Passanten, also der Wege der einzelnen Menschen, die sich hier zufällig kreuzen. Die SOM löst auch die Zeit auf, weil sich Wege treffen, die zeitlich versetzt waren. So ist die SOM eine Erinnerung an persönliche Zeiten, die dem Grabbeplatz seine individuelle Gestalt geben. Die ISO-Flächen haben die Funktion, die viel genutzten und begangenen von den wenig genutzten Flächen zu unterscheiden. Wülste markieren die häufige Anwesenheit von Menschen, Löcher deren Abwesenheit. Die Dynamik der ISO-Flächen folgt der Dynamik der Anhäufung von Menschen, die, wenn sie z. B. eine bestimmte Dichte erreichen, nacheinander umfallen und sich auflösen, um eine zu große Dichte zu vermeiden.
Der Klang
Der Ton ist eine Art „Überwachung“, die auf die aktuelle Position der Menschen auf dem Gelände verweist und die diese Position in einen Langzeitorganismus einrechnet. Beides wird grafisch als Positionen in den Feldern dargestellt, was eine visuelle Gedächtnisform in einem virtuellen Bild ist. Auch der Sound bezieht sich auf die aktuelle Position; eine Veränderung der Position des Betrachters verändert folglich den Sound. Wenn man geht, ist auf dem Gelände etwas anderes zu hören als wenn man nicht da ist. Zum anderen vermittelt der Klang – und das ist die eigentliche Qualität des Geräusches – Informationen über das, was auf dem Gelände stattfindet. Und durch die akustische „Sprache“ soll er eine Kategorisierung vornehmen. Er wurde von Yunchul Kim entworfen und programmiert. top
Architectonischer Kontext
Die Architektur, wie wir sie kennen, kann den Bedürfnissen ihrer Nutzer nicht gerecht werden, denn sie besteht aus Immobilien, aus unbeweglichen, modernen, vielleicht 70 oder 100 Jahre alten Gebäuden. Ein flexibles Gebäude ist noch nicht denkbar. Aber die Lebensdauer von Gebäuden nimmt ab, wenn man sich die Ergebnisse von Konferenzen wie „shrinking cities“ anschaut, geht der Trend dahin, Häuser zu planen, die auf- und abbaubar sind, die übertragbar und flexibel in ihren Funktionen sind. Das ist nicht nur meine Forderung, sondern auch die der Stadtplaner. Mein Ansatz ist, wegzukommen von Gebäudeformen, die Statuten setzen, wie es früher die Bildhauer getan haben, sondern die als Körper gedacht sind, so wie ich mich erlebe, als Zeichen, das mir ästhetisch gefällt. Natürlich müssen sich die neu zu entwerfenden Gebäude funktional in einen Nutzungsplan einfügen. Aber diese Gebäude sollten während ihrer Nutzung ihre Umgebung beobachten, um festzustellen, ob sie ihren Zweck erfüllen. Es stellt sich die Frage, wie ein solches Konzept formuliert werden kann, wenn es nicht nur auf der Grundlage der Idee einer Person oder eines Expertengremiums entwickelt wird, sondern wenn es der Bewertung durch die Öffentlichkeit unterzogen wird. Die Behauptung, dass sich die Architektur mit der Einführung des Computers verändert hat, ist nicht neu, denn die Entwurfsmethoden haben sich mit Werkzeugen oder CAD-Programmen usw. geändert. Die „Blob-Architektur“ bezeichnet eine junge Architektur, die mehr entwirft als baut. Meistens entstehen biomorphe Gebäudeformen in 3D-Programmen. Formen werden z.B. durch die Beobachtung von Umweltfaktoren entwickelt, die sich manifestieren. Insofern könnte man die Installation am Grabbeplatz als einen Vertreter dieser Form der Architektur sehen. Das Ziel meiner Projekte ist es aber nicht, einfach eine andere Form von Gebäuden zu finden, die wiederum nur statische Denkmäler werden, sondern interaktive Strukturen zu erproben, um zu sehen, welche wahrnehmbaren Spuren sinnvolle Strukturen für Gebäude schaffen. „Blob-Architektur“ wird sich an der Sinnhaftigkeit der an den Blobs vorzunehmenden Datenexploration bewähren müssen. Diese Verarbeitungsmethoden implizieren ein Menschenbild, das möglicherweise die Grundlage der zukünftigen Architektur sein wird.
Im nächsten Projekt der „inoutside“-Serie wird die Rückkehr zum realen Raum angestrebt. Heute wäre eine Rückkehr zur statischen Form und zum Skulpturalen zu früh, weil wir mit der Auswertung der Interaktion noch nicht weit genug fortgeschritten sind, um zu wissen, was zu bauen ist, vor allem solange die Baumaterialien noch nicht flexibel sind. Auch sind komplexere Schnittstellen notwendig, die ein größeres Spektrum an wahrnehmbaren menschlichen Äußerungen auswerten können. Im Virtuellen ist man heute viel flexibler und weniger schädlich, solange man es dabei belässt, noch nicht zu bauen und die Ergebnisse im Visuellen und Akustischen durch Nutzer zu überprüfen. Man kann zur Gestaltung des realen Raumes übergehen, wenn die Architektur so wandelbar ist, wie es das interaktive System erfordert.