„Kontinuum“ – ein ästhetischer Wetterbericht

02.01.2020

Installation von Ursula Damm und Felix Bonowski, 2021
Kuratorin: Yvonne Volkart
Kunst am Bau im Auftrag der Eawag: Das Wasserforschungsinstitut des ETH-Bereichs, Dübendorf bei Zürich

Kontinuum auf der Website der EAWAG

Felix Bonowski kontrolliert das generative Videobild, Eawag FLUX Gebäude, Dübendorf bei Zürich 2021

Die Kunstinstallation „Kontinuum“ von Ursula Damm und Felix Bonowski ist eine generative Zwei-Kanal-Projektion. Sie basiert auf Live-Daten des Chriesbachs, der an der Eawag vorbeifliesst.
Die beiden Projektionen repräsentieren eine bestimmte „Realität“ des Chriesbachs und seines Flusses im Verlaufe eines Jahres. Beide übersetzen Daten zu jahreszeitlichen Schwankungen, Farbmustern und physikalischen Prinzipien des Baches in sinnliche Bilder, die an impressionistische und japanische Malerei erinnern. Indem die Installation das Äussere ins Innere, das Wasser in das FLUX-Gebäude, das Objekt der Beobachtung an den Ort seiner Untersuchung bringt, reflektiert sie das „Kontinuum“ des Baches und die Funktion des Hauses auf ästhetische Weise.

Die Farbprojektion sammelt Bilder des Chriesbachs und dessen Bewohner
Echtzeitbilder von drei Kameras werden durch einen Grafik-Shader geleitet. Dieser basiert auf klassischen Lernregeln eines neuronalen Netzes, das sich Farben in Bereichen mit hoher Aktivität „merkt“. Das resultierende Video ist eine Collage aus kombinierten Aspekten des visuellen Erscheinungsbildes des Chriesbachs aus verschiedenen Zeiten und Blickwinkeln. Mit ihren täglichen Veränderungen dienen die Bilder als eine Art ästhetischer Wetterbericht.


Die Schwarz-Weiß-Projektion ist eine Live-Simulation eines Flusses, der sich durch ein von Felsen übersätes Tal schlängelt. Ausgehend von einem Ökosystem aus Nährstoffen, Primärproduzenten und grasenden Mikroorganismen des Flusses zeigt sie digital, wie die Welt aussehen würde, wenn die Natur diesen Regeln folgen würde. Die Formeln, welche die Form der Landschaft, die Dynamik der Strömung und die Entwicklung des Lebens in der Simulation bestimmen, werden mit Werten parametrisiert, die aus tatsächlichen Echtzeitmessungen der physikalischen Wassereigenschaften abgeleitet werden.
Temperatur, Sauerstoffsättigung und Trübung hinterlassen ihre Spuren
Die Messungen werden von einer vom Forschungsinstitut betriebenen Station durchgeführt, die nur wenige Meter von der Stelle entfernt ist, wo die Kameras auf den Bach blicken. Die Korrespondenzen zwischen den Messungen und den Modellparametern sind so gewählt, dass jahreszeitliche Veränderungen (Temperatur), Tagesrhythmen (Sauerstoffsättigung durch Photosynthese) und gelegentliche Ereignisse (Trübung durch Gewitter und Bauarbeiten) ihre Spuren in den Grafiken hinterlassen. Die Simulation verwandelt sich von einem Tal mit wenigen großen Felsbrocken in ein (virtuelles) Flussbett mit vielen kleinen Kieselsteinen, von einem emergenten biologischen Muster in ein anderes, von einem langsam mäandrierenden Fluss in einen heftigen Strom. Dadurch zeigt sie sich als ein Wesen in ständigem Wandel.
Am rechten Rand jeder Projektion greift die Bildlogik der jeweils anderen Projektion ein, so dass sich die Farbdaten des Live-Streams und die Muster der Schwarz-Weiß-Simulation überschneiden: Kontrastreiche Bewegungen in der farbigen Projektion (z.B. Licht-Reflexionen oder schwimmende Blätter) werden zu Linien, Kratzern und Löchern in der Schwarz-Weiß-Projektion. Sie erscheinen als Kräfte, die das organische Leben auslöschen und das Bild zerstören. So wird deutlich, dass kein Bild und keine „Realität“ für sich stehen, sondern durch vielfältige Zugänge in Frage gestellt, gestört oder interpretiert werden können.

Videodokumentation der Installation
Zwei Projektionen, Vordergrund Simulation
Zwei Projektionen, korrespondierend
Ansicht der Projektion mit bearbeitetem Video, das eine Ansammlung von Wasserbewegungen zeigt
Video auf der Website der Eawag

Technik


Zweikanalprojektion: Ein Video basiert auf Live-Kameraaufnahmen, welche Lernregeln eines neuronalen Netzes anwendet; der Input erfolgt über drei Außenkameras am Ufer des Baches. Das zweite Video zeigt eine Simulation basierend auf Perlin-Rauschen, Navier-Stokes-Solver, Reaktionsdiffusionskinetik, parametrisiert mit Live-Messungen von Sauerstoffgehalt, Temperatur und Trübung; der Daten-Input erfolgt über Live-Datenmessungen des Wasserforschungsinstituts.

Echtzeitdaten von Chriesbach für den Simulationsbildschirm
Kameras observieren den Wasserlauf des Chriesbachs
Positionierung der Kameras
Kamerahalterung
Felix Bonowski installiert die Kameras

Details und technisch-ästhetische Entscheidungen


Das generative Video


Das Videobild besteht im Grunde genommen aus einem Differenzbild. Bei einem solchen wird ein stetig aktualisiertes Videobild von einen ausgangs gespeicherten Referenzbild abgezogen. Die Differenz dieser Bilder zeigt die Bildveränderung an und rechnet sie der Videoausgabe hinzu. Diese Veränderung wird nach speziellen, dem maschinellen Lernen entlehnten Regeln dem Ausgangsbild aufaddiert. Verfestigt sich das Bild infolge gleichförmiger, stetig gleicher Veränderungen, dann wechselt das Programm zu einer anderen Kamera, und zwar zu dieser, die sich am deutlichsten von dem aktuellen Bild unterscheidet. Diese Bildlogik machte die Installation von drei Kameras notwendig. Das jeweils neu zugespielte Bild verändert das Display dann großflächig. Durch dieses Verfahren werden Strukturelemente von Licht und Wasser hervorgehoben. Die Verfestigungen nannten wir im Verlauf des Arbeitens „Sedimente“, welche grafische Eigenschaften von natürlichen Systemen herausarbeiten. Durch das Austarieren verschiedener Berechnungsmethoden sowie verschiedener Farbräume konnte das Bild an die Situation in Dübendorf angepasst werden, so dass der farbige „Wetterbericht“ Minima wie Maxima visuell lesbar machen kann.

Die Simulation


In dieser Simulation war es unser Ziel, ein synthetisches Äquivalent zu einem Wasserdampf zu schaffen, mit den Elementen Landschaft (eine sich langsam entwickelnde Struktur, die den Rahmen bildet), Fluss (Bewegung von Material um Hindernisse herum), Leben (lokalisierte Reaktionen, die emergente Muster bilden) und Wetter (variable äußere Einflüsse).

Das simulierte System sollte in der Lage sein, als Reaktion auf Parameteränderungen eine Vielzahl unterschiedlicher, aber eindeutig zusammenhängender visueller Erscheinungen zu erzeugen, so dass Änderungen der physikalischen Chriesbach-Eigenschaften zu erkennbaren Veränderungen der für die Besucher sichtbaren Muster führen.
Alle Komponenten mussten so realisiert werden, dass sie eine Echtzeitberechnung in hoher Auflösung ermöglichen und stabil genug für einen kontinuierlichen, unbeaufsichtigten Langzeitbetrieb sind.
Die Muster in der Simulation werden durch Reaktions-Diffusions-Prozesse gebildet, die von „klassischen“ Touring-Mustern inspiriert sind, unter Verwendung eines Gray-Scott-Modells, das um eine verbrauchbare „Nährstoff“- und eine wiederauffüllbare „Sauerstoff“-Komponente erweitert wurde. Nur die „Raubtier“-Komponente ist sichtbar.
Jedes Pixel hat eine Reihe von Zustandsvariablen (Nährstoff, Sauerstoff, Räuber, Beute), die miteinander reagieren. So reagieren Pixel beispielsweise wie Räuber, welche Beute fressen, um mehr Räuber zu produzieren. Pixel diffundieren auch in ihre Nachbarschaft entsprechend der sie umgebenden Konzentration. Der Transport durch die Strömung wird realisiert durch lokale Vergleiche von Konzentrationen in Bewegungsrichtung.
Als sog. „Nährstoff“ wird „frisches“ Wasser aufgefüllt, das seitlich in die Simulation eintritt. Da dieser „Nährstoff“ im Laufe der Zeit verschwindet, schränkt er das Wachstum in Bereichen ein, die lange Zeit keine Strömung erfahren haben. Dies trägt insbesondere zu einem schön anmutenden Verfall von Strukturen an „Flussufern“ bei, die kürzlich über den Grundwasserspiegel gestiegen sind.
Auch hier war es ein wesentliches Ziel der Datenprozessierung, über das Jahr hinweg mit den verschiedenen Ereignissen (Schneeschmelze, Hochwasser) Unterschiede und Höhepunkte im visuellen Geschehen zu erreichen.

Blick auf die Projektion mit manipuliertem Video, das eine Ansammlung von Wasserbewegungen zeigt
Echtzeit Ausspielung der sog. ‚Bachcam‘

Projektbeschreibung PDF

Dies ist das Konzeptvideo mit Beispielen für verschiedene interessante Momente

Membrane

28.10.2019

Membrane bei Entangled Realities – Leben mit künstlicher Intelligenz im HeK (Haus der elektronischen Künste Basel), 08.05.-11.08.2019. Bild: Sabine Himmlsbach
 
 
Ausstellung Entangled Realities Foto: Franz Wamhof
Dokumentation der Ausstellung in der Galerie Nord – Kunstverein Tiergarten, Berlin. Betreiberin: Sandra Anhalt



 

Membrane mit Interface im Kunstverein Tiergarten Galerie Nord


Membrane ist eine Kunstinstallation, die als Hauptwerk einer gleichnamigen Ausstellung im Kunstverein Tiergarten in Berlin Anfang 2019 produziert wurde. Sie baut auf einer Reihe von generativen Videoinstallationen mit Echtzeit-Videoeingabe auf. Membrane erlaubt es dem Betrachter, direkt mit der Generierung des Bildes durch ein neuronales Netzwerk, hier den sogenannten TGAN-Algorithmus, zu interagieren. Eine Schnittstelle ermöglicht es, die „Vorstellungskraft“ des Computers zu erleben und den Besucher je nach Neugier und persönlichen Vorlieben zu führen.

Die Bilder von Membrane stammen von einer statischen Videokamera, die eine Straßenszene in Berlin beobachtet. Eine zweite Kamera ist im Ausstellungsraum positioniert und kann nach Belieben bewegt werden. Auf zwei Bildschirmen werden beide Szenen in Echtzeit gezeigt.

In meinen früheren künstlerischen Experimenten haben wir in diesem In meinen früheren künstlerischen Experimenten haben wir in diesem Kontext jedes Pixel eines Videodatenstroms als eine operative Einheit betrachtet. Ein Pixel lernt aus Farbfragmenten während der Laufzeit des Programms und liefert eine Farbe, die als Summe aller Farben während der Laufzeit der Kamera betrachtet werden kann. Diese einfache Speichermethode schafft etwas grundlegend Neues: eine Aufzeichnung von Bewegungsmustern an einem bestimmten Ort.

Auf technischer Ebene kontrolliert Membrane nicht nur Pixel oder klar umrissene Details eines Bildes, sondern Bild-„Merkmale“, die erlernt, gespeichert und wieder zusammengesetzt werden. Um beim Beispiel der Farbe zu bleiben: Wir wählen Merkmale aus, aber ihre Eigenschaften werden an einen Algorithmus delegiert. TGANs (Temporal Generative Adversarial Nets) realisieren „unbeaufsichtigtes Lernen“ durch den gegenläufigen Rückkopplungseffekt zweier Teilnetze: Ein Generator erzeugt kurze Bildsequenzen und ein Diskriminator bewertet das künstlich erzeugte Filmmaterial. Der Algorithmus wurde speziell entwickelt, um Repräsentationen von unkategorisierten Videodaten zu erzeugen und – mit Hilfe dieser – neue Bildsequenzen zu produzieren. (Temporal Generative Adversarial Nets).

Sound: Teresa Carrasco, Bern

Die Arbeit wurde erstellt mit freundlicher Hilfe des Kreativfonds Bauhaus Universität Weimar und des HEK Basel
https://vimeo.com/349417754
Hier mein Vortrag auf der Konferenz Re-Imagining AI
https://vimeo.com/showcase/6375722/video/366513412

Artikel über Membrane im Jahrbuch der Bauhaus Universität

Fly song

03.10.2019

Fly songs von Ursula Damm und Johann Nigel

Wir verwenden Max/MSP), um die Tonhöhe natürlicher Fliegengesänge zu ermitteln und sie mit ihren eigenen Tönen zu modulieren. Natürlich vorkommende Obertöne werden in der Echtzeit-Darstellung gezeigt. Erstmals gezeigt im Mo Museum in Vilnius, Mai 2019.

Programmierung: Johann Nigel
Konzept: Ursula Damm

Drosophila Karaoke Bar

01.12.2018

Installation auf dem Ars electronica Campus 2019 als Teil von Shared Habitats
Documentation der Ausstellung im MoMuseum Vilnius 2019
A perfektes Feedback als ER auf einer Bach B50 Bassposaune spielt

Project Description in German

Mit Drosophila Karaoke Bar möchten wir auf einen Modellorganismus in Medizin und Forchscung schauen: die Fruchtfliege Drosophila.  Während wir im Alltag die Fliegen meiden, ist sie in der Wissenschaft ein prominentes Objekt von Experimenten. Drosophila sind billig, sie reproduzieren sich schnell, haben genug genetische Ähnlichkeit zu uns Menschen um als Organismus herzuhalten, der für die Erfoschung genetischer Krankheiten dient. Insbesondere sind ihre Gehirne so klein, dass wir sie gut verstehen können.

Look into the sound isolation box

Kann unsere Karaoke-Bar Elemente aus unserer Hightech-Kultur in unser Lebensumfeld zurückbringen? Erlaubt sie dem Publikum, in die Wissenschaft hineinzutauchen? Unser Versuch, Menschen einzuladen, mit Fliegen zu singen, bietet eine Performance, um einen ganzheitlichen Ansatz für wissenschaftliche Untersuchungen zu erleben. Der Aufbau erörtert ökologische Fragen: Wie weit müssen wir die Lebensbereiche von Mensch und Fliege trennen, damit sich beide wohlfühlen? Welche Maßnahmen sind nötig, um ihre leisen Gesänge für den Menschen hörbar zu machen? Wie wirkt sich eine Laborumgebung auf das Verhalten der Fliegen aus? Unter welchen Bedingungen können wir ihre Anwesenheit genießen?

Die Installation lädt die Besucher ein, über eine technische Schnittstelle in einen direkten Austausch mit den Fruchtfliegen zu treten. A software is transforming human speech into signal that can be perceived by flies. It allows auditory feedback between people and animals. Für die Verschmelzung von Menschen- und Fliegengesang wird ein spezieller Signalverarbeitungs-Vocoder verwendet, der von Berd Edler vom Fraunhofer-Institut für Integrierte Schaltungen zur Verfügung gestellt wird.
Die Besucher sind aufgefordert, mit Fliegen zu sprechen und zu singen. Birgit Brüggemeier, Neuroscientist und Fliegenforscherin, erklärt in einem Video die Bedeutung der einzelnen Bestandteile des Fliegengesangs. Sie informiert die Zuhörer über die Syntax und Semantik von Drosophila-Gesängen, um den Besuchern ein besseres Verständnis der Fliegenkommunikation zu vermitteln. Das Video ermutigt die Besucher, mit Fliegen zu singen und zu sprechen.

Das Innenleben der Box mit Isolation, Mikrofonen, Lautsprecher
Fly karaoke explained by Birgit Brüggemeier

 

Inside the box and under the sand pile
Karaoke Bar @ MOMuseum Vilnius

Eine Klangvisualisierung in 2D erweitert die auditive Wahrnehmung der Fliegensphäre um eine visuelle Überwachung der Fliegengesänge auf einem Bildschirm: die Position, die Amplitude und das Muster der Klangquellen sollen dem Künstler helfen, ihren Einfluss auf das Verhalten der Fliegen zu erkennen. Ein großer Sandhaufen bedeckt mit seinem Gewicht den Lebensraum der Fliegen, um ihr Summen gegen den Lärm der menschlichen Aktivitäten zu isolieren. Der massive Sandhaufen repräsentiert die sinnliche und semantische Kluft zwischen einer Fliege und einem Menschen.

In einer weiteren, vorgerenderten Version – Fly Songs – bietet ein weiterer Kopfhörer einen „anthropozentrischen“ Blickwinkel auf Fliegen: wir verfolgen die auftretenden Frequenzen unserer Fliegengemeinschaft, die in Balzgesängen und Fluggeräuschen bestehen (die sich um eine ungefähre Oktave von den Gesängen unterscheiden). Eine speziell entwickelte Software unterstützt die Echtzeitklänge, indem sie sie mit zuvor in den Fliegengeräuschen vorgefundenen Tönen zu Akkorden moduliert. Diese Software wirft die Frage auf: Gibt es in den Gesängen der Fliegen mehr verborgene Kommunikationsmuster, als von der Wissenschaft bisher beschrieben?

Übersetzt mit www.DeepL.com/Translator (kostenlose Version)

Fly song – a rendering of a generative software

With Karaoke Bar we learn to become silent and careful to be able to hear the voice of Drosophila. Our setting offers a possibility to communicate with Drosophila at eye (ear) level. By concentrating on Drosophilas proper way of expression (what kind of signals are they sending to their surroundings? How are they communicating? How does it sound if they are approaching their comrades? What do they want to negotiate? What are our common windows of perception?), we want to circumvent an anthropocentric world view. The installation not only translates the signals of drosophila (sonifying and visualizing, as it was done earlier), but allows a shared practice in a direct feedback situation, offering a novel sensual experience.

Ursula Damm (Artist, Project Lead)

Birgit Brüggemeier (Neuroscientist, former Fly Researcher)

Felix Bonowski (Programming, Interface)

U-Bahnhof Schadowstrasse

29.01.2016

TURNSTILE – eine Installation für die U-Bahn Station Schadowstrasse Düsseldorf

Turnstile, generative Installation von Ursula Damm (Foto Thomas Mayer)

Auf der Stirnwand des U-Bahnhofs Schadowstrasse zeigt eine LED Wand ein generatives Video. Vor dieser Wand strebt ein Lichtschacht an die Platzoberfläche, wo eine Videokamera aufgebaut ist. Diese Kamera filmt unablässig Passanten auf dem Platz und leitet das Bild an eine eigens entwickelte generative Software (programmiert von Felix Bonowski), die aus den Bewegungsspuren der Passanten geometrische Vorschläge für Konstruktionen ableitet. Diese Interpretationen des Echtzeitvideos entwerfen neue Geometrien für den Ort, schlagen Achsen und Parzellen vor. Zwei Aufzüge rechts und links des großen Videobilds führen vom Platz auf den Bahnsteig. Dort kann man eine Soundinterpretation (komponiert von Yunchul Kim) der geometrischen Konstruktionen hören.

Turnstile, Ursula Damm, Schadowstrasse Düsseldorf 2016 (Foto by Thomas Mayer)

Zwei Aufzüge, rechts und links vom LED-Screen, führen vom Platz oben auf die Ebene der Strassenbahnschienen.

Zentrum der künstlerischen Intervention ist das Videobild mit seinem Konzept.Dieses Konzept findet sich auch in der Gestaltung der Wände der Schnitträume wieder. In das blaue Glas des U-Bahnhofs sind an 21 Stellen Platten eingefügt, welche Geometrien über Stadtteilen von Düsseldorf aufzeigen.

Die generative Video-Installation interpretiert Bewegungspuren, die Ihrerseits „Agenten“ erzeugt. Die Aktivität dieser geometrischen Agenten wird in Töne übersetzt: große Polygone, welche kleine Polygoninseln miteinander verbinden, werden entsprechend ihrer Symmetrie in Töne übersetzt. Diese Töne stellen also das Geräusch dar, das die virtuellen Agenten in ihrer synthetischen Welt erzeugen.


Auf dem Bahnsteig kann man die erzeugten Geometrien als Klanginterpretation hören (Sonifikation von Yunchul Kim). Im Zentrum der künstlerischen Intervention ist das Videobild und sein künstlerisches Konzept. Das Konzept führt die Musterzeichnungen im Zugangsbereich des U-Bahnhofs weiter. Im Zugangsbereic sind in die blauen Glasscheiben der Wände an 21 Orten Luftbilder von markanten Orten Düsseldorfs eingelassen, die durch geometische Muster interpretiert werden.

Musterzeichnungen über Bewegungsspuren von Passanten, Schadowstrasse, Düsseldorf., Foto Achim Kukulies

In der östlichen Zwischenebene ist ein Luftbild der Stadt Düsseldof, die als Gesamtansicht geometrisch interpretiert wurde. 

Geometric pattern generation on the spacial structure of Duesseldorf

Als Excerpt dieses Luftbildes werden 16 Nachbarschaften aus Düsseldorf interpretiert. Diese urbanen Siedlungsformen werden beschrieben mit regulären polygonen als Energiezentren, die sich konfiguriert haben durch die urbane Entwicklung  der Stadtarchitektur (siehe auch den Text zur Mustergenerierung).

Die feine Struktur der Muster setzt dem massiven Bauwerk die Sensibilität der Natur, aber auch der menschlichen, gestalterischen Geste gegenüber und ruft eine Form des Gestaltens in Erinnerung, die durch symbiotische Organisation von vielen Einzelelementen und -energien großräumige Zusammenhänge erzeugt. Damit vollzieht diese Gestaltung das Prinzip des Sozialen, bei welchem das Individuum seine Auswirkung auf das Ganze erfahren kann. 


In der Verteilerebene Ost findet sich das Luftbild der Stadt Düsseldorf, das entsprechend des geometrischen Konzepts analysiert wurde.

Der Entwurf der Musterzeichnungen geschieht in langsamen Schritten: Zunächst erfolgte eine Linienzeichnung über dem Stadtbild. Dabei sollten wichtige Bewegungsachsen von Verkehr und Passanten hervorgehoben werden. Die von den Achsen eingeschlossenen Flächen werden zu Polygonen. Nun folgt ein Untersuchen von Winkeln der Linien und Achsen, auf der Suche nach ganzzahligen Brüchen von regulären Polygonen. …

Das kleinste, alle Symmetrien vor Ort integrierende Polygon (beispielsweise bei Bruchstücken von 5-Ecken und 4 Ecken wäre das ein 20-Eck) wird dann zur Beschreibung der Kreuzung herangezogen.

In einem weiteren Schritt wird nun nach Verbindungen (Netzwerk)zwischen den großen Polygonen in der Nachbarschaft gesucht.

Es ergab sich bei der Arbeit an den Luftbildern, dass die Innenstand sehr kleinräumige Polygone aufweist, während Aussenbezirke deutlich großräumiger strukturiert sind. Verdichtung lässt sich also an kleinteiligen Vielecken und komplexen Symmetrien ablesen. Häufig kann auch der Übergang von nicht-vierecken zu Vierecken auf historische Brüche im Stadtbild hinweisen. So stellen diese Interpretationen Untersuchungen dar über die Siedlungs- und Planungsgeschichte der Stadt.

Die Soundinstallation:

Die generative Video-Installation interpretiert Bewegungspuren, die von geometrischen „Agenten“ erzeugt wird. Die Aktivität dieser Agenten wird in Töne übersetzt, den visuellen Artefakten folgend. Der Sound ist somit wie das Geräusch, das die virtuellen Artefakte in ihrer Welt generieren und stellt eine erweiterte künstlerische „Wirklichkeitsebene“ der Installation dar.

Das PROGRAMM

  • wähle einen Ort (Ursprung)
  • bestimme die Bewegungsachsen von Personen und Verkehr
  • schaue, ob diese Achsen in Winkeln zueinander stehen, die durch Spiegeln und Drehen ein Polygon bilden, das sich nach allen Seiten gleichmässig ausdehnt
  • zeichne dieses Polygon, um die natürliche Geometrie des Ortes nährungsweise zu bestimmen
  • schaue, ob ausgehend von diesen, dem Ort eigenen Geometrien, eine Flächenstruktur (Parkettierung) möglich ist, die die Ursprungsgeometrien rhythmisch wiederholt.
  • untersuche, ob und wie im Luftbild des Ortes vorhandene Areale sich in die gefundene Geometrie des Ortes einfügen
  • verstärke vorhandene Strukturen durch Entwicklung ihrer Geometrien
  • verbinde vorhandene Strukturen in die Logik der Ursprungs-Geometrie
  • schaue in die Umgebung: wie können Orte miteinander vernetzt werden über Einsatz von geometrischen – also mathematisch beschreibbaren – Generierungsschematas?
  • Welche Proportionen bauen diese Geometrien zueinander auf?

Konzept: Ursula Damm
Programmierung: Felix Bonowski
Sound: Yunchul Kim

Artikel zur Herstellung des Kunstwerks

Text von Georg Trogemann über den Besuch der Eröffnung

official website Stadt Düsseldorf

 

The outline of paradise (installation)

06.09.2014

Installationsaufbau während der Hybris Ausstellung im ACC Weimar
Detail – Laborartikel für die Mückenzucht, Pflanzen als Futter

Zuckmücken (chironomidae) werden in einem Aquarium gezüchtet. Im Aquarium sind Mückeneier, Laven in Sand und Wassr und einige Imagines.  Sie werden belüftet und bekommen Licht. Die Auswahl der Mücken (Chironomus Riparius, eine Laborkultur) erlaubt die Zucht in Innenräumen.

Aquauarium, Ipad mit Video von loopenden Flugzeugen einer Flugshow vor schwärmenden Mücken.
Wer fliegt besser? Und schöner?


 Wer fliegt besser? Und schöner?

Kunstfliegen
Pink elephants for Hollywood
  • The scientific paper

Für eine Klangperformance lud ich Christina Meissner  ein, über dem Klang der Flügelschläge der Mücken zu impovisieren. Wir konnten feststellen, dass vor allem laute, tiefe Töne direkt die Flugbahnen beeinflussen. Nach längerem Zusehen schien es allerdings auch, dass hohe Töne die Kohärenz des Schwarms verstärkten.

  • "the outline of paradise" - view into the soundbox


Der Aufbau der Ausstellung erlaubt, zu erkunden, wie Schwärme sich entwickeln, wie sie wissenschaftlich beschrieben werden und ob es Möglichkeiten der Beeinflussung gibt. Die Arbeit folgt „sustaibable luminosity“ und exploriert, wie Mücken trainiert werden können in einer technoiden Spekulation.

Work at Halle14, Leipzig

Concept: Ursula Damm
Artistic + scientific consultation: Dr. Klaus Fritze
Cello, Sounds: Christina Meissner
Programming: Sebastian Stang

Chromatographic Ballads

16.12.2013

https://vimeo.com/71008106
test situation in my studio with brain device

The installation received a honorary mention at VIDA 15.0

The Artwork

Chromatographic Orchestra is an artistic installation which allows a visitor to direct a software framework with an EEG device. In an exhibition environment with semi-transparent video screens a visitor is sitting in an armchair and learns to navigate unconsciously – with his/her brain waves the parameter space of our software – Neurovision.

Neurovision interacts with live video footage of the location of the exhibition and its surroundings. By navigating with his/her own brain waves the visitor can define and navigate the degree of abstraction of a generative (machine learning) algorithm,  performed on the footage of different, nearby video cameras.

Our Operator Lisa sitting in front of the screen with a EEG device

The installation refers back to painting techniques in the late 19th and early 20th century, when painting became more an analysis of the perception of a setting then a mere representation of the latter. Impressionism and Cubism were fragmenting the items of observation while the way of representation was given by the nature of the human sensory system.

The installation “chromatographic orchestra” does not apply arbitrary algorithms to the live footage: we developed a software – the Neurovision framework – which mimics the visual system of the human brain. Thus we question whether our algorithms meet the well being of the spectator by anticipating processing steps of our brain.

Martin explaining the Neurovision software

Artistic Motivation

How much complexity can our senses endure, or rather how could we make endurable what we see and hear? Many communication tools have been developed, to adjust human capabilities to the requirements of the ever more complex city.

Our installation poses the opposite question: How can information emerging from the city be adjusted to the capabilities of the human brain, so processing them is a pleasure to the eye and the mind?

At the core of our installation is the NeuroVision Sandbox, a custom made framework for generative video processing in the browser based on WebGL shaders.

Inside this Sandbox we developed several sketches, culminating in the
“Chromatographic Neural Network”, where both optical flow and color information of the scene are processed, inspired by information processing in the human visual system.

We critically assess the effect of our installation on the human sensory system:

  • Does it enhance our perception of the city in a meaningful way?
  • Can it and if so – how will it affect the semantic level of visual experience?
  • Will it create a symbiotic feedback loop with the visitor’s personal way to interpret a scene?
  • Will it enable alternate states of consciousness? Could it even allow visitors to experience the site in a sub-conscious state of “computer augmented clairvoyance”

Installation

In a location close to the site a single visitor directs a video-presentation on a large screen with a setup we like to call “the Neural Chromatographic Orchestra” (NCO).
Our installation uses an EEG-Device (Emotiv NeuroHeadset) that lets visitors interact with a custom neural network. The setup allows visitors to navigate through various levels of abstraction by altering the parameters of the artificial neural net.

With the NCO device, a visitor can select and explore real-time views provided by three cameras located in public space with different perspectives on the passer-byes (birds-eye view and close-ups)

The installation is based on the NeuroVision Sandbox used in the development of “transits”.
Other than transits, chromatographic ballads uses multi-channel real-time video-input and enables a visitor to interact with irectly via biofeedback with the neural network.

The Neural Chromatographic Orchestra investigates how human perception reacts to the multifaceted visual impressions of public space via an artistic setting. Using an EEG-Device visitors can interact with a self-organizing neural network and explore real-time views of an adjacent hall from several perspectives and at various levels of abstraction.

Biological Motivation

The Chromatographic Neural Network is a GPU-based video processing tool. It was inspired by parallel information processing in the visual system of the human brain. Visual information processing inside the brain is a complex process involving various processing stages.The visual pathway includes the retina, the Lateral Geniculate Nucleus (LGN) and the visual cortex

Scheme of the optical tract with the image being processed (simplified): http://en.wikipedia.org/wiki/File:Lisa_analysis.png

Low-level visual processing is already active at the various layers of the retina. The Interconnection of neurons between retina layers, and the ability to retain information using storage or delayed feedback, allows for filtering the visual image in the space and time domain.

Both image filters and motion detection can easily be achieved by accumulating input from neurons in a local neighborhood, in a massively parallel way.

Our Chromatographic Neural Network uses this approach to cluster colors and to compute the visual flow (or retina flow ) from a video source. The resulting attraction-vectors and flow-vectors are used to transform the memory retained in the memory layer.

The visual output of the system directly corresponds to the state of the output layer of the neural network. The neural layers of the Chromatographic Neural Network, are connected to form a feedback loop. This giving rise to a kind of homeostatic-system that is structurally coupled to the visual input but develops its own dynamics over time.

The set-up

ideal set-up for the installation

 

A visitor enters the site – a highly frequented passage, a spacious hall or a public place. Two videocameras, mounted on a tripod, can be moved around at will.

Another camera observes the passer-byes – their transits and gatherings – from an elevated location. The video footage from this site is streamed into a neighboring room – the orchestra chamber of the Neural Chromatographic Orchestra.

Here one can see – in front of a a large video wall a monitor displaying the videos from the adjacent room and the “orchestra pit” – an armchair equipped with a touch device and a neuro-headset. The video wall, showing abstract interpretations of the site itsself, should ideally be visible both from the orchestra pit and from the large hall.

The Orchestra Chamber

Inside the chamber the visitor is seated in a comfortable armchair and an assistant helps her put on and adjust the neuro-headset.

The orchestra chamber should be isolated from the public area as much as possible. A sense of deprivation from outside stimuli allows the visitor to gain control over her own perception and achieve a state of mind similar to meditation or clairvoyance.

The Orchestral Performance

Training Cognitive Control

A performance with the Neural Chromatographic Orchestra starts with a training of up to six mental actions, corresponding to the “push/pull”, “left/right“ and “up/down” mental motions provided by the Emotiv Cognitiv suite. The training typically lasts 10 to 30 minutes.

Playing the Sandbox

After successful training the visitor is asked to sit in front of the NeuroVision Sandbox:

The visitor in the orchestra chamber has three modes of conducting the neural network

  • either the birds-eye view or one of the cameras that take a pedestrian’s perspective
  • A graphical user interface lets her switch between different neural networks and control their parameters
  • A menu lets her choose any of the three cameras as a video source:
  • the NeuroHeadset allows to navigate the parameter space of the selected neural network

Conducting the Orchestra

Once the visitor feels comfortable conducting the NCO on the small screen, she can perform on the large screen, that is also visible from the outside.

On the public screen sliders are not shown, but the conductor may still use a tablet device to access the graphical user interface.

The current position in parameter spaces is represented by a 3d-cursor or wire-frame box, which is very helpful for making the transition from voluntary conduction moves, to a style of conducting that is more directly informed by immersion and interaction with the output of the Chromatographic Neural Network.

The Chromatographic Neural Network

The flow of information is arranged into several processing layers. To realize memory, each processing layer is in turn implemented as stack of one or more memory layers.This allows us to access the state of a neuron at a previous point in time.

Example

The video layer is made up of two layers, so the system can access the state of any input neuron at the current point in time, and its state in the previous cycle.

Processing Layers

The Video layer

The Video layer contains the input neurons. Each neuron corresponds to a pixel of the video source. The Video layer provides the input for the Flow layer.

The Ghost Layer

The Ghost layer represents a haunting image from the past. It implements the long term memory, that interferes and interacts with the current visual input. It does not change over time, and is provided as additional input to the Flow layer

The Flow layer

The Flow layer accumulates the input from the Video layer and the Ghost layer. Each Neuron aggregates input from its neighborhood in the Video Layer at times (t) and (t-1). The computed 2d vector is directly encoded into the the state of the neuron, creating a flow map.

The Blur layers

The Blur layers are used to blur the flow map. While the computation of visual flow is restricted to a very small neighborhood, the blur layer is needed to spread the flow information to a larger region, since flow can only be detected on the edge of motion.

For efficiency reasons the blur function is split into two layers, performing a vertical and a horizontal blur respectively.

Neuron Processing

The state of each neuron corresponds to an RGB color triplet. Every neuron of the Flow layer gets input from corresponding neurons inside a local neighborhood of the input layers. Each of those input samples corresponds to a single synapse. The vector from the center of the neuron towards the input neuron is referred to as the synapse vector.

Color Attraction

To achieve some kind of color dynamics, colors that are close in color space are supposed to attract each other.

The distance between synapse input and the neuron state in RGB color-space, serves as a weight, which is used to scale the synapse vector. The sum of scaled synapse vectors results in a single color attraction vector.

Color Flow

While color attraction is the result of color similarities or differences in space, color flow is the result of a color changes over time. Rather than calculating the distance of the neuron state to a single synapse input, its temporal derivative is calculated by using input from a neuron and its corresponding memory neuron. This time the sum of scaled synapse vectors results in a flow vector.

Encoding

Both color flow and color attraction vectors are added up and their components are encoded in the flow layer.

Parameters

here are various parameters in each layer controlling the amount and direction of color attraction, color flow, the metrics used for calculating color distances, the neuron neighborhood, etc …

Implementation

All neural computation is performed on the GPU using OpenGL and GLSL shaders. This is the mapping from neural metaphors to OpenGL implementation:

Memory layers → Texture-Buffers
Processing Layers → GLSL shaders
Parameters → GLSL uniforms

Outlook

In our implementation both color flow and attraction are integrated into a single level flow map. While this generates interesting local interactions, there is little organization on a global level. The work on Multilevel Turing Patterns as popularized by Jonathan McCabe shows that it is possible to obtain complex and visually interesting self organizing patterns without any kind of video input.

Our future research will combine several layers of flow maps, each operating on a different level of detail. Additional directions include alternate color spaces and distance metrics.
In the current model input values are mixed and blurred, resulting in a loss of information over time. We have also been experimenting with entropy-conserving models and are planning to further investigate this direction.

This project is based on two recent artworks, „transits“ and „IseethereforeIam“

Conceppt: Ursula Damm
Programming: Martin Schneider

I am a Sensor

08.10.2013

Aus dem Äther in den Körper

“Ich bin ein Sensor”

Seit den 90er Jahren haben sich zwischen den Künstler und sein Publikum jede Menge Apparate und Apparaturen geschoben. Kommunikation geschieht geplant, kontrolliert, reduziert, erweitert – kurz: posthuman. Dabei wird in Kauf genommen, dass jedes Device bereits die Aufmerksamkeit des Performers vom eigenen Körper ablenkt auf technische Artefakte.

In einigen Experimenten wird gezeigt, was passiert, wenn der Körper als ultimative Instanz der Bewertung seinen Platz zurück erhält und die natürlichen Sinne von Mensch und anderen Lebewesen ins Zentrum der Betrachtung gerückt werden.

Das Video wurde uraufgeführt zur Jahrestagung der Gesellschaft für Medienwissenschaften, Leuphana Universität Lüneburg

Website der Veranstaltung

Interview über die Arbeit auf der Tagung
Sensordata measured at the toes

Transits

30.09.2012

Screen print

 

Die Installation Transits verwendet statische Videoaufnahmen des Aeschenplatz in Basel, um Spuren von Passanten auf einem städtischen Verkehrsknotenpunkt aufzuzeichnen und in ihren Charakteristiken sichtbar zu machen. Eine speziell neu entwickelte Software (Autor: Martin Schneider) begreift das gesamte Videobild als Neuronales Netz. Jeder Pixel des Videobildes wird gespeichert und in der Folge mittels spezieller Algorithmen „erinnert“ oder verarbeitet. Einerseits wollten wir, dass lang verweilende Elemente sich ins Bild einschreiben, zum anderen aber hat diese Bildverarbeitung auch eine eigene Dynamik: Farben ziehen sich an und Bewegungen schieben Pixel in die erkannte Richtung. Das Bildergebnis schwankt zwischen Beschreibung von ortsspezifischen Ereignissen und der Eigendynamik der Bildverarbeitung, wie sie unserem Gehirn zugeschrieben wird, hier vorweggenommen von einer Software.

Für eine ausführliche Beschreibung der Algorithmen und ein neu entworfenes Interface zur Steuerung der Bildwahrnehmung schauen Sie bitte hier.

Transits wurde produziert für die Ausstellung sensing place des Hauses für Elektronische Kunst Basel und wurde in die Sammlung des Museums aufgenommen.

Trailer from the 1 hour video

Konzept der Installation:
Ursula Damm
Vorarbeiten: Matthias Weber
Software: Martin Schneider
Sound: Maximilian Netter

The outline of paradise (sustainable luminosity, video)

25.06.2012

Luciferin sorgt bei Glühwürmchen für ein Licht, das in seiner Intensität und seinem Nutzungsgrad
jeder technischen Leuchtquelle überlegen ist. Das Produkt möchte das Werben der Glühwürmchen um
einen Partner als Vorbild nehmen für die Werbeträger in unseren Städten. Leuchtreklame wird anstatt
elektronisch gesteuert, von Mücken geflogen, die mit einem Leuchtgen ausgestatteten werden und
ein spezielles Flugtraining erhalten haben.
Die Instalaltion „the outline of paradise“ entwickelt aus diesem Versprechen eine skulpturale, interaktiven
Soundinstalllation, die schrittweise ermöglicht, Zuckmücken mit Sound zu trainiere und anstatt in kugeligen Schwärmen – in Buchstabenformation zu fliegen. In einem weiteren Schritt
sollen die Implikationen und Folgen der genetischen Modifikation von Chironomus riparius mit einem
Leuchtgen experimentell erforscht und dokumentiert werden.
The outline of pradise thematisiert Versprechen und Folgen von Hochtechnologie am Beispiel eines
fiktiven Produktes. Die Installation konjugiert Erfolge und Scheitern der einzelnen Schritte der Herstellung
und legt dadurch Konstruktionen und Narrative von wissenschaftlichen Methoden offen.

Situation at ACC – a swarm looses its shape

 

Video edited by Thomas Hawranke

Das Video wurde ursprünglich produziert als Bestandteil von super-cell.org, ein Supermarkt der speculative Produkte aus Synthetischer Biology anbietet:

das Produkt

„Sustainable Luminosity“ möchte eine Beleuchtungsmethode für die Stadt schaffen, die nachhaltig
und natürlich ist. Dazu greife ich auf eine natürliche Lichtquelle zu, die die Natur hervorgebracht hat:
einige Tiere, die im Dunkeln leben, haben ihr eigenes Lichtorgan ausgebildet. In der Tiefsee ermöglicht es die Orientierung – in der Nacht hilft es einem Glühwürmchen beim Werben um einen Partner. „Sustainable Luminosity“ möchte diese Anregung der Natur aufnehmen und sich diese Leuchtfähigkeit zunutze machen. Das Produkt schlägt vor, das Werben der Glühwürmchen um einen Partner als Vorbild für die Werbeträger in den Städten zu nehmen. Leuchtreklame wird anstatt elektronisch gesteuert, von Mücken geflogen, die mit einem Leuchtgen ausgestatteten sind und ein spezielles Flugtraining erhalten haben.

Wie sähen unsere Städte aus, wenn die Werbebotschaften der Unternehmen nicht mit Leuchtstoffröhren oder LED‘s, sondern direkt von leuchtenden Mücken produziert würden? Wäre diese natürliche Lichtproduktion nicht auch sinnlich viel ansprechender als die technoide Ästhetik herkömmlicher Werbung? Das Projekt thematisiert die Ästhetik der Alltagskultur, wie sie sich durch ihre Technisierung entwickelt hat. Es setzt der Technologie eine naturnahe, sinnliche Ästhetik entgegen, welche natürlich und nachhaltig sein möchte.

Das Projekt

erfährt seine Umsetzung in skulpturalen Installationen, die jeweils Teilschritte einer Verwirklichung des spekulativen Produkts darstellen. In einzelnen Etappen wird sowohl die Realisierbarkeit des Produkts überprüft als auch sein Impakt auf Organismen, Ökologie und Kultur.
Die Installation benötigt für ihre Verfahren eine temporäre Abgeschlossenheit von der Umwelt und inszeniert also ein kleines „Paradies“, einen Ort, der „jenseits des Walles“ – also jenseits der Wirklichkeit und in den abgeschlossenen Welten der Labore – wo sie Ihre Schönheit zu entwickeln sucht. Welche Interaktionen stellen sich ein, wenn die Produkte der synthetischen Biologie zurückkommen in den Alltag? Dieser Frage geht das Projekt nach und inszeniert schrittweise die Konfrontation eines spekulativen Produkts der synthetischen Biologie mit unserer gewohnten Umgebung.


Vorarbeiten

Mit super-cell.org entstand 2010 der erste online-supermarkt der synthetischen Biologie. Er wurde geschaffen von meinen Studenten als spekulatives Designprojekt innerhalb des iGEM-competition, ein studentischer Wettbewerbs am MIT in Boston. Das Team war eine Kooperation von Studierenden von Prof. Roland Eils, Bioquant/Ruprecht-Karls-University Heidelberg und Mitarbeitern und Studierenden meines Lehrstuhls an der Bauhaus Universität Weimar (siehe link unten).
Im Rahmen von super-cell entwickelte ich das Produkt „sustaibnable luminosity“ als Vorbild für die danach entstandenen Produkte meiner Studierenden. Heute möchte ich – anders als meine Studenten – als Künstlerin meine Werke nicht nur virtuell erfahren – deshalb habe ich nun begonnen, Mücken, deren Larven mir vom Senckenberg-Institut zur Verfügung gestellt werden, zu züchten, um in einer Soundfeedbackinstallation sie zu trainieren, so dass ihre Schwärme in Formationen fliegen. Die Installation soll an den materiellen und installativen Gegebenheiten formal untersuchen, welche Interaktionen im Alltag entstehen, wenn Phantasien
wirklich werden.
http://www.uni-weimar.de/medien/wiki/GMU:Synthetic_Biology


die Installationskonzeption
In einer soundisolierten Box werden Mücken in einem Aquarium gezüchtet und und überwacht. Im Sand und Wasser schwimmen Mückeneier und -Larven. Sie werden belüftet und mit reichlich künstlichem Licht versorgt. Das Aquarium ist überspannt von Mückengaze, damit die Mücken, wenn sie schlüpfen, nicht entkommen können. Dieser Käfig ist der Ort, wo die Mücken schwärmen. Die Wahl der Mücken (Chironomus Riparius) ermöglicht die Zucht in Gefangenschaft, and die sich dieser Laborstamm mittlerweile angepasst hat.

Wie können Mücken trainiert werden? Wie kann man das Verhalten von Mücken beeinflussen?
Wie kann man Zuckmücken Buchstaben beibringen? Wie kann man sie das Alphabet lehren?
Um sich für den Paarungsakt zu finden, orientieren sich Mücken an den Frequenzen der Flügenschläge des anderen Geschlechts.

Diese Eigenschaft machen wir uns zu Nutze, um Mücken in ihrem Schwarmverhalten zu beeinflussen. Das empfindliche „Reizfenster“ der Chironomiden liegt bei Tonfrequenzen ± 50 Hz ihrer eigenen Flügelschlags. Ein vereinfachtes LED-Schrift Alphabet ist die erste Etappe im Lernprozess der Mücken. Im Aquarium hängt ein Microphon und eine Matrix mit Lautsprechern, welche dazu dient, die Mücken mit Flügelschlagsound und wahlweise komplexeren Klängen zu beschallen und ihr Verhalten durch die simulierte Anwesenheit von Artgenossen kennenzulernen und zu steuern.

Trainingsstation für Mücken, Selektion
Produktion, Kontrolle
Soundtraining for midges

project description_.pdf