Die KONTAKT ZONE reagiert multidimensional auf die verschiedenen Situationen mit den Komponenten Licht, Vegetation, und Begegnung. Die KON TAKT ZONE wird so zu einem lebendigen, sich dynamisch entwickelnden und verändernden Raum.
Eine rhythmische Beleuchtung in der Zyklen des Fahrtwindes ist das Leitmotiv unseres Entwurfs. Durch wind-harvesting an der Strecke wird der Fahrtwind der vorbeifahrenden Züge aufgenommen und visualisiert. Animierte, pulsierende Lichtstreifen und Klanginstallationen begleiten die Stadträume entlang der Strecke. Lineare Leuchtelemente werden vor den Lärmschutzwänden errichtet und leuchten im Rhythmus des Fahrtwindes, welcher durch kleine Mikrophone aufgenommen wird. Lichtintensität, Ausrichtung (zum Grün? Zu den Menschen?) und Bezug zum umgebenden Stadtraum und reagieren auf unterschiedliche Lichtverhältnisse. Für verschattete Orte, sowie unter Brücken oder in Tunneln, schlagen wir eine weitere, animierte Form der Beleuchtung vor, welche ebenfalls die Energie des Fahrtwindes aufnimmt, aber diesen im Stadtraum als Lichtquelle für Menschen und Pflanzen animiert weiterleben lassen. Dafür schlagen wir kompakte, kleinteilige Lichtinstallationen vor, welche nach dem Prinzip von Zellularautomaten funktionieren.
So können die Lampen die Energie des Fahrtwindes gewinnbringend für Menschen und Pflanzen in den Stadtraum tragen.
Die Leuchtelemente und Installationen sollen nicht nur den Stadtraum für die Menschen beleuchten, sondern gleichzeitig auch auf den Lärmschutzwänden, begleitenden Stützmauern, und den Leuchten selbst kryptogamen Bewuchs ermöglichen und fördern – Algen, Flechten, Moose. Diese binden riesige Mengen Kohlendioxid und Stickstoff aus der Atmosphäre und beeinflussen so auch positiv das Stadtklima. Die Stickstoffmenge, die von den kryptogamen Schichten fixiert und somit dem Boden und anderen Lebewesen zugeführt wird, entspricht der Hälfte des an Land natürlich fixierten Stickstoffs, was für die Entwicklung von Ökosystemen von besonders großer Bedeutung ist, da Stickstoff oft die limitierende Nährstoffkomponente darstellt. Sie sind also auf geringster Fläche im Stadtraum extrem wirksam.
Der Entwurf entstand in einem Team Green Noise, Berlin (Ursula Damm), Dr. Klaus Fritze, Rudolph Langner – Station C23 – Architektur- und Landschaftsarchitektur, Andreas Hecker (Bauhaus Universität Weimar), Felix Bonowski.
In der Zeit der Pandemie erlebte ich unsere biologische Bedingung auf eine neue Weise: Pandemien lehren uns über Sphären, Nähe, unser Distanzverhalten. Wir fragen uns, ob wir bisher genug auf die Sicherheit unseres Lebensbereichs geachtet haben und überlegen, wen wir an uns heranlassen. Ich habe diese Zeit „Zeit der Fliegen“ genannt, vor allem, weil ich in meinem Einraumppartment in Berlin allein mit Fruchtfliegen – Kulturen von Drosophila verschiedener Spezies – lebte.
Sobald man mit einem biologischen Organismus (Tieren oder Zellen) arbeitet, ändert sich etwas sehr Grundlegendes: Der Tag wird von den Erfordernissen der Kultur bestimmt, den Viechern, die man in seinen Lebensraum lässt, sie dominieren den Tagesablauf. Man muss dafür sorgen, dass sie sich wohlfühlen, sich fortpflanzen, weil deren bevorzugten Lebensbedingungen andere wären als die eigenen. Man muss einen Kompromiss finden zwischen den unsymmetrischen Verhältnissen.
Die Idee, Fliegen zu meinen Mitbewohnern zu machen, kam mir, als ich nach einem Wesen suchte, das mir als Beobachtungsobjekt dienen sollte. Es sollte interessante kollektive Verhaltensweisen zeigen und eine Bedeutung für die Wissenschaft und unsere zivilisierte Lebensweise haben.
So bin ich bei den Fruchtfliegen gelandet. Neurowissenschaftler haben sich für Fruchtfliegen entschieden, weil ihre Gehirne einfacher sind als unsere. Allerdings, wenn man sich das Verhalten der Fliegen anschaut, kann man unschwer erkennen, dass ihre Aktivitäten z.B. während ihrer ‚party hour‘ schon sehr komplex sind.
Man sieht fliegende Fruchtfliegen, die sitzen, sich gegenseitig jagen und beschnüffeln, Freunde besuchen, Fliegen umwerben, sich paaren, kämpfen (wie von Ralph Greenspan berichtet)[1]).
Fruchtfliegen singen. Neben dem bekannten Summen während des Fluges singen sie auch mit ihren Flügeln, um sich untereinander zu verständigen. Von diesen Gesängen sind der Sinuston und der Pulston bekannt, wobei letzterer semantisch kodiert ist. Aber neben dem von Birgit Brüggemeier [2] wissenschaftlich beschriebenen Pulsgesang und dem Sinusgesang, der dem Summen der fliegenden Fliegen ähnelt, auch andere Klangmuster bemerkt, die eher aggressiv klingen oder wie seltsame Signale, um sich Gehör zu verschaffen.
Um mit den Fliegen in einen Austausch zu treten, nutze ich diese Verhaltensmuster. Mit dieser Arbeit biete ich Ihnen die Möglichkeit, durch Singen direkt mit Fruchtfliegen in Austausch zu treten. Wenn wir Menschen singen, entwickeln sich unsere Lieder oft entlang bereits bekannter Melodien. Aber hier wissen wir nicht, welches Lied wir singen sollen. Wir müssen erst einmal zuhören.
Um den Kontakt zu erleichtern, haben wir eine Software verwendet, mit der wir den Klang des menschlichen Gesangs an den Gesang der Fliegen anpassen. Die Software basiert auf einem Audio-Mosaiking, das vom Fraunhofer Institut IIS bereitgestellt wird.[3]. Audio mosaicing ist fortschrittlicher als die Vocoder-Software, die wir für Drosophila Karaoke Bar verwendet haben. Ein Vocoder passt nur die Hüllkurve, d. h. die charakteristische Kurve der Amplitude eines Klangs, die die Klangfarbe bestimmt, an einen Zielklang an. Bei dem audio mosaicing wird auch das Frequenzspektrum in den Aktivierungsmustern an eine vorher ausgewählte Vorlage angepasst.
Wie hat das Audio Mosaiking die Interaktion mit den Fliegen verändert? Während ich mit dem Vocoder noch das Gefühl hatte, durch ein Instrument zu sprechen, veranlasste mich das audio mosaicing sofort dazu, mit den üblichen Tonhöhen und Klangfarben des Fliegengesangs zu singen. Das hat die Erfahrung mit den Fliegen grundlegend verändert. Der Vocoder ermöglichte es, die Fliegen sofort zu stimulieren. Sehr bald war klar, dass dieses Werkzeug gut geeignet ist, die Fliegen zu wecken. Nach der anfänglichen Begeisterung, in die Welt der Fliegen aufgenommen zu werden, stellte sich jedoch schnell die Frage: Wie geht es weiter? Schließlich kann man die Fliegen nur enttäuschen, sobald sie merken, dass man kein geeigneter Partner ist. Und an dieser Stelle wurde das Audio Mosaiking interessant. Es ermöglichte mir, in eine Klangsphäre einzutreten, die diejenige der Fliegen war.
Ich habe oft und wiederholt versucht, ein Verständnis für die Fliegen zu entwickeln, indem ich mit dem Audio Mosaiking gesungen habe. Ich musste verstehen, dass die Fliegen faul und schrullig sind. Wenn sie etwas nicht wollen, tun sie es einfach nicht Wenn sie Spaß haben, kümmern sie sich nicht um uns Menschen. Sie brauchen uns nicht – außer vielleicht unser Essen. Aber das war es auch schon. Als ich mich im Klangspektrum der Fliege befand, fing ich an, mich zu beschweren, zu stöhnen und zu jammern, und jede Äußerung war körperlich, unmittelbar und nicht sehr geistvoll.
Oft wünschte ich mir, meine Stimme wäre trainiert, die einer Sängerin. Und ich könnte ihr mehr Kunstfertigkeit abverlangen. Aber – und das scheint mir das Entscheidende zu sein – in diesen Zeiten wird das Naheliegende wesentlich.
Aber was bedeutet all dieser Aufwand nun: seinen Lebensraum mit einem sogenannten ‚Lästling‘ zu teilen? Und mit dieser Plage Klagen oder Lieder des Leidens, der Beharrlichkeit, des Wartens zu singen? Sartre („Les mouches“) würde eine eindeutige Antwort geben: Überwinde die Schuld. Tritt heraus aus der Vergangenheit.
Ich hingegen wollte einfach eine offene Situation schaffen, in der wir unvoreingenommen beobachten und interagieren, bevor wir etwas „wissen“ oder Entscheidungen treffen. Und da wäre jede vorgebildete Kunstfertigkeit fehl am Platz.
Und ich habe mich auf Fruchtfliegen konzentriert, weil sie zu dem gehören, was wir aus dem täglichen Leben eliminieren, was wir mit Schädlingsbekämpfung ausrotten, was nicht zu einer Kultur der Modernität gehört. Die Konfrontation mit unseren eigenen Auslassungen scheint mir wesentlich für ein Weiterkommen.
Die Arbeit wurde produziert mit der Unterstützung des Artists in Lab Programms der Fraunhofer Gesellschaft.
Sie wäre nicht möglich gewesen ohne die technologischen Planungen, die Programmierung und die Geduld von Felix Bonowski.
[1] Hans Dierick, Ralph Greenspan; Molecular analysis of flies selected for aggressive behavior. Nat Genet. 2006 Sep;38(9):1023-31 https://doi.org/10.1038/ng1864
[2] Birgit Brüggemeier, Mason A. Porter, Jim O. Vigoreaux, Stephen F. Goodwin; Female Drosophila melanogaster respond to song-amplitude modulations. Biol Open 15 June 2018; 7 (6): bio032003. doi: https://doi.org/10.1242/bio.032003
[3] Patricio López-Serrano, Christian Dittmar, Yiğitcan Özer, and Meinard Müller NMF Toolbox: Music Processing Applications of Nonnegative Matrix Factorization In Proceedings of the International Conference on Digital Audio Effects (DAFx), 2019.
Installation von Ursula Damm und Felix Bonowski, 2021 Kuratorin: Yvonne Volkart Kunst am Bau im Auftrag der Eawag: Das Wasserforschungsinstitut des ETH-Bereichs, Dübendorf bei Zürich
Die Kunstinstallation „Kontinuum“ von Ursula Damm und Felix Bonowski ist eine generative Zwei-Kanal-Projektion. Sie basiert auf Live-Daten des Chriesbachs, der an der Eawag vorbeifliesst. Die beiden Projektionen repräsentieren eine bestimmte „Realität“ des Chriesbachs und seines Flusses im Verlaufe eines Jahres. Beide übersetzen Daten zu jahreszeitlichen Schwankungen, Farbmustern und physikalischen Prinzipien des Baches in sinnliche Bilder, die an impressionistische und japanische Malerei erinnern. Indem die Installation das Äussere ins Innere, das Wasser in das FLUX-Gebäude, das Objekt der Beobachtung an den Ort seiner Untersuchung bringt, reflektiert sie das „Kontinuum“ des Baches und die Funktion des Hauses auf ästhetische Weise.
Die Farbprojektion sammelt Bilder des Chriesbachs und dessen Bewohner Echtzeitbilder von drei Kameras werden durch einen Grafik-Shader geleitet. Dieser basiert auf klassischen Lernregeln eines neuronalen Netzes, das sich Farben in Bereichen mit hoher Aktivität „merkt“. Das resultierende Video ist eine Collage aus kombinierten Aspekten des visuellen Erscheinungsbildes des Chriesbachs aus verschiedenen Zeiten und Blickwinkeln. Mit ihren täglichen Veränderungen dienen die Bilder als eine Art ästhetischer Wetterbericht.
Die Schwarz-Weiß-Projektion ist eine Live-Simulation eines Flusses, der sich durch ein von Felsen übersätes Tal schlängelt. Ausgehend von einem Ökosystem aus Nährstoffen, Primärproduzenten und grasenden Mikroorganismen des Flusses zeigt sie digital, wie die Welt aussehen würde, wenn die Natur diesen Regeln folgen würde. Die Formeln, welche die Form der Landschaft, die Dynamik der Strömung und die Entwicklung des Lebens in der Simulation bestimmen, werden mit Werten parametrisiert, die aus tatsächlichen Echtzeitmessungen der physikalischen Wassereigenschaften abgeleitet werden. Temperatur, Sauerstoffsättigung und Trübung hinterlassen ihre Spuren Die Messungen werden von einer vom Forschungsinstitut betriebenen Station durchgeführt, die nur wenige Meter von der Stelle entfernt ist, wo die Kameras auf den Bach blicken. Die Korrespondenzen zwischen den Messungen und den Modellparametern sind so gewählt, dass jahreszeitliche Veränderungen (Temperatur), Tagesrhythmen (Sauerstoffsättigung durch Photosynthese) und gelegentliche Ereignisse (Trübung durch Gewitter und Bauarbeiten) ihre Spuren in den Grafiken hinterlassen. Die Simulation verwandelt sich von einem Tal mit wenigen großen Felsbrocken in ein (virtuelles) Flussbett mit vielen kleinen Kieselsteinen, von einem emergenten biologischen Muster in ein anderes, von einem langsam mäandrierenden Fluss in einen heftigen Strom. Dadurch zeigt sie sich als ein Wesen in ständigem Wandel. Am rechten Rand jeder Projektion greift die Bildlogik der jeweils anderen Projektion ein, so dass sich die Farbdaten des Live-Streams und die Muster der Schwarz-Weiß-Simulation überschneiden: Kontrastreiche Bewegungen in der farbigen Projektion (z.B. Licht-Reflexionen oder schwimmende Blätter) werden zu Linien, Kratzern und Löchern in der Schwarz-Weiß-Projektion. Sie erscheinen als Kräfte, die das organische Leben auslöschen und das Bild zerstören. So wird deutlich, dass kein Bild und keine „Realität“ für sich stehen, sondern durch vielfältige Zugänge in Frage gestellt, gestört oder interpretiert werden können.
Technik
Zweikanalprojektion: Ein Video basiert auf Live-Kameraaufnahmen, welche Lernregeln eines neuronalen Netzes anwendet; der Input erfolgt über drei Außenkameras am Ufer des Baches. Das zweite Video zeigt eine Simulation basierend auf Perlin-Rauschen, Navier-Stokes-Solver, Reaktionsdiffusionskinetik, parametrisiert mit Live-Messungen von Sauerstoffgehalt, Temperatur und Trübung; der Daten-Input erfolgt über Live-Datenmessungen des Wasserforschungsinstituts.
Details und technisch-ästhetische Entscheidungen
Das generative Video
Das Videobild besteht im Grunde genommen aus einem Differenzbild. Bei einem solchen wird ein stetig aktualisiertes Videobild von einen ausgangs gespeicherten Referenzbild abgezogen. Die Differenz dieser Bilder zeigt die Bildveränderung an und rechnet sie der Videoausgabe hinzu. Diese Veränderung wird nach speziellen, dem maschinellen Lernen entlehnten Regeln dem Ausgangsbild aufaddiert. Verfestigt sich das Bild infolge gleichförmiger, stetig gleicher Veränderungen, dann wechselt das Programm zu einer anderen Kamera, und zwar zu dieser, die sich am deutlichsten von dem aktuellen Bild unterscheidet. Diese Bildlogik machte die Installation von drei Kameras notwendig. Das jeweils neu zugespielte Bild verändert das Display dann großflächig. Durch dieses Verfahren werden Strukturelemente von Licht und Wasser hervorgehoben. Die Verfestigungen nannten wir im Verlauf des Arbeitens „Sedimente“, welche grafische Eigenschaften von natürlichen Systemen herausarbeiten. Durch das Austarieren verschiedener Berechnungsmethoden sowie verschiedener Farbräume konnte das Bild an die Situation in Dübendorf angepasst werden, so dass der farbige „Wetterbericht“ Minima wie Maxima visuell lesbar machen kann.
Die Simulation
In dieser Simulation war es unser Ziel, ein synthetisches Äquivalent zu einem Wasserdampf zu schaffen, mit den Elementen Landschaft (eine sich langsam entwickelnde Struktur, die den Rahmen bildet), Fluss (Bewegung von Material um Hindernisse herum), Leben (lokalisierte Reaktionen, die emergente Muster bilden) und Wetter (variable äußere Einflüsse).
Das simulierte System sollte in der Lage sein, als Reaktion auf Parameteränderungen eine Vielzahl unterschiedlicher, aber eindeutig zusammenhängender visueller Erscheinungen zu erzeugen, so dass Änderungen der physikalischen Chriesbach-Eigenschaften zu erkennbaren Veränderungen der für die Besucher sichtbaren Muster führen. Alle Komponenten mussten so realisiert werden, dass sie eine Echtzeitberechnung in hoher Auflösung ermöglichen und stabil genug für einen kontinuierlichen, unbeaufsichtigten Langzeitbetrieb sind. Die Muster in der Simulation werden durch Reaktions-Diffusions-Prozesse gebildet, die von „klassischen“ Touring-Mustern inspiriert sind, unter Verwendung eines Gray-Scott-Modells, das um eine verbrauchbare „Nährstoff“- und eine wiederauffüllbare „Sauerstoff“-Komponente erweitert wurde. Nur die „Raubtier“-Komponente ist sichtbar. Jedes Pixel hat eine Reihe von Zustandsvariablen (Nährstoff, Sauerstoff, Räuber, Beute), die miteinander reagieren. So reagieren Pixel beispielsweise wie Räuber, welche Beute fressen, um mehr Räuber zu produzieren. Pixel diffundieren auch in ihre Nachbarschaft entsprechend der sie umgebenden Konzentration. Der Transport durch die Strömung wird realisiert durch lokale Vergleiche von Konzentrationen in Bewegungsrichtung. Als sog. „Nährstoff“ wird „frisches“ Wasser aufgefüllt, das seitlich in die Simulation eintritt. Da dieser „Nährstoff“ im Laufe der Zeit verschwindet, schränkt er das Wachstum in Bereichen ein, die lange Zeit keine Strömung erfahren haben. Dies trägt insbesondere zu einem schön anmutenden Verfall von Strukturen an „Flussufern“ bei, die kürzlich über den Grundwasserspiegel gestiegen sind. Auch hier war es ein wesentliches Ziel der Datenprozessierung, über das Jahr hinweg mit den verschiedenen Ereignissen (Schneeschmelze, Hochwasser) Unterschiede und Höhepunkte im visuellen Geschehen zu erreichen.
Membrane mit Interface im Kunstverein Tiergarten Galerie Nord
Membrane ist eine Kunstinstallation, die als Hauptwerk einer gleichnamigen Ausstellung im Kunstverein Tiergarten in Berlin Anfang 2019 produziert wurde. Sie baut auf einer Reihe von generativen Videoinstallationen mit Echtzeit-Videoeingabe auf. Membrane erlaubt es dem Betrachter, direkt mit der Generierung des Bildes durch ein neuronales Netzwerk, hier den sogenannten TGAN-Algorithmus, zu interagieren. Eine Schnittstelle ermöglicht es, die „Vorstellungskraft“ des Computers zu erleben und den Besucher je nach Neugier und persönlichen Vorlieben zu führen.
Die Bilder von Membrane stammen von einer statischen Videokamera, die eine Straßenszene in Berlin beobachtet. Eine zweite Kamera ist im Ausstellungsraum positioniert und kann nach Belieben bewegt werden. Auf zwei Bildschirmen werden beide Szenen in Echtzeit gezeigt.
In meinen früheren künstlerischen Experimenten haben wir in diesem In meinen früheren künstlerischen Experimenten haben wir in diesem Kontext jedes Pixel eines Videodatenstroms als eine operative Einheit betrachtet. Ein Pixel lernt aus Farbfragmenten während der Laufzeit des Programms und liefert eine Farbe, die als Summe aller Farben während der Laufzeit der Kamera betrachtet werden kann. Diese einfache Speichermethode schafft etwas grundlegend Neues: eine Aufzeichnung von Bewegungsmustern an einem bestimmten Ort.
Auf technischer Ebene kontrolliert Membrane nicht nur Pixel oder klar umrissene Details eines Bildes, sondern Bild-„Merkmale“, die erlernt, gespeichert und wieder zusammengesetzt werden. Um beim Beispiel der Farbe zu bleiben: Wir wählen Merkmale aus, aber ihre Eigenschaften werden an einen Algorithmus delegiert. TGANs (Temporal Generative Adversarial Nets) realisieren „unbeaufsichtigtes Lernen“ durch den gegenläufigen Rückkopplungseffekt zweier Teilnetze: Ein Generator erzeugt kurze Bildsequenzen und ein Diskriminator bewertet das künstlich erzeugte Filmmaterial. Der Algorithmus wurde speziell entwickelt, um Repräsentationen von unkategorisierten Videodaten zu erzeugen und – mit Hilfe dieser – neue Bildsequenzen zu produzieren. (Temporal Generative Adversarial Nets).
Wir verwenden Max/MSP), um die Tonhöhe natürlicher Fliegengesänge zu ermitteln und sie mit ihren eigenen Tönen zu modulieren. Natürlich vorkommende Obertöne werden in der Echtzeit-Darstellung gezeigt. Erstmals gezeigt im Mo Museum in Vilnius, Mai 2019.
Mit Drosophila Karaoke Bar möchten wir auf einen Modellorganismus in Medizin und Forchscung schauen: die Fruchtfliege Drosophila. Während wir im Alltag die Fliegen meiden, ist sie in der Wissenschaft ein prominentes Objekt von Experimenten. Drosophila sind billig, sie reproduzieren sich schnell, haben genug genetische Ähnlichkeit zu uns Menschen um als Organismus herzuhalten, der für die Erfoschung genetischer Krankheiten dient. Insbesondere sind ihre Gehirne so klein, dass wir sie gut verstehen können.
Kann unsere Karaoke-Bar Elemente aus unserer Hightech-Kultur in unser Lebensumfeld zurückbringen? Erlaubt sie dem Publikum, in die Wissenschaft hineinzutauchen? Unser Versuch, Menschen einzuladen, mit Fliegen zu singen, bietet eine Performance, um einen ganzheitlichen Ansatz für wissenschaftliche Untersuchungen zu erleben. Der Aufbau erörtert ökologische Fragen: Wie weit müssen wir die Lebensbereiche von Mensch und Fliege trennen, damit sich beide wohlfühlen? Welche Maßnahmen sind nötig, um ihre leisen Gesänge für den Menschen hörbar zu machen? Wie wirkt sich eine Laborumgebung auf das Verhalten der Fliegen aus? Unter welchen Bedingungen können wir ihre Anwesenheit genießen?
Die Installation lädt die Besucher ein, über eine technische Schnittstelle in einen direkten Austausch mit den Fruchtfliegen zu treten. A software is transforming human speech into signal that can be perceived by flies. It allows auditory feedback between people and animals. Für die Verschmelzung von Menschen- und Fliegengesang wird ein spezieller Signalverarbeitungs-Vocoder verwendet, der von Berd Edler vom Fraunhofer-Institut für Integrierte Schaltungen zur Verfügung gestellt wird. Die Besucher sind aufgefordert, mit Fliegen zu sprechen und zu singen. Birgit Brüggemeier, Neuroscientist und Fliegenforscherin, erklärt in einem Video die Bedeutung der einzelnen Bestandteile des Fliegengesangs. Sie informiert die Zuhörer über die Syntax und Semantik von Drosophila-Gesängen, um den Besuchern ein besseres Verständnis der Fliegenkommunikation zu vermitteln. Das Video ermutigt die Besucher, mit Fliegen zu singen und zu sprechen.
Eine Klangvisualisierung in 2D erweitert die auditive Wahrnehmung der Fliegensphäre um eine visuelle Überwachung der Fliegengesänge auf einem Bildschirm: die Position, die Amplitude und das Muster der Klangquellen sollen dem Künstler helfen, ihren Einfluss auf das Verhalten der Fliegen zu erkennen. Ein großer Sandhaufen bedeckt mit seinem Gewicht den Lebensraum der Fliegen, um ihr Summen gegen den Lärm der menschlichen Aktivitäten zu isolieren. Der massive Sandhaufen repräsentiert die sinnliche und semantische Kluft zwischen einer Fliege und einem Menschen.
In einer weiteren, vorgerenderten Version – Fly Songs – bietet ein weiterer Kopfhörer einen „anthropozentrischen“ Blickwinkel auf Fliegen: wir verfolgen die auftretenden Frequenzen unserer Fliegengemeinschaft, die in Balzgesängen und Fluggeräuschen bestehen (die sich um eine ungefähre Oktave von den Gesängen unterscheiden). Eine speziell entwickelte Software unterstützt die Echtzeitklänge, indem sie sie mit zuvor in den Fliegengeräuschen vorgefundenen Tönen zu Akkorden moduliert. Diese Software wirft die Frage auf: Gibt es in den Gesängen der Fliegen mehr verborgene Kommunikationsmuster, als von der Wissenschaft bisher beschrieben?
In der Karaoke Bar lernen wir, leise und achtsam zu werden, um die Töne von Fruchtfliegen hören zu können. Unser Setting bietet die Möglichkeit, mit Drosophila auf Augenhöhe (Ohrhöhe?) zu kommunizieren. Indem wir uns auf Drosophilas eigene Ausdrucksweise konzentrieren (welche Signale senden sie an ihre Umgebung? Wie kommunizieren sie? Wie klingt es, wenn sie sich ihren Artgenossen nähern? Was wollen sie verhandeln? Was sind unsere gemeinsamen Wahrnehmungsfenster?), wollen wir ein anthropozentrisches Weltbild umgehen. Die Installation übersetzt nicht nur die Signale der Drosophila (durch Beschallung und Visualisierung, wie es früher gemacht wurde), sondern ermöglicht eine gemeinsame Praxis in einer direkten Feedback-Situation, die eine neue sinnliche Erfahrung bietet.
Als ich vom Land in die Stadt zog, begann ich die Geräusche der Felder und Wälder zu vermissen. Und als ich später in das kleine Dorf inmitten von Weinbergen namens Diedesfeld zurückkehrte, war etwas verschwunden. Ich brauchte eine Weile, um herauszufinden, dass ich die Geräusche der Insekten vermisste. Und dass dieses Geräusch wie eine Bestätigung für ein starkes, ökologisches Gleichgewicht war. Die Wissenschaft fand später heraus dass Insekten bis zu 80 % ihres ursprünglichen Bestands verloren hatten.
Christina Meissner, Teresa Carrasco und ich trafen uns in Weimar, um den Gesang von Chironomid-Mücken (Chironomus riparius, häufig in der Ökotoxikologie verwendet) und ihre Fähigkeit, auf unsere Musik zu reagieren, zu erleben. In einer direkten Rückkopplungssituation zwischen Mensch und Tier sollte die Technik nur dazu dienen, unsere Sinne anzupassen und das Verstehen der Botschaft des anderen zu erleichtern. In einer ersten Aufführung konnten wir feststellen, dass Christina Meissner mit ihrem Cello inaktive Mücken (Stimulation – Klangbeispiel aus unserer ersten Session) zu intensivem Schwärmen anregen konnte (swarming in dialogue). Wir waren begeistert zu bemerken, dass es so einfach und selbstverständlich war, dass Menschen und Mücken sich gegenseitig beeinflussen. Bei unserem zweiten Konzert war es nicht mehr notwendig / erwünscht, die Mücken zum Schwärmen zu zwingen, sondern eine Art q/a zu entwickeln, zuzuhören und auf die Phrasen der Mücken zu reagieren. Hier eine Performance in voller Länge.
Our concerts can be seen as a call for the subtle atmosphere which allows insects to stay in our neighbourhood. And our readiness to listen to them.
Wenn Sie sich für Mücken interessieren, sollten Sie sich auch das folgende Video ansehen, das synchronisierte Schwärme am Taubensuhl, Pfalz, Deutschland, zeigt. Man kann sie nur an einigen Tagen im Jahr beobachten – ich war sehr froh, sie zufällig dort filmen zu können. Als ich mit meiner Tonausrüstung zurückkam, um ihren Klang aufzuzeichnen, waren sie verschwunden.
TURNSTILE – eine Installation für die U-Bahn Station Schadowstrasse Düsseldorf
Auf der Stirnwand des U-Bahnhofs Schadowstrasse zeigt eine LED Wand ein generatives Video. Vor dieser Wand strebt ein Lichtschacht an die Platzoberfläche, wo eine Videokamera aufgebaut ist. Diese Kamera filmt unablässig Passanten auf dem Platz und leitet das Bild an eine eigens entwickelte generative Software (programmiert von Felix Bonowski), die aus den Bewegungsspuren der Passanten geometrische Vorschläge für Konstruktionen ableitet. Diese Interpretationen des Echtzeitvideos entwerfen neue Geometrien für den Ort, schlagen Achsen und Parzellen vor. Zwei Aufzüge rechts und links des großen Videobilds führen vom Platz auf den Bahnsteig. Dort kann man eine Soundinterpretation (komponiert von Yunchul Kim) der geometrischen Konstruktionen hören.
Zwei Aufzüge, rechts und links vom LED-Screen, führen vom Platz oben auf die Ebene der Strassenbahnschienen.
Zentrum der künstlerischen Intervention ist das Videobild mit seinem Konzept.Dieses Konzept findet sich auch in der Gestaltung der Wände der Schnitträume wieder. In das blaue Glas des U-Bahnhofs sind an 21 Stellen Platten eingefügt, welche Geometrien über Stadtteilen von Düsseldorf aufzeigen.
Die generative Video-Installation interpretiert Bewegungspuren, die Ihrerseits „Agenten“ erzeugt. Die Aktivität dieser geometrischen Agenten wird in Töne übersetzt: große Polygone, welche kleine Polygoninseln miteinander verbinden, werden entsprechend ihrer Symmetrie in Töne übersetzt. Diese Töne stellen also das Geräusch dar, das die virtuellen Agenten in ihrer synthetischen Welt erzeugen.
Auf dem Bahnsteig kann man die erzeugten Geometrien als Klanginterpretation hören (Sonifikation von Yunchul Kim). Im Zentrum der künstlerischen Intervention ist das Videobild und sein künstlerisches Konzept. Das Konzept führt die Musterzeichnungen im Zugangsbereich des U-Bahnhofs weiter. Im Zugangsbereic sind in die blauen Glasscheiben der Wände an 21 Orten Luftbilder von markanten Orten Düsseldorfs eingelassen, die durch geometische Muster interpretiert werden.
In der östlichen Zwischenebene ist ein Luftbild der Stadt Düsseldof, die als Gesamtansicht geometrisch interpretiert wurde.
Als Excerpt dieses Luftbildes werden 16 Nachbarschaften aus Düsseldorf interpretiert. Diese urbanen Siedlungsformen werden beschrieben mit regulären polygonen als Energiezentren, die sich konfiguriert haben durch die urbane Entwicklung der Stadtarchitektur (siehe auch den Text zur Mustergenerierung).
Die feine Struktur der Muster setzt dem massiven Bauwerk die Sensibilität der Natur, aber auch der menschlichen, gestalterischen Geste gegenüber und ruft eine Form des Gestaltens in Erinnerung, die durch symbiotische Organisation von vielen Einzelelementen und -energien großräumige Zusammenhänge erzeugt. Damit vollzieht diese Gestaltung das Prinzip des Sozialen, bei welchem das Individuum seine Auswirkung auf das Ganze erfahren kann.
In der Verteilerebene Ost findet sich das Luftbild der Stadt Düsseldorf, das entsprechend des geometrischen Konzepts analysiert wurde.
Der Entwurf der Musterzeichnungen geschieht in langsamen Schritten: Zunächst erfolgte eine Linienzeichnung über dem Stadtbild. Dabei sollten wichtige Bewegungsachsen von Verkehr und Passanten hervorgehoben werden. Die von den Achsen eingeschlossenen Flächen werden zu Polygonen. Nun folgt ein Untersuchen von Winkeln der Linien und Achsen, auf der Suche nach ganzzahligen Brüchen von regulären Polygonen. …
Das kleinste, alle Symmetrien vor Ort integrierende Polygon (beispielsweise bei Bruchstücken von 5-Ecken und 4 Ecken wäre das ein 20-Eck) wird dann zur Beschreibung der Kreuzung herangezogen.
In einem weiteren Schritt wird nun nach Verbindungen (Netzwerk)zwischen den großen Polygonen in der Nachbarschaft gesucht.
Es ergab sich bei der Arbeit an den Luftbildern, dass die Innenstand sehr kleinräumige Polygone aufweist, während Aussenbezirke deutlich großräumiger strukturiert sind. Verdichtung lässt sich also an kleinteiligen Vielecken und komplexen Symmetrien ablesen. Häufig kann auch der Übergang von nicht-vierecken zu Vierecken auf historische Brüche im Stadtbild hinweisen. So stellen diese Interpretationen Untersuchungen dar über die Siedlungs- und Planungsgeschichte der Stadt.
Die Soundinstallation:
Die generative Video-Installation interpretiert Bewegungspuren, die von geometrischen „Agenten“ erzeugt wird. Die Aktivität dieser Agenten wird in Töne übersetzt, den visuellen Artefakten folgend. Der Sound ist somit wie das Geräusch, das die virtuellen Artefakte in ihrer Welt generieren und stellt eine erweiterte künstlerische „Wirklichkeitsebene“ der Installation dar.
Das PROGRAMM
wähle einen Ort (Ursprung)
bestimme die Bewegungsachsen von Personen und Verkehr
schaue, ob diese Achsen in Winkeln zueinander stehen, die durch Spiegeln und Drehen ein Polygon bilden, das sich nach allen Seiten gleichmässig ausdehnt
zeichne dieses Polygon, um die natürliche Geometrie des Ortes nährungsweise zu bestimmen
schaue, ob ausgehend von diesen, dem Ort eigenen Geometrien, eine Flächenstruktur (Parkettierung) möglich ist, die die Ursprungsgeometrien rhythmisch wiederholt.
untersuche, ob und wie im Luftbild des Ortes vorhandene Areale sich in die gefundene Geometrie des Ortes einfügen
verstärke vorhandene Strukturen durch Entwicklung ihrer Geometrien
verbinde vorhandene Strukturen in die Logik der Ursprungs-Geometrie
schaue in die Umgebung: wie können Orte miteinander vernetzt werden über Einsatz von geometrischen – also mathematisch beschreibbaren – Generierungsschematas?
Welche Proportionen bauen diese Geometrien zueinander auf?
Konzept: Ursula Damm Programmierung: Felix Bonowski Sound: Yunchul Kim
Installationsaufbau während der Hybris Ausstellung im ACC WeimarDetail – Laborartikel für die Mückenzucht, Pflanzen als Futter
Zuckmücken (chironomidae) werden in einem Aquarium gezüchtet. Im Aquarium sind Mückeneier, Laven in Sand und Wassr und einige Imagines. Sie werden belüftet und bekommen Licht. Die Auswahl der Mücken (Chironomus Riparius, eine Laborkultur) erlaubt die Zucht in Innenräumen.
Aquauarium, Ipad mit Video von loopenden Flugzeugen einer Flugshow vor schwärmenden Mücken. Wer fliegt besser? Und schöner?
Wer fliegt besser? Und schöner?
KunstfliegenPink elephants for Hollywood
The scientific paper
the text we highlighted
aggression and genes
about swarms and the few we know about them
swarming midges
aggression
field observations - scientific practices beyond the laboratory
scientific practices beyond the laboratory
Ingrid Bergmann about trained flies in Hollywood
contributors
Für eine Klangperformance lud ich Christina Meissner ein, über dem Klang der Flügelschläge der Mücken zu impovisieren. Wir konnten feststellen, dass vor allem laute, tiefe Töne direkt die Flugbahnen beeinflussen. Nach längerem Zusehen schien es allerdings auch, dass hohe Töne die Kohärenz des Schwarms verstärkten.
"the outline of paradise" - view into the soundbox
computer control (traces) of sound input
video camera, loudspeaker
Christina Meissner playing
corresponding vibrations
playing with the swarm
the midges, loudspeakers
swarm
Christina Meissner with control monitor
traces of midges on monitor
"the outline of paradise" - the soundbox
Der Aufbau der Ausstellung erlaubt, zu erkunden, wie Schwärme sich entwickeln, wie sie wissenschaftlich beschrieben werden und ob es Möglichkeiten der Beeinflussung gibt. Die Arbeit folgt „sustaibable luminosity“ und exploriert, wie Mücken trainiert werden können in einer technoiden Spekulation.
Chromatographic Orchestra is an artistic installation which allows a visitor to direct a software framework with an EEG device. In an exhibition environment with semi-transparent video screens a visitor is sitting in an armchair and learns to navigate unconsciously – with his/her brain waves the parameter space of our software – Neurovision.
Neurovision interacts with live video footage of the location of the exhibition and its surroundings. By navigating with his/her own brain waves the visitor can define and navigate the degree of abstraction of a generative (machine learning) algorithm, performed on the footage of different, nearby video cameras.
Our Operator Lisa sitting in front of the screen with a EEG device
The installation refers back to painting techniques in the late 19th and early 20th century, when painting became more an analysis of the perception of a setting then a mere representation of the latter. Impressionism and Cubism were fragmenting the items of observation while the way of representation was given by the nature of the human sensory system.
The installation “chromatographic orchestra” does not apply arbitrary algorithms to the live footage: we developed a software – the Neurovision framework – which mimics the visual system of the human brain. Thus we question whether our algorithms meet the well being of the spectator by anticipating processing steps of our brain.
Martin explaining the Neurovision software
Artistic Motivation
How much complexity can our senses endure, or rather how could we make endurable what we see and hear? Many communication tools have been developed, to adjust human capabilities to the requirements of the ever more complex city.
Our installation poses the opposite question: How can information emerging from the city be adjusted to the capabilities of the human brain, so processing them is a pleasure to the eye and the mind?
At the core of our installation is the NeuroVision Sandbox, a custom made framework for generative video processing in the browser based on WebGL shaders.
Inside this Sandbox we developed several sketches, culminating in the “Chromatographic Neural Network”, where both optical flow and color information of the scene are processed, inspired by information processing in the human visual system.
We critically assess the effect of our installation on the human sensory system:
Does it enhance our perception of the city in a meaningful way?
Can it and if so – how will it affect the semantic level of visual experience?
Will it create a symbiotic feedback loop with the visitor’s personal way to interpret a scene?
Will it enable alternate states of consciousness? Could it even allow visitors to experience the site in a sub-conscious state of “computer augmented clairvoyance”
Installation
In a location close to the site a single visitor directs a video-presentation on a large screen with a setup we like to call “the Neural Chromatographic Orchestra” (NCO). Our installation uses an EEG-Device (Emotiv NeuroHeadset) that lets visitors interact with a custom neural network. The setup allows visitors to navigate through various levels of abstraction by altering the parameters of the artificial neural net.
With the NCO device, a visitor can select and explore real-time views provided by three cameras – located in public space – with different perspectives on the passer-byes (birds-eye view and close-ups)
The installation is based on the NeuroVision Sandbox used in the development of “transits”. Other than transits, chromatographic ballads uses multi-channel real-time video-input and enables a visitor to interact with irectly via biofeedback with the neural network.
The Neural Chromatographic Orchestra investigates how human perception reacts to the multifaceted visual impressions of public space via an artistic setting. Using an EEG-Device visitors can interact with a self-organizing neural network and explore real-time views of an adjacent hall from several perspectives and at various levels of abstraction.
Biological Motivation
The Chromatographic Neural Network is a GPU-based video processing tool. It was inspired by parallel information processing in the visual system of the human brain. Visual information processing inside the brain is a complex process involving various processing stages.The visual pathway includes the retina, the Lateral Geniculate Nucleus (LGN) and the visual cortex
Low-level visual processing is already active at the various layers of the retina. The Interconnection of neurons between retina layers, and the ability to retain information using storage or delayed feedback, allows for filtering the visual image in the space and time domain.
Both image filters and motion detection can easily be achieved by accumulating input from neurons in a local neighborhood, in a massively parallel way.
Our Chromatographic Neural Network uses this approach to cluster colors and to compute the visual flow (or retina flow ) from a video source. The resulting attraction-vectors and flow-vectors are used to transform the memory retained in the memory layer.
The visual output of the system directly corresponds to the state of the output layer of the neural network. The neural layers of the Chromatographic Neural Network, are connected to form a feedback loop. This giving rise to a kind of homeostatic-system that is structurally coupled to the visual input but develops its own dynamics over time.
The set-up
ideal set-up for the installation
A visitor enters the site – a highly frequented passage, a spacious hall or a public place. Two videocameras, mounted on a tripod, can be moved around at will.
Another camera observes the passer-byes – their transits and gatherings – from an elevated location. The video footage from this site is streamed into a neighboring room – the orchestra chamber of the Neural Chromatographic Orchestra.
Here one can see – in front of a a large video wall a monitor displaying the videos from the adjacent room and the “orchestra pit” – an armchair equipped with a touch device and a neuro-headset. The video wall, showing abstract interpretations of the site itsself, should ideally be visible both from the orchestra pit and from the large hall.
The Orchestra Chamber
Inside the chamber the visitor is seated in a comfortable armchair and an assistant helps her put on and adjust the neuro-headset.
The orchestra chamber should be isolated from the public area as much as possible. A sense of deprivation from outside stimuli allows the visitor to gain control over her own perception and achieve a state of mind similar to meditation or clairvoyance.
The Orchestral Performance
Training Cognitive Control
A performance with the Neural Chromatographic Orchestra starts with a training of up to six mental actions, corresponding to the “push/pull”, “left/right“ and “up/down” mental motions provided by the Emotiv Cognitiv suite. The training typically lasts 10 to 30 minutes.
Playing the Sandbox
After successful training the visitor is asked to sit in front of the NeuroVision Sandbox:
The visitor in the orchestra chamber has three modes of conducting the neural network
either the birds-eye view or one of the cameras that take a pedestrian’s perspective
A graphical user interface lets her switch between different neural networks and control their parameters
A menu lets her choose any of the three cameras as a video source:
the NeuroHeadset allows to navigate the parameter space of the selected neural network
Conducting the Orchestra
Once the visitor feels comfortable conducting the NCO on the small screen, she can perform on the large screen, that is also visible from the outside.
On the public screen sliders are not shown, but the conductor may still use a tablet device to access the graphical user interface.
The current position in parameter spaces is represented by a 3d-cursor or wire-frame box, which is very helpful for making the transition from voluntary conduction moves, to a style of conducting that is more directly informed by immersion and interaction with the output of the Chromatographic Neural Network.
The Chromatographic Neural Network
The flow of information is arranged into several processing layers. To realize memory, each processing layer is in turn implemented as stack of one or more memory layers.This allows us to access the state of a neuron at a previous point in time.
Example
The video layer is made up of two layers, so the system can access the state of any input neuron at the current point in time, and its state in the previous cycle.
Processing Layers
The Video layer
The Video layer contains the input neurons. Each neuron corresponds to a pixel of the video source. The Video layer provides the input for the Flow layer.
The Ghost Layer
The Ghost layer represents a haunting image from the past. It implements the long term memory, that interferes and interacts with the current visual input. It does not change over time, and is provided as additional input to the Flow layer
The Flow layer
The Flow layer accumulates the input from the Video layer and the Ghost layer. Each Neuron aggregates input from its neighborhood in the Video Layer at times (t) and (t-1). The computed 2d vector is directly encoded into the the state of the neuron, creating a flow map.
The Blur layers
The Blur layers are used to blur the flow map. While the computation of visual flow is restricted to a very small neighborhood, the blur layer is needed to spread the flow information to a larger region, since flow can only be detected on the edge of motion.
For efficiency reasons the blur function is split into two layers, performing a vertical and a horizontal blur respectively.
Neuron Processing
The state of each neuron corresponds to an RGB color triplet. Every neuron of the Flow layer gets input from corresponding neurons inside a local neighborhood of the input layers. Each of those input samples corresponds to a single synapse. The vector from the center of the neuron towards the input neuron is referred to as the synapse vector.
Color Attraction
To achieve some kind of color dynamics, colors that are close in color space are supposed to attract each other.
The distance between synapse input and the neuron state in RGB color-space, serves as a weight, which is used to scale the synapse vector. The sum of scaled synapse vectors results in a single color attraction vector.
Color Flow
While color attraction is the result of color similarities or differences in space, color flow is the result of a color changes over time. Rather than calculating the distance of the neuron state to a single synapse input, its temporal derivative is calculated by using input from a neuron and its corresponding memory neuron. This time the sum of scaled synapse vectors results in a flow vector.
Encoding
Both color flow and color attraction vectors are added up and their components are encoded in the flow layer.
Parameters
here are various parameters in each layer controlling the amount and direction of color attraction, color flow, the metrics used for calculating color distances, the neuron neighborhood, etc …
Implementation
All neural computation is performed on the GPU using OpenGL and GLSL shaders. This is the mapping from neural metaphors to OpenGL implementation:
In our implementation both color flow and attraction are integrated into a single level flow map. While this generates interesting local interactions, there is little organization on a global level. The work on Multilevel Turing Patterns as popularized by Jonathan McCabe shows that it is possible to obtain complex and visually interesting self organizing patterns without any kind of video input.
Our future research will combine several layers of flow maps, each operating on a different level of detail. Additional directions include alternate color spaces and distance metrics. In the current model input values are mixed and blurred, resulting in a loss of information over time. We have also been experimenting with entropy-conserving models and are planning to further investigate this direction.