Im Rahmen eines eingeladenen Wettbewerbs wurde ein Kunstwerk für das Kooperationsgebäude Biodiversität in Berlin-Dahlem gesucht. Das Gebäude soll Forschern aus verschiedenen Disziplinen die Möglichkeit bieten, in Büros, Labors und Kommunikationsbereichen, die zum Austausch anregen, gemeinsam an der Biodiversität zu arbeiten. Gesucht wurden Konzepte, die Architektur und Außenraum miteinander verbinden und den interdisziplinären Charakter des Gebäudes betonen. Ziel ist es auch, den Dialog zwischen Kunst und Wissenschaft zu verbessern.
Eine biologische Uhr – der Rhythmus des Lebens
Der Entwurf illustriert den natürlichen Rhythmus zweier Wasserorganismen: der Wasserfloh (Daphnia) und einer speziellen Mücke (Chaoborus). Diese Organismen sind durch ihre Raubtier-Beute-Beziehung miteinander verbunden.
Die Installation übersetzt wissenschaftliche Diagramme in eine eigene grafische Sprache. Die hier entwickelte rhythmische Struktur verbindet Forschung und Design, indem sie Aktivitätsphasen, Wanderungen und Entwicklungsstadien der Tiere gegenüberstellt. Beim Durchqueren des Raumes offenbart sich ein Jahreszyklus, der sich harmonisch in die umgebende Architektur einfügt. Ergänzt wird die Installation durch Monitore im Erdgeschoss, die das Verhalten der Tiere in ihrer natürlichen Umgebung zeigen und so künstlerische Abstraktion mit realen Bildern verbinden.
Simulation der BeleuchtungWind Harvesting, Flechtenwachstum, Beleuchtungssysteme
Die KONTAKT ZONE reagiert multidimensional auf die verschiedenen Situationen mit den Komponenten Licht, Vegetation, und Begegnung. Die KON TAKT ZONE wird so zu einem lebendigen, sich dynamisch entwickelnden und verändernden Raum.
Eine rhythmische Beleuchtung in der Zyklen des Fahrtwindes ist das Leitmotiv unseres Entwurfs. Durch wind-harvesting an der Strecke wird der Fahrtwind der vorbeifahrenden Züge aufgenommen und visualisiert. Animierte, pulsierende Lichtstreifen und Klanginstallationen begleiten die Stadträume entlang der Strecke. Lineare Leuchtelemente werden vor den Lärmschutzwänden errichtet und leuchten im Rhythmus des Fahrtwindes, welcher durch kleine Mikrophone aufgenommen wird. Lichtintensität, Ausrichtung (zum Grün? Zu den Menschen?) und Bezug zum umgebenden Stadtraum und reagieren auf unterschiedliche Lichtverhältnisse. Für verschattete Orte, sowie unter Brücken oder in Tunneln, schlagen wir eine weitere, animierte Form der Beleuchtung vor, welche ebenfalls die Energie des Fahrtwindes aufnimmt, aber diesen im Stadtraum als Lichtquelle für Menschen und Pflanzen animiert weiterleben lassen. Dafür schlagen wir kompakte, kleinteilige Lichtinstallationen vor, welche nach dem Prinzip von Zellularautomaten funktionieren.
So können die Lampen die Energie des Fahrtwindes gewinnbringend für Menschen und Pflanzen in den Stadtraum tragen.
Die Leuchtelemente und Installationen sollen nicht nur den Stadtraum für die Menschen beleuchten, sondern gleichzeitig auch auf den Lärmschutzwänden, begleitenden Stützmauern, und den Leuchten selbst kryptogamen Bewuchs ermöglichen und fördern – Algen, Flechten, Moose. Diese binden riesige Mengen Kohlendioxid und Stickstoff aus der Atmosphäre und beeinflussen so auch positiv das Stadtklima. Die Stickstoffmenge, die von den kryptogamen Schichten fixiert und somit dem Boden und anderen Lebewesen zugeführt wird, entspricht der Hälfte des an Land natürlich fixierten Stickstoffs, was für die Entwicklung von Ökosystemen von besonders großer Bedeutung ist, da Stickstoff oft die limitierende Nährstoffkomponente darstellt. Sie sind also auf geringster Fläche im Stadtraum extrem wirksam.
Demovideo über das Projekt
Der Entwurf entstand in einem Team Green Noise, Berlin (Ursula Damm), Dr. Klaus Fritze, Rudolph Langner – Station C23 – Architektur- und Landschaftsarchitektur, Andreas Hecker (Bauhaus Universität Weimar), Felix Bonowski.
Flechten, in Düsseldorf ansässig und EntwürfeStadtlabor Entwurf
In der Zeit der Pandemie erlebte ich unsere biologische Bedingung auf eine neue Weise: Pandemien lehren uns über Sphären, Nähe, unser Distanzverhalten. Wir fragen uns, ob wir bisher genug auf die Sicherheit unseres Lebensbereichs geachtet haben und überlegen, wen wir an uns heranlassen. Ich habe diese Zeit „Zeit der Fliegen“ genannt, vor allem, weil ich in meinem Einraumppartment in Berlin allein mit Fruchtfliegen – Kulturen von Drosophila verschiedener Spezies – lebte.
Sobald man mit einem biologischen Organismus (Tieren oder Zellen) arbeitet, ändert sich etwas sehr Grundlegendes: Der Tag wird von den Erfordernissen der Kultur bestimmt, den Viechern, die man in seinen Lebensraum lässt, sie dominieren den Tagesablauf. Man muss dafür sorgen, dass sie sich wohlfühlen, sich fortpflanzen, weil deren bevorzugten Lebensbedingungen andere wären als die eigenen. Man muss einen Kompromiss finden zwischen den unsymmetrischen Verhältnissen.
Die Idee, Fliegen zu meinen Mitbewohnern zu machen, kam mir, als ich nach einem Wesen suchte, das mir als Beobachtungsobjekt dienen sollte. Es sollte interessante kollektive Verhaltensweisen zeigen und eine Bedeutung für die Wissenschaft und unsere zivilisierte Lebensweise haben.
So bin ich bei den Fruchtfliegen gelandet. Neurowissenschaftler haben sich für Fruchtfliegen entschieden, weil ihre Gehirne einfacher sind als unsere. Allerdings, wenn man sich das Verhalten der Fliegen anschaut, kann man unschwer erkennen, dass ihre Aktivitäten z.B. während ihrer ‚party hour‘ schon sehr komplex sind.
Man sieht fliegende Fruchtfliegen, die sitzen, sich gegenseitig jagen und beschnüffeln, Freunde besuchen, Fliegen umwerben, sich paaren, kämpfen (wie von Ralph Greenspan berichtet)[1]).
Fruchtfliegen singen. Neben dem bekannten Summen während des Fluges singen sie auch mit ihren Flügeln, um sich untereinander zu verständigen. Von diesen Gesängen sind der Sinuston und der Pulston bekannt, wobei letzterer semantisch kodiert ist. Aber neben dem von Birgit Brüggemeier [2] wissenschaftlich beschriebenen Pulsgesang und dem Sinusgesang, der dem Summen der fliegenden Fliegen ähnelt, auch andere Klangmuster bemerkt, die eher aggressiv klingen oder wie seltsame Signale, um sich Gehör zu verschaffen.
Um mit den Fliegen in einen Austausch zu treten, nutze ich diese Verhaltensmuster. Mit dieser Arbeit biete ich Ihnen die Möglichkeit, durch Singen direkt mit Fruchtfliegen in Austausch zu treten. Wenn wir Menschen singen, entwickeln sich unsere Lieder oft entlang bereits bekannter Melodien. Aber hier wissen wir nicht, welches Lied wir singen sollen. Wir müssen erst einmal zuhören.
zweiter Bildschirm, reaktive Betrachtung des sozialen Verhaltens der Fliegen
Eindrücke der Ausstellungseröffnung in MünchenInnenansicht der Kiste, Fliegen in Agar, Fliegenkultur, Kameras, Mikrofone
Ausspielung mit Tönen im Spektrum des FliegengesangsSchematisches set-up der Installation
Zeit der Fliegen KlagegesangInstallation in meinem Appartment in Berlin, Experimente mit verschieden geformten Petrischalen und anderer Platzierung der Mikrofone
Um den Kontakt zu erleichtern, haben wir eine Software verwendet, mit der wir den Klang des menschlichen Gesangs an den Gesang der Fliegen anpassen. Die Software basiert auf einem Audio-Mosaiking, das vom Fraunhofer Institut IIS bereitgestellt wird.[3]. Audio mosaicing ist fortschrittlicher als die Vocoder-Software, die wir für Drosophila Karaoke Bar verwendet haben. Ein Vocoder passt nur die Hüllkurve, d. h. die charakteristische Kurve der Amplitude eines Klangs, die die Klangfarbe bestimmt, an einen Zielklang an. Bei dem audio mosaicing wird auch das Frequenzspektrum in den Aktivierungsmustern an eine vorher ausgewählte Vorlage angepasst.
Wie hat das Audio Mosaiking die Interaktion mit den Fliegen verändert? Während ich mit dem Vocoder noch das Gefühl hatte, durch ein Instrument zu sprechen, veranlasste mich das audio mosaicing sofort dazu, mit den üblichen Tonhöhen und Klangfarben des Fliegengesangs zu singen. Das hat die Erfahrung mit den Fliegen grundlegend verändert. Der Vocoder ermöglichte es, die Fliegen sofort zu stimulieren. Sehr bald war klar, dass dieses Werkzeug gut geeignet ist, die Fliegen zu wecken. Nach der anfänglichen Begeisterung, in die Welt der Fliegen aufgenommen zu werden, stellte sich jedoch schnell die Frage: Wie geht es weiter? Schließlich kann man die Fliegen nur enttäuschen, sobald sie merken, dass man kein geeigneter Partner ist. Und an dieser Stelle wurde das Audio Mosaiking interessant. Es ermöglichte mir, in eine Klangsphäre einzutreten, die diejenige der Fliegen war.
Ich habe oft und wiederholt versucht, ein Verständnis für die Fliegen zu entwickeln, indem ich mit dem Audio Mosaiking gesungen habe. Ich musste verstehen, dass die Fliegen faul und schrullig sind. Wenn sie etwas nicht wollen, tun sie es einfach nicht Wenn sie Spaß haben, kümmern sie sich nicht um uns Menschen. Sie brauchen uns nicht – außer vielleicht unser Essen. Aber das war es auch schon. Als ich mich im Klangspektrum der Fliege befand, fing ich an, mich zu beschweren, zu stöhnen und zu jammern, und jede Äußerung war körperlich, unmittelbar und nicht sehr geistvoll.
Oft wünschte ich mir, meine Stimme wäre trainiert, die einer Sängerin. Und ich könnte ihr mehr Kunstfertigkeit abverlangen. Aber – und das scheint mir das Entscheidende zu sein – in diesen Zeiten wird das Naheliegende wesentlich.
Aber was bedeutet all dieser Aufwand nun: seinen Lebensraum mit einem sogenannten ‚Lästling‘ zu teilen? Und mit dieser Plage Klagen oder Lieder des Leidens, der Beharrlichkeit, des Wartens zu singen? Sartre („Les mouches“) würde eine eindeutige Antwort geben: Überwinde die Schuld. Tritt heraus aus der Vergangenheit.
Ich hingegen wollte einfach eine offene Situation schaffen, in der wir unvoreingenommen beobachten und interagieren, bevor wir etwas „wissen“ oder Entscheidungen treffen. Und da wäre jede vorgebildete Kunstfertigkeit fehl am Platz.
Und ich habe mich auf Fruchtfliegen konzentriert, weil sie zu dem gehören, was wir aus dem täglichen Leben eliminieren, was wir mit Schädlingsbekämpfung ausrotten, was nicht zu einer Kultur der Modernität gehört. Die Konfrontation mit unseren eigenen Auslassungen scheint mir wesentlich für ein Weiterkommen.
Interaktionsbildschirm der Installation mit Sonogramm der Fliegengeräusche und der menschlichen StimmeAufbau der Installation, technisch
Die Arbeit wurde produziert mit der Unterstützung des Artists in Lab Programms der Fraunhofer Gesellschaft.
Sie wäre nicht möglich gewesen ohne die technologischen Planungen, die Programmierung und die Geduld von Felix Bonowski.
[1] Hans Dierick, Ralph Greenspan; Molecular analysis of flies selected for aggressive behavior. Nat Genet. 2006 Sep;38(9):1023-31 https://doi.org/10.1038/ng1864
[2] Birgit Brüggemeier, Mason A. Porter, Jim O. Vigoreaux, Stephen F. Goodwin; Female Drosophila melanogaster respond to song-amplitude modulations. Biol Open 15 June 2018; 7 (6): bio032003. doi: https://doi.org/10.1242/bio.032003
[3] Patricio López-Serrano, Christian Dittmar, Yiğitcan Özer, and Meinard Müller NMF Toolbox: Music Processing Applications of Nonnegative Matrix Factorization In Proceedings of the International Conference on Digital Audio Effects (DAFx), 2019.
Installation von Ursula Damm und Felix Bonowski, 2021 Kuratorin: Yvonne Volkart Kunst am Bau im Auftrag der Eawag: Das Wasserforschungsinstitut des ETH-Bereichs, Dübendorf bei Zürich
Felix Bonowski kontrolliert das generative Videobild, Eawag FLUX Gebäude, Dübendorf bei Zürich 2021
Die Kunstinstallation „Kontinuum“ von Ursula Damm und Felix Bonowski ist eine generative Zwei-Kanal-Projektion. Sie basiert auf Live-Daten des Chriesbachs, der an der Eawag vorbeifliesst. Die beiden Projektionen repräsentieren eine bestimmte „Realität“ des Chriesbachs und seines Flusses im Verlaufe eines Jahres. Beide übersetzen Daten zu jahreszeitlichen Schwankungen, Farbmustern und physikalischen Prinzipien des Baches in sinnliche Bilder, die an impressionistische und japanische Malerei erinnern. Indem die Installation das Äussere ins Innere, das Wasser in das FLUX-Gebäude, das Objekt der Beobachtung an den Ort seiner Untersuchung bringt, reflektiert sie das „Kontinuum“ des Baches und die Funktion des Hauses auf ästhetische Weise.
Die Farbprojektion sammelt Bilder des Chriesbachs und dessen Bewohner Echtzeitbilder von drei Kameras werden durch einen Grafik-Shader geleitet. Dieser basiert auf klassischen Lernregeln eines neuronalen Netzes, das sich Farben in Bereichen mit hoher Aktivität „merkt“. Das resultierende Video ist eine Collage aus kombinierten Aspekten des visuellen Erscheinungsbildes des Chriesbachs aus verschiedenen Zeiten und Blickwinkeln. Mit ihren täglichen Veränderungen dienen die Bilder als eine Art ästhetischer Wetterbericht.
Die Schwarz-Weiß-Projektion ist eine Live-Simulation eines Flusses, der sich durch ein von Felsen übersätes Tal schlängelt. Ausgehend von einem Ökosystem aus Nährstoffen, Primärproduzenten und grasenden Mikroorganismen des Flusses zeigt sie digital, wie die Welt aussehen würde, wenn die Natur diesen Regeln folgen würde. Die Formeln, welche die Form der Landschaft, die Dynamik der Strömung und die Entwicklung des Lebens in der Simulation bestimmen, werden mit Werten parametrisiert, die aus tatsächlichen Echtzeitmessungen der physikalischen Wassereigenschaften abgeleitet werden. Temperatur, Sauerstoffsättigung und Trübung hinterlassen ihre Spuren Die Messungen werden von einer vom Forschungsinstitut betriebenen Station durchgeführt, die nur wenige Meter von der Stelle entfernt ist, wo die Kameras auf den Bach blicken. Die Korrespondenzen zwischen den Messungen und den Modellparametern sind so gewählt, dass jahreszeitliche Veränderungen (Temperatur), Tagesrhythmen (Sauerstoffsättigung durch Photosynthese) und gelegentliche Ereignisse (Trübung durch Gewitter und Bauarbeiten) ihre Spuren in den Grafiken hinterlassen. Die Simulation verwandelt sich von einem Tal mit wenigen großen Felsbrocken in ein (virtuelles) Flussbett mit vielen kleinen Kieselsteinen, von einem emergenten biologischen Muster in ein anderes, von einem langsam mäandrierenden Fluss in einen heftigen Strom. Dadurch zeigt sie sich als ein Wesen in ständigem Wandel. Am rechten Rand jeder Projektion greift die Bildlogik der jeweils anderen Projektion ein, so dass sich die Farbdaten des Live-Streams und die Muster der Schwarz-Weiß-Simulation überschneiden: Kontrastreiche Bewegungen in der farbigen Projektion (z.B. Licht-Reflexionen oder schwimmende Blätter) werden zu Linien, Kratzern und Löchern in der Schwarz-Weiß-Projektion. Sie erscheinen als Kräfte, die das organische Leben auslöschen und das Bild zerstören. So wird deutlich, dass kein Bild und keine „Realität“ für sich stehen, sondern durch vielfältige Zugänge in Frage gestellt, gestört oder interpretiert werden können.
Videodokumentation der InstallationZwei Projektionen, Vordergrund SimulationZwei Projektionen, korrespondierendAnsicht der Projektion mit bearbeitetem Video, das eine Ansammlung von Wasserbewegungen zeigt
Video auf der Website der Eawag
Technik
Zweikanalprojektion: Ein Video basiert auf Live-Kameraaufnahmen, welche Lernregeln eines neuronalen Netzes anwendet; der Input erfolgt über drei Außenkameras am Ufer des Baches. Das zweite Video zeigt eine Simulation basierend auf Perlin-Rauschen, Navier-Stokes-Solver, Reaktionsdiffusionskinetik, parametrisiert mit Live-Messungen von Sauerstoffgehalt, Temperatur und Trübung; der Daten-Input erfolgt über Live-Datenmessungen des Wasserforschungsinstituts.
Echtzeitdaten von Chriesbach für den SimulationsbildschirmKameras observieren den Wasserlauf des ChriesbachsPositionierung der Kameras
Kamerahalterung
Felix Bonowski installiert die Kameras
Details und technisch-ästhetische Entscheidungen
Das generative Video
Das Videobild besteht im Grunde genommen aus einem Differenzbild. Bei einem solchen wird ein stetig aktualisiertes Videobild von einen ausgangs gespeicherten Referenzbild abgezogen. Die Differenz dieser Bilder zeigt die Bildveränderung an und rechnet sie der Videoausgabe hinzu. Diese Veränderung wird nach speziellen, dem maschinellen Lernen entlehnten Regeln dem Ausgangsbild aufaddiert. Verfestigt sich das Bild infolge gleichförmiger, stetig gleicher Veränderungen, dann wechselt das Programm zu einer anderen Kamera, und zwar zu dieser, die sich am deutlichsten von dem aktuellen Bild unterscheidet. Diese Bildlogik machte die Installation von drei Kameras notwendig. Das jeweils neu zugespielte Bild verändert das Display dann großflächig. Durch dieses Verfahren werden Strukturelemente von Licht und Wasser hervorgehoben. Die Verfestigungen nannten wir im Verlauf des Arbeitens „Sedimente“, welche grafische Eigenschaften von natürlichen Systemen herausarbeiten. Durch das Austarieren verschiedener Berechnungsmethoden sowie verschiedener Farbräume konnte das Bild an die Situation in Dübendorf angepasst werden, so dass der farbige „Wetterbericht“ Minima wie Maxima visuell lesbar machen kann.
Die Simulation
In dieser Simulation war es unser Ziel, ein synthetisches Äquivalent zu einem Wasserdampf zu schaffen, mit den Elementen Landschaft (eine sich langsam entwickelnde Struktur, die den Rahmen bildet), Fluss (Bewegung von Material um Hindernisse herum), Leben (lokalisierte Reaktionen, die emergente Muster bilden) und Wetter (variable äußere Einflüsse).
Das simulierte System sollte in der Lage sein, als Reaktion auf Parameteränderungen eine Vielzahl unterschiedlicher, aber eindeutig zusammenhängender visueller Erscheinungen zu erzeugen, so dass Änderungen der physikalischen Chriesbach-Eigenschaften zu erkennbaren Veränderungen der für die Besucher sichtbaren Muster führen. Alle Komponenten mussten so realisiert werden, dass sie eine Echtzeitberechnung in hoher Auflösung ermöglichen und stabil genug für einen kontinuierlichen, unbeaufsichtigten Langzeitbetrieb sind. Die Muster in der Simulation werden durch Reaktions-Diffusions-Prozesse gebildet, die von „klassischen“ Touring-Mustern inspiriert sind, unter Verwendung eines Gray-Scott-Modells, das um eine verbrauchbare „Nährstoff“- und eine wiederauffüllbare „Sauerstoff“-Komponente erweitert wurde. Nur die „Raubtier“-Komponente ist sichtbar. Jedes Pixel hat eine Reihe von Zustandsvariablen (Nährstoff, Sauerstoff, Räuber, Beute), die miteinander reagieren. So reagieren Pixel beispielsweise wie Räuber, welche Beute fressen, um mehr Räuber zu produzieren. Pixel diffundieren auch in ihre Nachbarschaft entsprechend der sie umgebenden Konzentration. Der Transport durch die Strömung wird realisiert durch lokale Vergleiche von Konzentrationen in Bewegungsrichtung. Als sog. „Nährstoff“ wird „frisches“ Wasser aufgefüllt, das seitlich in die Simulation eintritt. Da dieser „Nährstoff“ im Laufe der Zeit verschwindet, schränkt er das Wachstum in Bereichen ein, die lange Zeit keine Strömung erfahren haben. Dies trägt insbesondere zu einem schön anmutenden Verfall von Strukturen an „Flussufern“ bei, die kürzlich über den Grundwasserspiegel gestiegen sind. Auch hier war es ein wesentliches Ziel der Datenprozessierung, über das Jahr hinweg mit den verschiedenen Ereignissen (Schneeschmelze, Hochwasser) Unterschiede und Höhepunkte im visuellen Geschehen zu erreichen.
Blick auf die Projektion mit manipuliertem Video, das eine Ansammlung von Wasserbewegungen zeigt
Echtzeit Ausspielung der sog. ‚Bachcam‘
Projektbeschreibung PDF
Dies ist das Konzeptvideo mit Beispielen für verschiedene interessante Momente
Membrane bei Entangled Realities – Leben mit künstlicher Intelligenz im HeK (Haus der elektronischen Künste Basel), 08.05.-11.08.2019. Bild: Sabine Himmlsbach
Ausstellung Entangled Realities Foto: Franz WamhofDokumentation der Ausstellung in der Galerie Nord – Kunstverein Tiergarten, Berlin.
Membrane mit Interface im Kunstverein Tiergarten Galerie Nord
Membrane ist eine Kunstinstallation, die als Hauptwerk einer gleichnamigen Ausstellung im Kunstverein Tiergarten in Berlin Anfang 2019 produziert wurde. Sie baut auf einer Reihe von generativen Videoinstallationen mit Echtzeit-Videoeingabe auf. Membrane erlaubt es dem Betrachter, direkt mit der Generierung des Bildes durch ein neuronales Netzwerk, hier den sogenannten TGAN-Algorithmus, zu interagieren. Eine Schnittstelle ermöglicht es, die „Vorstellungskraft“ des Computers zu erleben und den Besucher je nach Neugier und persönlichen Vorlieben zu führen.
Die Bilder von Membrane stammen von einer statischen Videokamera, die eine Straßenszene in Berlin beobachtet. Eine zweite Kamera ist im Ausstellungsraum positioniert und kann nach Belieben bewegt werden. Auf zwei Bildschirmen werden beide Szenen in Echtzeit gezeigt.
In meinen früheren künstlerischen Experimenten haben wir in diesem In meinen früheren künstlerischen Experimenten haben wir in diesem Kontext jedes Pixel eines Videodatenstroms als eine operative Einheit betrachtet. Ein Pixel lernt aus Farbfragmenten während der Laufzeit des Programms und liefert eine Farbe, die als Summe aller Farben während der Laufzeit der Kamera betrachtet werden kann. Diese einfache Speichermethode schafft etwas grundlegend Neues: eine Aufzeichnung von Bewegungsmustern an einem bestimmten Ort.
Auf technischer Ebene kontrolliert Membrane nicht nur Pixel oder klar umrissene Details eines Bildes, sondern Bild-„Merkmale“, die erlernt, gespeichert und wieder zusammengesetzt werden. Um beim Beispiel der Farbe zu bleiben: Wir wählen Merkmale aus, aber ihre Eigenschaften werden an einen Algorithmus delegiert. TGANs (Temporal Generative Adversarial Nets) realisieren „unbeaufsichtigtes Lernen“ durch den gegenläufigen Rückkopplungseffekt zweier Teilnetze: Ein Generator erzeugt kurze Bildsequenzen und ein Diskriminator bewertet das künstlich erzeugte Filmmaterial. Der Algorithmus wurde speziell entwickelt, um Repräsentationen von unkategorisierten Videodaten zu erzeugen und – mit Hilfe dieser – neue Bildsequenzen zu produzieren. (Temporal Generative Adversarial Nets).
Wir verwenden Max/MSP), um die Tonhöhe natürlicher Fliegengesänge zu ermitteln und sie mit ihren eigenen Tönen zu modulieren. Natürlich vorkommende Obertöne werden in der Echtzeit-Darstellung gezeigt. Erstmals gezeigt im Mo Museum in Vilnius, Mai 2019.
Mit Drosophila Karaoke Bar möchten wir auf einen Modellorganismus in Medizin und Forchscung schauen: die Fruchtfliege Drosophila. Während wir im Alltag die Fliegen meiden, ist sie in der Wissenschaft ein prominentes Objekt von Experimenten. Drosophila sind billig, sie reproduzieren sich schnell, haben genug genetische Ähnlichkeit zu uns Menschen um als Organismus herzuhalten, der für die Erfoschung genetischer Krankheiten dient. Insbesondere sind ihre Gehirne so klein, dass wir sie gut verstehen können.
Look into the sound isolation box
Kann unsere Karaoke-Bar Elemente aus unserer Hightech-Kultur in unser Lebensumfeld zurückbringen? Erlaubt sie dem Publikum, in die Wissenschaft hineinzutauchen? Unser Versuch, Menschen einzuladen, mit Fliegen zu singen, bietet eine Performance, um einen ganzheitlichen Ansatz für wissenschaftliche Untersuchungen zu erleben. Der Aufbau erörtert ökologische Fragen: Wie weit müssen wir die Lebensbereiche von Mensch und Fliege trennen, damit sich beide wohlfühlen? Welche Maßnahmen sind nötig, um ihre leisen Gesänge für den Menschen hörbar zu machen? Wie wirkt sich eine Laborumgebung auf das Verhalten der Fliegen aus? Unter welchen Bedingungen können wir ihre Anwesenheit genießen?
Die Installation lädt die Besucher ein, über eine technische Schnittstelle in einen direkten Austausch mit den Fruchtfliegen zu treten. A software is transforming human speech into signal that can be perceived by flies. It allows auditory feedback between people and animals. Für die Verschmelzung von Menschen- und Fliegengesang wird ein spezieller Signalverarbeitungs-Vocoder verwendet, der von Berd Edler vom Fraunhofer-Institut für Integrierte Schaltungen zur Verfügung gestellt wird. Die Besucher sind aufgefordert, mit Fliegen zu sprechen und zu singen. Birgit Brüggemeier, Neuroscientist und Fliegenforscherin, erklärt in einem Video die Bedeutung der einzelnen Bestandteile des Fliegengesangs. Sie informiert die Zuhörer über die Syntax und Semantik von Drosophila-Gesängen, um den Besuchern ein besseres Verständnis der Fliegenkommunikation zu vermitteln. Das Video ermutigt die Besucher, mit Fliegen zu singen und zu sprechen.
Das Innenleben der Box mit Isolation, Mikrofonen, Lautsprecher
Fly karaoke explained by Birgit Brüggemeier
Inside the box and under the sand pile
Karaoke Bar @ MOMuseum Vilnius
Eine Klangvisualisierung in 2D erweitert die auditive Wahrnehmung der Fliegensphäre um eine visuelle Überwachung der Fliegengesänge auf einem Bildschirm: die Position, die Amplitude und das Muster der Klangquellen sollen dem Künstler helfen, ihren Einfluss auf das Verhalten der Fliegen zu erkennen. Ein großer Sandhaufen bedeckt mit seinem Gewicht den Lebensraum der Fliegen, um ihr Summen gegen den Lärm der menschlichen Aktivitäten zu isolieren. Der massive Sandhaufen repräsentiert die sinnliche und semantische Kluft zwischen einer Fliege und einem Menschen.
In einer weiteren, vorgerenderten Version – Fly Songs – bietet ein weiterer Kopfhörer einen „anthropozentrischen“ Blickwinkel auf Fliegen: wir verfolgen die auftretenden Frequenzen unserer Fliegengemeinschaft, die in Balzgesängen und Fluggeräuschen bestehen (die sich um eine ungefähre Oktave von den Gesängen unterscheiden). Eine speziell entwickelte Software unterstützt die Echtzeitklänge, indem sie sie mit zuvor in den Fliegengeräuschen vorgefundenen Tönen zu Akkorden moduliert. Diese Software wirft die Frage auf: Gibt es in den Gesängen der Fliegen mehr verborgene Kommunikationsmuster, als von der Wissenschaft bisher beschrieben?
Fly song – a rendering of a generative software
In der Karaoke Bar lernen wir, leise und achtsam zu werden, um die Töne von Fruchtfliegen hören zu können. Unser Setting bietet die Möglichkeit, mit Drosophila auf Augenhöhe (Ohrhöhe?) zu kommunizieren. Indem wir uns auf Drosophilas eigene Ausdrucksweise konzentrieren (welche Signale senden sie an ihre Umgebung? Wie kommunizieren sie? Wie klingt es, wenn sie sich ihren Artgenossen nähern? Was wollen sie verhandeln? Was sind unsere gemeinsamen Wahrnehmungsfenster?), wollen wir ein anthropozentrisches Weltbild umgehen. Die Installation übersetzt nicht nur die Signale der Drosophila (durch Beschallung und Visualisierung, wie es früher gemacht wurde), sondern ermöglicht eine gemeinsame Praxis in einer direkten Feedback-Situation, die eine neue sinnliche Erfahrung bietet.
Als ich vom Land in die Stadt zog, begann ich die Geräusche der Felder und Wälder zu vermissen. Und als ich später in das kleine Dorf inmitten von Weinbergen namens Diedesfeld zurückkehrte, war etwas verschwunden. Ich brauchte eine Weile, um herauszufinden, dass ich die Geräusche der Insekten vermisste. Und dass dieses Geräusch wie eine Bestätigung für ein starkes, ökologisches Gleichgewicht war. Die Wissenschaft fand später heraus dass Insekten bis zu 80 % ihres ursprünglichen Bestands verloren hatten.
Christina Meissner, Teresa Carrasco und ich trafen uns in Weimar, um den Gesang von Chironomid-Mücken (Chironomus riparius, häufig in der Ökotoxikologie verwendet) und ihre Fähigkeit, auf unsere Musik zu reagieren, zu erleben. In einer direkten Rückkopplungssituation zwischen Mensch und Tier sollte die Technik nur dazu dienen, unsere Sinne anzupassen und das Verstehen der Botschaft des anderen zu erleichtern. In einer ersten Aufführung konnten wir feststellen, dass Christina Meissner mit ihrem Cello inaktive Mücken (Stimulation – Klangbeispiel aus unserer ersten Session) zu intensivem Schwärmen anregen konnte (swarming in dialogue). Wir waren begeistert zu bemerken, dass es so einfach und selbstverständlich war, dass Menschen und Mücken sich gegenseitig beeinflussen. Bei unserem zweiten Konzert war es nicht mehr notwendig / erwünscht, die Mücken zum Schwärmen zu zwingen, sondern eine Art q/a zu entwickeln, zuzuhören und auf die Phrasen der Mücken zu reagieren. Hier eine Performance in voller Länge.
Our concerts can be seen as a call for the subtle atmosphere which allows insects to stay in our neighbourhood. And our readiness to listen to them.
inside the „box“ for culturing Chironomus riparius
Wenn Sie sich für Mücken interessieren, sollten Sie sich auch das folgende Video ansehen, das synchronisierte Schwärme am Taubensuhl, Pfalz, Deutschland, zeigt. Man kann sie nur an einigen Tagen im Jahr beobachten – ich war sehr froh, sie zufällig dort filmen zu können. Als ich mit meiner Tonausrüstung zurückkam, um ihren Klang aufzuzeichnen, waren sie verschwunden.
TURNSTILE – eine Installation für die U-Bahn Station Schadowstrasse Düsseldorf
Turnstile, generative Installation von Ursula Damm (Foto Thomas Mayer)
Auf der Stirnwand des U-Bahnhofs Schadowstrasse zeigt eine LED Wand ein generatives Video. Vor dieser Wand strebt ein Lichtschacht an die Platzoberfläche, wo eine Videokamera aufgebaut ist. Diese Kamera filmt unablässig Passanten auf dem Platz und leitet das Bild an eine eigens entwickelte generative Software (programmiert von Felix Bonowski), die aus den Bewegungsspuren der Passanten geometrische Vorschläge für Konstruktionen ableitet. Diese Interpretationen des Echtzeitvideos entwerfen neue Geometrien für den Ort, schlagen Achsen und Parzellen vor. Zwei Aufzüge rechts und links des großen Videobilds führen vom Platz auf den Bahnsteig. Dort kann man eine Soundinterpretation (komponiert von Yunchul Kim) der geometrischen Konstruktionen hören.
Turnstile, Ursula Damm, Schadowstrasse Düsseldorf 2016 (Foto by Thomas Mayer)
Zwei Aufzüge, rechts und links vom LED-Screen, führen vom Platz oben auf die Ebene der Strassenbahnschienen.
Zentrum der künstlerischen Intervention ist das Videobild mit seinem Konzept.Dieses Konzept findet sich auch in der Gestaltung der Wände der Schnitträume wieder. In das blaue Glas des U-Bahnhofs sind an 21 Stellen Platten eingefügt, welche Geometrien über Stadtteilen von Düsseldorf aufzeigen.
Die generative Video-Installation interpretiert Bewegungspuren, die Ihrerseits „Agenten“ erzeugt. Die Aktivität dieser geometrischen Agenten wird in Töne übersetzt: große Polygone, welche kleine Polygoninseln miteinander verbinden, werden entsprechend ihrer Symmetrie in Töne übersetzt. Diese Töne stellen also das Geräusch dar, das die virtuellen Agenten in ihrer synthetischen Welt erzeugen.
Auf dem Bahnsteig kann man die erzeugten Geometrien als Klanginterpretation hören (Sonifikation von Yunchul Kim). Im Zentrum der künstlerischen Intervention ist das Videobild und sein künstlerisches Konzept. Das Konzept führt die Musterzeichnungen im Zugangsbereich des U-Bahnhofs weiter. Im Zugangsbereic sind in die blauen Glasscheiben der Wände an 21 Orten Luftbilder von markanten Orten Düsseldorfs eingelassen, die durch geometische Muster interpretiert werden.
Musterzeichnungen über Bewegungsspuren von Passanten, Schadowstrasse, Düsseldorf., Foto Achim Kukulies
In der östlichen Zwischenebene ist ein Luftbild der Stadt Düsseldof, die als Gesamtansicht geometrisch interpretiert wurde.
Geometric pattern generation on the spacial structure of Duesseldorf
Als Excerpt dieses Luftbildes werden 16 Nachbarschaften aus Düsseldorf interpretiert. Diese urbanen Siedlungsformen werden beschrieben mit regulären polygonen als Energiezentren, die sich konfiguriert haben durch die urbane Entwicklung der Stadtarchitektur (siehe auch den Text zur Mustergenerierung).
Die feine Struktur der Muster setzt dem massiven Bauwerk die Sensibilität der Natur, aber auch der menschlichen, gestalterischen Geste gegenüber und ruft eine Form des Gestaltens in Erinnerung, die durch symbiotische Organisation von vielen Einzelelementen und -energien großräumige Zusammenhänge erzeugt. Damit vollzieht diese Gestaltung das Prinzip des Sozialen, bei welchem das Individuum seine Auswirkung auf das Ganze erfahren kann.
Beispiele von Musterzeichnungen über Nachbarschaften in Düsseldorf
In der Verteilerebene Ost findet sich das Luftbild der Stadt Düsseldorf, das entsprechend des geometrischen Konzepts analysiert wurde.
Der Entwurf der Musterzeichnungen geschieht in langsamen Schritten: Zunächst erfolgte eine Linienzeichnung über dem Stadtbild. Dabei sollten wichtige Bewegungsachsen von Verkehr und Passanten hervorgehoben werden. Die von den Achsen eingeschlossenen Flächen werden zu Polygonen. Nun folgt ein Untersuchen von Winkeln der Linien und Achsen, auf der Suche nach ganzzahligen Brüchen von regulären Polygonen. …
Das kleinste, alle Symmetrien vor Ort integrierende Polygon (beispielsweise bei Bruchstücken von 5-Ecken und 4 Ecken wäre das ein 20-Eck) wird dann zur Beschreibung der Kreuzung herangezogen.
In einem weiteren Schritt wird nun nach Verbindungen (Netzwerk)zwischen den großen Polygonen in der Nachbarschaft gesucht.
Es ergab sich bei der Arbeit an den Luftbildern, dass die Innenstand sehr kleinräumige Polygone aufweist, während Aussenbezirke deutlich großräumiger strukturiert sind. Verdichtung lässt sich also an kleinteiligen Vielecken und komplexen Symmetrien ablesen. Häufig kann auch der Übergang von nicht-vierecken zu Vierecken auf historische Brüche im Stadtbild hinweisen. So stellen diese Interpretationen Untersuchungen dar über die Siedlungs- und Planungsgeschichte der Stadt.
Die Soundinstallation:
Die generative Video-Installation interpretiert Bewegungspuren, die von geometrischen „Agenten“ erzeugt wird. Die Aktivität dieser Agenten wird in Töne übersetzt, den visuellen Artefakten folgend. Der Sound ist somit wie das Geräusch, das die virtuellen Artefakte in ihrer Welt generieren und stellt eine erweiterte künstlerische „Wirklichkeitsebene“ der Installation dar.
Das PROGRAMM
wähle einen Ort (Ursprung)
bestimme die Bewegungsachsen von Personen und Verkehr
schaue, ob diese Achsen in Winkeln zueinander stehen, die durch Spiegeln und Drehen ein Polygon bilden, das sich nach allen Seiten gleichmässig ausdehnt
zeichne dieses Polygon, um die natürliche Geometrie des Ortes nährungsweise zu bestimmen
schaue, ob ausgehend von diesen, dem Ort eigenen Geometrien, eine Flächenstruktur (Parkettierung) möglich ist, die die Ursprungsgeometrien rhythmisch wiederholt.
untersuche, ob und wie im Luftbild des Ortes vorhandene Areale sich in die gefundene Geometrie des Ortes einfügen
verstärke vorhandene Strukturen durch Entwicklung ihrer Geometrien
verbinde vorhandene Strukturen in die Logik der Ursprungs-Geometrie
schaue in die Umgebung: wie können Orte miteinander vernetzt werden über Einsatz von geometrischen – also mathematisch beschreibbaren – Generierungsschematas?
Welche Proportionen bauen diese Geometrien zueinander auf?
Konzept: Ursula Damm Programmierung: Felix Bonowski Sound: Yunchul Kim
Installationsaufbau während der Hybris Ausstellung im ACC WeimarDetail – Laborartikel für die Mückenzucht, Pflanzen als Futter
Zuckmücken (chironomidae) werden in einem Aquarium gezüchtet. Im Aquarium sind Mückeneier, Laven in Sand und Wassr und einige Imagines. Sie werden belüftet und bekommen Licht. Die Auswahl der Mücken (Chironomus Riparius, eine Laborkultur) erlaubt die Zucht in Innenräumen.
Aquauarium, Ipad mit Video von loopenden Flugzeugen einer Flugshow vor schwärmenden Mücken. Wer fliegt besser? Und schöner?
Wer fliegt besser? Und schöner?
KunstfliegenPink elephants for Hollywood
The scientific paper
the text we highlighted
aggression and genes
about swarms and the few we know about them
swarming midges
aggression
field observations - scientific practices beyond the laboratory
scientific practices beyond the laboratory
Ingrid Bergmann about trained flies in Hollywood
contributors
Für eine Klangperformance lud ich Christina Meissner ein, über dem Klang der Flügelschläge der Mücken zu impovisieren. Wir konnten feststellen, dass vor allem laute, tiefe Töne direkt die Flugbahnen beeinflussen. Nach längerem Zusehen schien es allerdings auch, dass hohe Töne die Kohärenz des Schwarms verstärkten.
"the outline of paradise" - view into the soundbox
computer control (traces) of sound input
video camera, loudspeaker
Christina Meissner playing
corresponding vibrations
playing with the swarm
the midges, loudspeakers
swarm
Christina Meissner with control monitor
traces of midges on monitor
"the outline of paradise" - the soundbox
Der Aufbau der Ausstellung erlaubt, zu erkunden, wie Schwärme sich entwickeln, wie sie wissenschaftlich beschrieben werden und ob es Möglichkeiten der Beeinflussung gibt. Die Arbeit folgt „sustaibable luminosity“ und exploriert, wie Mücken trainiert werden können in einer technoiden Spekulation.
