Zeit der Fliegen

22.07.2022

Ausspielung mit Tönen im Spektrum des Fliegengesangs

Zeit der Fliegen ist eine Fortentwicklung von Drosophila Karaoke Bar.

In der Zeit der Pandemie erlebte ich unsere biologische Bedingung auf eine neue Weise: Pandemien lehren uns über Sphären, Nähe, unser Distanzverhalten. Wir fragen uns, ob wir bisher genug auf die Sicherheit unseres Lebensbereichs geachtet haben und überlegen, wen wir an uns heranlassen. Ich habe diese Zeit „Zeit der Fliegen“ genannt, vor allem, weil ich in meinem Einraumppartment in Berlin allein mit Fruchtfliegen – Kulturen von Drosophila verschiedener Spezies – lebte.

Sobald man mit einem biologischen Organismus (Tieren oder Zellen) arbeitet, ändert sich etwas sehr Grundlegendes: Der Tag wird von den Erfordernissen der Kultur bestimmt, den Viechern, die man in seinen Lebensraum lässt, sie dominieren den Tagesablauf.  Man muss dafür sorgen, dass sie sich wohlfühlen, sich fortpflanzen, weil deren bevorzugten Lebensbedingungen andere wären als die eigenen. Man muss einen Kompromiss finden zwischen den unsymmetrischen Verhältnissen.

Die Idee, Fliegen zu meinen Mitbewohnern zu machen, kam mir, als ich nach einem Wesen suchte, das mir als Beobachtungsobjekt dienen sollte. Es sollte interessante kollektive Verhaltensweisen zeigen und eine Bedeutung für die Wissenschaft und unsere zivilisierte Lebensweise haben.

So bin ich bei den Fruchtfliegen gelandet. Neurowissenschaftler haben sich für Fruchtfliegen entschieden, weil ihre Gehirne einfacher sind als unsere. Allerdings, wenn man sich das Verhalten der Fliegen anschaut, kann man unschwer erkennen, dass ihre Aktivitäten z.B. während ihrer ‚party hour‘ schon sehr komplex sind.

Man sieht fliegende Fruchtfliegen, die sitzen, sich gegenseitig jagen und beschnüffeln, Freunde besuchen, Fliegen umwerben, sich paaren, kämpfen (wie von Ralph Greenspan berichtet)[1]).

zweiter Bildschirm, reaktive Betrachtung des sozialen Verhaltens der Fliegen

Fruchtfliegen singen. Neben dem bekannten Summen während des Fluges singen sie auch mit ihren Flügeln, um sich untereinander zu verständigen. Von diesen Gesängen sind der Sinuston und der Pulston bekannt, wobei letzterer semantisch kodiert ist. Aber neben dem von Birgit Brüggemeier [2] wissenschaftlich beschriebenen Pulsgesang und dem Sinusgesang, der dem Summen der fliegenden Fliegen ähnelt, auch andere Klangmuster bemerkt, die eher aggressiv klingen oder wie seltsame Signale, um sich Gehör zu verschaffen.

Um mit den Fliegen in einen Austausch zu treten, nutze ich diese Verhaltensmuster. Mit dieser Arbeit biete ich Ihnen die Möglichkeit, durch Singen direkt mit Fruchtfliegen in Austausch zu treten. Wenn wir Menschen singen, entwickeln sich unsere Lieder oft entlang bereits bekannter Melodien. Aber hier wissen wir nicht, welches Lied wir singen sollen. Wir müssen erst einmal zuhören.

Schematisches set-up der Installation
Zeit der Fliegen Klagegesang
Installation in meinem Appartment in Berlin, Experimente mit verschieden geformten Petrischalen und anderer Platzierung der Mikrofone

Um den Kontakt zu erleichtern, haben wir eine Software verwendet, mit der wir den Klang des menschlichen Gesangs an den Gesang der Fliegen anpassen. Die Software basiert auf einem Audio-Mosaiking, das vom Fraunhofer Institut IIS bereitgestellt wird.[3]. Audio mosaicing ist fortschrittlicher als die Vocoder-Software, die wir für Drosophila Karaoke Bar verwendet haben. Ein Vocoder passt nur die Hüllkurve, d. h. die charakteristische Kurve der Amplitude eines Klangs, die die Klangfarbe bestimmt, an einen Zielklang an. Bei dem audio mosaicing wird auch das Frequenzspektrum in den Aktivierungsmustern an eine vorher ausgewählte Vorlage angepasst.

Wie hat das Audio Mosaiking die Interaktion mit den Fliegen verändert? Während ich mit dem Vocoder noch das Gefühl hatte, durch ein Instrument zu sprechen, veranlasste mich das audio mosaicing sofort dazu, mit den üblichen Tonhöhen und Klangfarben des Fliegengesangs zu singen. Das hat die Erfahrung mit den Fliegen grundlegend verändert. Der Vocoder ermöglichte es, die Fliegen sofort zu stimulieren. Sehr bald war klar, dass dieses Werkzeug gut geeignet ist, die Fliegen zu wecken. Nach der anfänglichen Begeisterung, in die Welt der Fliegen aufgenommen zu werden, stellte sich jedoch schnell die Frage: Wie geht es weiter? Schließlich kann man die Fliegen nur enttäuschen, sobald sie merken, dass man kein geeigneter Partner ist. Und an dieser Stelle wurde das Audio Mosaiking interessant. Es ermöglichte mir, in eine Klangsphäre einzutreten, die diejenige der Fliegen war.

Ich habe oft und wiederholt versucht, ein Verständnis für die Fliegen zu entwickeln, indem ich mit dem Audio Mosaiking gesungen habe. Ich musste verstehen, dass die Fliegen faul und schrullig sind. Wenn sie etwas nicht wollen, tun sie es einfach nicht Wenn sie Spaß haben, kümmern sie sich nicht um uns Menschen. Sie brauchen uns nicht – außer vielleicht unser Essen. Aber das war es auch schon. Als ich mich im Klangspektrum der Fliege befand, fing ich an, mich zu beschweren, zu stöhnen und zu jammern, und jede Äußerung war körperlich, unmittelbar und nicht sehr geistvoll.

Oft wünschte ich mir, meine Stimme wäre trainiert, die einer Sängerin. Und ich könnte ihr mehr Kunstfertigkeit abverlangen. Aber – und das scheint mir das Entscheidende zu sein – in diesen Zeiten wird das Naheliegende wesentlich.

Aber was bedeutet all dieser Aufwand nun: seinen Lebensraum mit einem sogenannten ‚Lästling‘ zu teilen? Und mit dieser Plage Klagen oder Lieder des Leidens, der Beharrlichkeit, des Wartens zu singen? Sartre („Les mouches“) würde eine eindeutige Antwort geben: Überwinde die Schuld. Tritt heraus aus der Vergangenheit.

Ich hingegen wollte einfach eine offene Situation schaffen, in der wir unvoreingenommen beobachten und interagieren, bevor wir etwas „wissen“ oder Entscheidungen treffen. Und da wäre jede vorgebildete Kunstfertigkeit fehl am Platz.

Und ich habe mich auf Fruchtfliegen konzentriert, weil sie zu dem gehören, was wir aus dem täglichen Leben eliminieren, was wir mit Schädlingsbekämpfung ausrotten, was nicht zu einer Kultur der Modernität gehört. Die Konfrontation mit unseren eigenen Auslassungen scheint mir wesentlich für ein Weiterkommen.

Interaktionsbildschirm der Installation mit Sonogramm der Fliegengeräusche und der menschlichen Stimme
Aufbau der Installation, technisch

Die Arbeit wurde produziert mit der Unterstützung des Artists in Lab Programms der Fraunhofer Gesellschaft.

Sie wäre nicht möglich gewesen ohne die technologischen Planungen, die Programmierung und die Geduld von Felix Bonowski.


[1] Hans Dierick, Ralph Greenspan; Molecular analysis of flies selected for aggressive behavior. Nat Genet. 2006 Sep;38(9):1023-31 https://doi.org/10.1038/ng1864

[2] Birgit Brüggemeier, Mason A. Porter, Jim O. Vigoreaux, Stephen F. Goodwin; Female Drosophila melanogaster respond to song-amplitude modulations. Biol Open 15 June 2018; 7 (6): bio032003. doi: https://doi.org/10.1242/bio.032003

[3] Patricio López-Serrano, Christian Dittmar, Yiğitcan Özer, and Meinard Müller
NMF Toolbox: Music Processing Applications of Nonnegative Matrix Factorization
In Proceedings of the International Conference on Digital Audio Effects (DAFx), 2019.

 


Drosophila Karaoke Bar

01.12.2018

Installation auf dem Ars electronica Campus 2019 als Teil von Shared Habitats
Documentation der Ausstellung im MoMuseum Vilnius 2019
A perfektes Feedback als ER auf einer Bach B50 Bassposaune spielt

Project Description in German

Mit Drosophila Karaoke Bar möchten wir auf einen Modellorganismus in Medizin und Forchscung schauen: die Fruchtfliege Drosophila.  Während wir im Alltag die Fliegen meiden, ist sie in der Wissenschaft ein prominentes Objekt von Experimenten. Drosophila sind billig, sie reproduzieren sich schnell, haben genug genetische Ähnlichkeit zu uns Menschen um als Organismus herzuhalten, der für die Erfoschung genetischer Krankheiten dient. Insbesondere sind ihre Gehirne so klein, dass wir sie gut verstehen können.

Look into the sound isolation box

Kann unsere Karaoke-Bar Elemente aus unserer Hightech-Kultur in unser Lebensumfeld zurückbringen? Erlaubt sie dem Publikum, in die Wissenschaft hineinzutauchen? Unser Versuch, Menschen einzuladen, mit Fliegen zu singen, bietet eine Performance, um einen ganzheitlichen Ansatz für wissenschaftliche Untersuchungen zu erleben. Der Aufbau erörtert ökologische Fragen: Wie weit müssen wir die Lebensbereiche von Mensch und Fliege trennen, damit sich beide wohlfühlen? Welche Maßnahmen sind nötig, um ihre leisen Gesänge für den Menschen hörbar zu machen? Wie wirkt sich eine Laborumgebung auf das Verhalten der Fliegen aus? Unter welchen Bedingungen können wir ihre Anwesenheit genießen?

Die Installation lädt die Besucher ein, über eine technische Schnittstelle in einen direkten Austausch mit den Fruchtfliegen zu treten. A software is transforming human speech into signal that can be perceived by flies. It allows auditory feedback between people and animals. Für die Verschmelzung von Menschen- und Fliegengesang wird ein spezieller Signalverarbeitungs-Vocoder verwendet, der von Berd Edler vom Fraunhofer-Institut für Integrierte Schaltungen zur Verfügung gestellt wird.
Die Besucher sind aufgefordert, mit Fliegen zu sprechen und zu singen. Birgit Brüggemeier, Neuroscientist und Fliegenforscherin, erklärt in einem Video die Bedeutung der einzelnen Bestandteile des Fliegengesangs. Sie informiert die Zuhörer über die Syntax und Semantik von Drosophila-Gesängen, um den Besuchern ein besseres Verständnis der Fliegenkommunikation zu vermitteln. Das Video ermutigt die Besucher, mit Fliegen zu singen und zu sprechen.

Das Innenleben der Box mit Isolation, Mikrofonen, Lautsprecher
Fly karaoke explained by Birgit Brüggemeier

 

Inside the box and under the sand pile
Karaoke Bar @ MOMuseum Vilnius

Eine Klangvisualisierung in 2D erweitert die auditive Wahrnehmung der Fliegensphäre um eine visuelle Überwachung der Fliegengesänge auf einem Bildschirm: die Position, die Amplitude und das Muster der Klangquellen sollen dem Künstler helfen, ihren Einfluss auf das Verhalten der Fliegen zu erkennen. Ein großer Sandhaufen bedeckt mit seinem Gewicht den Lebensraum der Fliegen, um ihr Summen gegen den Lärm der menschlichen Aktivitäten zu isolieren. Der massive Sandhaufen repräsentiert die sinnliche und semantische Kluft zwischen einer Fliege und einem Menschen.

In einer weiteren, vorgerenderten Version – Fly Songs – bietet ein weiterer Kopfhörer einen „anthropozentrischen“ Blickwinkel auf Fliegen: wir verfolgen die auftretenden Frequenzen unserer Fliegengemeinschaft, die in Balzgesängen und Fluggeräuschen bestehen (die sich um eine ungefähre Oktave von den Gesängen unterscheiden). Eine speziell entwickelte Software unterstützt die Echtzeitklänge, indem sie sie mit zuvor in den Fliegengeräuschen vorgefundenen Tönen zu Akkorden moduliert. Diese Software wirft die Frage auf: Gibt es in den Gesängen der Fliegen mehr verborgene Kommunikationsmuster, als von der Wissenschaft bisher beschrieben?

Fly song – a rendering of a generative software

In der Karaoke Bar lernen wir, leise und achtsam zu werden, um die Töne von Fruchtfliegen hören zu können. Unser Setting bietet die Möglichkeit, mit Drosophila auf Augenhöhe (Ohrhöhe?) zu kommunizieren. Indem wir uns auf Drosophilas eigene Ausdrucksweise konzentrieren (welche Signale senden sie an ihre Umgebung? Wie kommunizieren sie? Wie klingt es, wenn sie sich ihren Artgenossen nähern? Was wollen sie verhandeln? Was sind unsere gemeinsamen Wahrnehmungsfenster?), wollen wir ein anthropozentrisches Weltbild umgehen. Die Installation übersetzt nicht nur die Signale der Drosophila (durch Beschallung und Visualisierung, wie es früher gemacht wurde), sondern ermöglicht eine gemeinsame Praxis in einer direkten Feedback-Situation, die eine neue sinnliche Erfahrung bietet.

Ursula Damm (Künstlerin)

Birgit Brüggemeier (Neurowissenschaftlerin)

Felix Bonowski (Programmierung, Interface)

Insect songs

19.02.2018

Performance von Christina Meissner, Weimar mit einem Chironomidenschwarm

Insect Songs auf Vimeo.

Ein excerpt aus einer Performance mit Christina Meissner und Teresa Carrasco

Als ich vom Land in die Stadt zog, begann ich die Geräusche der Felder und Wälder zu vermissen. Und als ich später in das kleine Dorf inmitten von Weinbergen namens Diedesfeld zurückkehrte, war etwas verschwunden. Ich brauchte eine Weile, um herauszufinden, dass ich die Geräusche der Insekten vermisste. Und dass dieses Geräusch wie eine Bestätigung für ein starkes, ökologisches Gleichgewicht war. Die Wissenschaft fand später heraus dass  Insekten bis zu 80 % ihres ursprünglichen Bestands verloren hatten.

Christina Meissner, Teresa Carrasco und ich trafen uns in Weimar, um den Gesang von Chironomid-Mücken (Chironomus riparius, häufig in der Ökotoxikologie verwendet) und ihre Fähigkeit, auf unsere Musik zu reagieren, zu erleben. In einer direkten Rückkopplungssituation zwischen Mensch und Tier sollte die Technik nur dazu dienen, unsere Sinne anzupassen und das Verstehen der Botschaft des anderen zu erleichtern. In einer ersten Aufführung konnten wir feststellen, dass Christina Meissner mit ihrem Cello inaktive Mücken (Stimulation – Klangbeispiel aus unserer ersten Session) zu intensivem Schwärmen anregen konnte (swarming in dialogue). Wir waren begeistert zu bemerken, dass es so einfach und selbstverständlich war, dass Menschen und Mücken sich gegenseitig beeinflussen. Bei unserem zweiten Konzert war es nicht mehr notwendig / erwünscht, die Mücken zum Schwärmen zu zwingen, sondern eine Art q/a zu entwickeln, zuzuhören und auf die Phrasen der Mücken zu reagieren. Hier eine Performance in voller Länge.

Our concerts can be seen as a call for the subtle atmosphere which allows insects to stay in our neighbourhood. And our readiness to listen to them.

inside the „box“ for culturing Chironomus riparius

Wenn Sie sich für Mücken interessieren, sollten Sie sich auch das folgende Video ansehen, das synchronisierte Schwärme am Taubensuhl, Pfalz, Deutschland, zeigt. Man kann sie nur an einigen Tagen im Jahr beobachten – ich war sehr froh, sie zufällig dort filmen zu können. Als ich mit meiner Tonausrüstung zurückkam, um ihren Klang aufzuzeichnen, waren sie verschwunden.

chironomidae@taubensuhl from resoutionable on Vimeo.

U-Bahnhof Schadowstrasse

29.01.2016

TURNSTILE – eine Installation für die U-Bahn Station Schadowstrasse Düsseldorf

Turnstile, generative Installation von Ursula Damm (Foto Thomas Mayer)

Auf der Stirnwand des U-Bahnhofs Schadowstrasse zeigt eine LED Wand ein generatives Video. Vor dieser Wand strebt ein Lichtschacht an die Platzoberfläche, wo eine Videokamera aufgebaut ist. Diese Kamera filmt unablässig Passanten auf dem Platz und leitet das Bild an eine eigens entwickelte generative Software (programmiert von Felix Bonowski), die aus den Bewegungsspuren der Passanten geometrische Vorschläge für Konstruktionen ableitet. Diese Interpretationen des Echtzeitvideos entwerfen neue Geometrien für den Ort, schlagen Achsen und Parzellen vor. Zwei Aufzüge rechts und links des großen Videobilds führen vom Platz auf den Bahnsteig. Dort kann man eine Soundinterpretation (komponiert von Yunchul Kim) der geometrischen Konstruktionen hören.

Turnstile, Ursula Damm, Schadowstrasse Düsseldorf 2016 (Foto by Thomas Mayer)

Zwei Aufzüge, rechts und links vom LED-Screen, führen vom Platz oben auf die Ebene der Strassenbahnschienen.

Zentrum der künstlerischen Intervention ist das Videobild mit seinem Konzept.Dieses Konzept findet sich auch in der Gestaltung der Wände der Schnitträume wieder. In das blaue Glas des U-Bahnhofs sind an 21 Stellen Platten eingefügt, welche Geometrien über Stadtteilen von Düsseldorf aufzeigen.

Die generative Video-Installation interpretiert Bewegungspuren, die Ihrerseits „Agenten“ erzeugt. Die Aktivität dieser geometrischen Agenten wird in Töne übersetzt: große Polygone, welche kleine Polygoninseln miteinander verbinden, werden entsprechend ihrer Symmetrie in Töne übersetzt. Diese Töne stellen also das Geräusch dar, das die virtuellen Agenten in ihrer synthetischen Welt erzeugen.


Auf dem Bahnsteig kann man die erzeugten Geometrien als Klanginterpretation hören (Sonifikation von Yunchul Kim). Im Zentrum der künstlerischen Intervention ist das Videobild und sein künstlerisches Konzept. Das Konzept führt die Musterzeichnungen im Zugangsbereich des U-Bahnhofs weiter. Im Zugangsbereic sind in die blauen Glasscheiben der Wände an 21 Orten Luftbilder von markanten Orten Düsseldorfs eingelassen, die durch geometische Muster interpretiert werden.

Musterzeichnungen über Bewegungsspuren von Passanten, Schadowstrasse, Düsseldorf., Foto Achim Kukulies

In der östlichen Zwischenebene ist ein Luftbild der Stadt Düsseldof, die als Gesamtansicht geometrisch interpretiert wurde. 

Geometric pattern generation on the spacial structure of Duesseldorf

Als Excerpt dieses Luftbildes werden 16 Nachbarschaften aus Düsseldorf interpretiert. Diese urbanen Siedlungsformen werden beschrieben mit regulären polygonen als Energiezentren, die sich konfiguriert haben durch die urbane Entwicklung  der Stadtarchitektur (siehe auch den Text zur Mustergenerierung).

Die feine Struktur der Muster setzt dem massiven Bauwerk die Sensibilität der Natur, aber auch der menschlichen, gestalterischen Geste gegenüber und ruft eine Form des Gestaltens in Erinnerung, die durch symbiotische Organisation von vielen Einzelelementen und -energien großräumige Zusammenhänge erzeugt. Damit vollzieht diese Gestaltung das Prinzip des Sozialen, bei welchem das Individuum seine Auswirkung auf das Ganze erfahren kann. 


In der Verteilerebene Ost findet sich das Luftbild der Stadt Düsseldorf, das entsprechend des geometrischen Konzepts analysiert wurde.

Der Entwurf der Musterzeichnungen geschieht in langsamen Schritten: Zunächst erfolgte eine Linienzeichnung über dem Stadtbild. Dabei sollten wichtige Bewegungsachsen von Verkehr und Passanten hervorgehoben werden. Die von den Achsen eingeschlossenen Flächen werden zu Polygonen. Nun folgt ein Untersuchen von Winkeln der Linien und Achsen, auf der Suche nach ganzzahligen Brüchen von regulären Polygonen. …

Das kleinste, alle Symmetrien vor Ort integrierende Polygon (beispielsweise bei Bruchstücken von 5-Ecken und 4 Ecken wäre das ein 20-Eck) wird dann zur Beschreibung der Kreuzung herangezogen.

In einem weiteren Schritt wird nun nach Verbindungen (Netzwerk)zwischen den großen Polygonen in der Nachbarschaft gesucht.

Es ergab sich bei der Arbeit an den Luftbildern, dass die Innenstand sehr kleinräumige Polygone aufweist, während Aussenbezirke deutlich großräumiger strukturiert sind. Verdichtung lässt sich also an kleinteiligen Vielecken und komplexen Symmetrien ablesen. Häufig kann auch der Übergang von nicht-vierecken zu Vierecken auf historische Brüche im Stadtbild hinweisen. So stellen diese Interpretationen Untersuchungen dar über die Siedlungs- und Planungsgeschichte der Stadt.

Die Soundinstallation:

Die generative Video-Installation interpretiert Bewegungspuren, die von geometrischen „Agenten“ erzeugt wird. Die Aktivität dieser Agenten wird in Töne übersetzt, den visuellen Artefakten folgend. Der Sound ist somit wie das Geräusch, das die virtuellen Artefakte in ihrer Welt generieren und stellt eine erweiterte künstlerische „Wirklichkeitsebene“ der Installation dar.

Das PROGRAMM

  • wähle einen Ort (Ursprung)
  • bestimme die Bewegungsachsen von Personen und Verkehr
  • schaue, ob diese Achsen in Winkeln zueinander stehen, die durch Spiegeln und Drehen ein Polygon bilden, das sich nach allen Seiten gleichmässig ausdehnt
  • zeichne dieses Polygon, um die natürliche Geometrie des Ortes nährungsweise zu bestimmen
  • schaue, ob ausgehend von diesen, dem Ort eigenen Geometrien, eine Flächenstruktur (Parkettierung) möglich ist, die die Ursprungsgeometrien rhythmisch wiederholt.
  • untersuche, ob und wie im Luftbild des Ortes vorhandene Areale sich in die gefundene Geometrie des Ortes einfügen
  • verstärke vorhandene Strukturen durch Entwicklung ihrer Geometrien
  • verbinde vorhandene Strukturen in die Logik der Ursprungs-Geometrie
  • schaue in die Umgebung: wie können Orte miteinander vernetzt werden über Einsatz von geometrischen – also mathematisch beschreibbaren – Generierungsschematas?
  • Welche Proportionen bauen diese Geometrien zueinander auf?

Konzept: Ursula Damm
Programmierung: Felix Bonowski
Sound: Yunchul Kim

Artikel zur Herstellung des Kunstwerks

Text von Georg Trogemann über den Besuch der Eröffnung

official website Stadt Düsseldorf

 

The outline of paradise (installation)

06.09.2014

Installationsaufbau während der Hybris Ausstellung im ACC Weimar
Detail – Laborartikel für die Mückenzucht, Pflanzen als Futter

Zuckmücken (chironomidae) werden in einem Aquarium gezüchtet. Im Aquarium sind Mückeneier, Laven in Sand und Wassr und einige Imagines.  Sie werden belüftet und bekommen Licht. Die Auswahl der Mücken (Chironomus Riparius, eine Laborkultur) erlaubt die Zucht in Innenräumen.

Aquauarium, Ipad mit Video von loopenden Flugzeugen einer Flugshow vor schwärmenden Mücken.
Wer fliegt besser? Und schöner?


 Wer fliegt besser? Und schöner?

Kunstfliegen
Pink elephants for Hollywood
  • The scientific paper

Für eine Klangperformance lud ich Christina Meissner  ein, über dem Klang der Flügelschläge der Mücken zu impovisieren. Wir konnten feststellen, dass vor allem laute, tiefe Töne direkt die Flugbahnen beeinflussen. Nach längerem Zusehen schien es allerdings auch, dass hohe Töne die Kohärenz des Schwarms verstärkten.

  • "the outline of paradise" - view into the soundbox


Der Aufbau der Ausstellung erlaubt, zu erkunden, wie Schwärme sich entwickeln, wie sie wissenschaftlich beschrieben werden und ob es Möglichkeiten der Beeinflussung gibt. Die Arbeit folgt „sustaibable luminosity“ und exploriert, wie Mücken trainiert werden können in einer technoiden Spekulation.

Work at Halle14, Leipzig

Concept: Ursula Damm
Artistic + scientific consultation: Dr. Klaus Fritze
Cello, Sounds: Christina Meissner
Programming: Sebastian Stang

Chromatographic Ballads

16.12.2013

https://vimeo.com/71008106
test situation in my studio with brain device

The installation received a honorary mention at VIDA 15.0

The Artwork

Chromatographic Orchestra is an artistic installation which allows a visitor to direct a software framework with an EEG device. In an exhibition environment with semi-transparent video screens a visitor is sitting in an armchair and learns to navigate unconsciously – with his/her brain waves the parameter space of our software – Neurovision.

Neurovision interacts with live video footage of the location of the exhibition and its surroundings. By navigating with his/her own brain waves the visitor can define and navigate the degree of abstraction of a generative (machine learning) algorithm,  performed on the footage of different, nearby video cameras.

Our Operator Lisa sitting in front of the screen with a EEG device

The installation refers back to painting techniques in the late 19th and early 20th century, when painting became more an analysis of the perception of a setting then a mere representation of the latter. Impressionism and Cubism were fragmenting the items of observation while the way of representation was given by the nature of the human sensory system.

The installation “chromatographic orchestra” does not apply arbitrary algorithms to the live footage: we developed a software – the Neurovision framework – which mimics the visual system of the human brain. Thus we question whether our algorithms meet the well being of the spectator by anticipating processing steps of our brain.

Martin explaining the Neurovision software

Artistic Motivation

How much complexity can our senses endure, or rather how could we make endurable what we see and hear? Many communication tools have been developed, to adjust human capabilities to the requirements of the ever more complex city.

Our installation poses the opposite question: How can information emerging from the city be adjusted to the capabilities of the human brain, so processing them is a pleasure to the eye and the mind?

At the core of our installation is the NeuroVision Sandbox, a custom made framework for generative video processing in the browser based on WebGL shaders.

Inside this Sandbox we developed several sketches, culminating in the
“Chromatographic Neural Network”, where both optical flow and color information of the scene are processed, inspired by information processing in the human visual system.

We critically assess the effect of our installation on the human sensory system:

  • Does it enhance our perception of the city in a meaningful way?
  • Can it and if so – how will it affect the semantic level of visual experience?
  • Will it create a symbiotic feedback loop with the visitor’s personal way to interpret a scene?
  • Will it enable alternate states of consciousness? Could it even allow visitors to experience the site in a sub-conscious state of “computer augmented clairvoyance”

Installation

In a location close to the site a single visitor directs a video-presentation on a large screen with a setup we like to call “the Neural Chromatographic Orchestra” (NCO).
Our installation uses an EEG-Device (Emotiv NeuroHeadset) that lets visitors interact with a custom neural network. The setup allows visitors to navigate through various levels of abstraction by altering the parameters of the artificial neural net.

With the NCO device, a visitor can select and explore real-time views provided by three cameras located in public space with different perspectives on the passer-byes (birds-eye view and close-ups)

The installation is based on the NeuroVision Sandbox used in the development of “transits”.
Other than transits, chromatographic ballads uses multi-channel real-time video-input and enables a visitor to interact with irectly via biofeedback with the neural network.

The Neural Chromatographic Orchestra investigates how human perception reacts to the multifaceted visual impressions of public space via an artistic setting. Using an EEG-Device visitors can interact with a self-organizing neural network and explore real-time views of an adjacent hall from several perspectives and at various levels of abstraction.

Biological Motivation

The Chromatographic Neural Network is a GPU-based video processing tool. It was inspired by parallel information processing in the visual system of the human brain. Visual information processing inside the brain is a complex process involving various processing stages.The visual pathway includes the retina, the Lateral Geniculate Nucleus (LGN) and the visual cortex

Scheme of the optical tract with the image being processed (simplified): http://en.wikipedia.org/wiki/File:Lisa_analysis.png

Low-level visual processing is already active at the various layers of the retina. The Interconnection of neurons between retina layers, and the ability to retain information using storage or delayed feedback, allows for filtering the visual image in the space and time domain.

Both image filters and motion detection can easily be achieved by accumulating input from neurons in a local neighborhood, in a massively parallel way.

Our Chromatographic Neural Network uses this approach to cluster colors and to compute the visual flow (or retina flow ) from a video source. The resulting attraction-vectors and flow-vectors are used to transform the memory retained in the memory layer.

The visual output of the system directly corresponds to the state of the output layer of the neural network. The neural layers of the Chromatographic Neural Network, are connected to form a feedback loop. This giving rise to a kind of homeostatic-system that is structurally coupled to the visual input but develops its own dynamics over time.

The set-up

ideal set-up for the installation

 

A visitor enters the site – a highly frequented passage, a spacious hall or a public place. Two videocameras, mounted on a tripod, can be moved around at will.

Another camera observes the passer-byes – their transits and gatherings – from an elevated location. The video footage from this site is streamed into a neighboring room – the orchestra chamber of the Neural Chromatographic Orchestra.

Here one can see – in front of a a large video wall a monitor displaying the videos from the adjacent room and the “orchestra pit” – an armchair equipped with a touch device and a neuro-headset. The video wall, showing abstract interpretations of the site itsself, should ideally be visible both from the orchestra pit and from the large hall.

The Orchestra Chamber

Inside the chamber the visitor is seated in a comfortable armchair and an assistant helps her put on and adjust the neuro-headset.

The orchestra chamber should be isolated from the public area as much as possible. A sense of deprivation from outside stimuli allows the visitor to gain control over her own perception and achieve a state of mind similar to meditation or clairvoyance.

The Orchestral Performance

Training Cognitive Control

A performance with the Neural Chromatographic Orchestra starts with a training of up to six mental actions, corresponding to the “push/pull”, “left/right“ and “up/down” mental motions provided by the Emotiv Cognitiv suite. The training typically lasts 10 to 30 minutes.

Playing the Sandbox

After successful training the visitor is asked to sit in front of the NeuroVision Sandbox:

The visitor in the orchestra chamber has three modes of conducting the neural network

  • either the birds-eye view or one of the cameras that take a pedestrian’s perspective
  • A graphical user interface lets her switch between different neural networks and control their parameters
  • A menu lets her choose any of the three cameras as a video source:
  • the NeuroHeadset allows to navigate the parameter space of the selected neural network

Conducting the Orchestra

Once the visitor feels comfortable conducting the NCO on the small screen, she can perform on the large screen, that is also visible from the outside.

On the public screen sliders are not shown, but the conductor may still use a tablet device to access the graphical user interface.

The current position in parameter spaces is represented by a 3d-cursor or wire-frame box, which is very helpful for making the transition from voluntary conduction moves, to a style of conducting that is more directly informed by immersion and interaction with the output of the Chromatographic Neural Network.

The Chromatographic Neural Network

The flow of information is arranged into several processing layers. To realize memory, each processing layer is in turn implemented as stack of one or more memory layers.This allows us to access the state of a neuron at a previous point in time.

Example

The video layer is made up of two layers, so the system can access the state of any input neuron at the current point in time, and its state in the previous cycle.

Processing Layers

The Video layer

The Video layer contains the input neurons. Each neuron corresponds to a pixel of the video source. The Video layer provides the input for the Flow layer.

The Ghost Layer

The Ghost layer represents a haunting image from the past. It implements the long term memory, that interferes and interacts with the current visual input. It does not change over time, and is provided as additional input to the Flow layer

The Flow layer

The Flow layer accumulates the input from the Video layer and the Ghost layer. Each Neuron aggregates input from its neighborhood in the Video Layer at times (t) and (t-1). The computed 2d vector is directly encoded into the the state of the neuron, creating a flow map.

The Blur layers

The Blur layers are used to blur the flow map. While the computation of visual flow is restricted to a very small neighborhood, the blur layer is needed to spread the flow information to a larger region, since flow can only be detected on the edge of motion.

For efficiency reasons the blur function is split into two layers, performing a vertical and a horizontal blur respectively.

Neuron Processing

The state of each neuron corresponds to an RGB color triplet. Every neuron of the Flow layer gets input from corresponding neurons inside a local neighborhood of the input layers. Each of those input samples corresponds to a single synapse. The vector from the center of the neuron towards the input neuron is referred to as the synapse vector.

Color Attraction

To achieve some kind of color dynamics, colors that are close in color space are supposed to attract each other.

The distance between synapse input and the neuron state in RGB color-space, serves as a weight, which is used to scale the synapse vector. The sum of scaled synapse vectors results in a single color attraction vector.

Color Flow

While color attraction is the result of color similarities or differences in space, color flow is the result of a color changes over time. Rather than calculating the distance of the neuron state to a single synapse input, its temporal derivative is calculated by using input from a neuron and its corresponding memory neuron. This time the sum of scaled synapse vectors results in a flow vector.

Encoding

Both color flow and color attraction vectors are added up and their components are encoded in the flow layer.

Parameters

here are various parameters in each layer controlling the amount and direction of color attraction, color flow, the metrics used for calculating color distances, the neuron neighborhood, etc …

Implementation

All neural computation is performed on the GPU using OpenGL and GLSL shaders. This is the mapping from neural metaphors to OpenGL implementation:

Memory layers → Texture-Buffers
Processing Layers → GLSL shaders
Parameters → GLSL uniforms

Outlook

In our implementation both color flow and attraction are integrated into a single level flow map. While this generates interesting local interactions, there is little organization on a global level. The work on Multilevel Turing Patterns as popularized by Jonathan McCabe shows that it is possible to obtain complex and visually interesting self organizing patterns without any kind of video input.

Our future research will combine several layers of flow maps, each operating on a different level of detail. Additional directions include alternate color spaces and distance metrics.
In the current model input values are mixed and blurred, resulting in a loss of information over time. We have also been experimenting with entropy-conserving models and are planning to further investigate this direction.

This project is based on two recent artworks, „transits“ and „IseethereforeIam“

Conceppt: Ursula Damm
Programming: Martin Schneider

I am a Sensor

08.10.2013

Aus dem Äther in den Körper

“Ich bin ein Sensor”

Seit den 90er Jahren haben sich zwischen den Künstler und sein Publikum jede Menge Apparate und Apparaturen geschoben. Kommunikation geschieht geplant, kontrolliert, reduziert, erweitert – kurz: posthuman. Dabei wird in Kauf genommen, dass jedes Device bereits die Aufmerksamkeit des Performers vom eigenen Körper ablenkt auf technische Artefakte.

In einigen Experimenten wird gezeigt, was passiert, wenn der Körper als ultimative Instanz der Bewertung seinen Platz zurück erhält und die natürlichen Sinne von Mensch und anderen Lebewesen ins Zentrum der Betrachtung gerückt werden.

Das Video wurde uraufgeführt zur Jahrestagung der Gesellschaft für Medienwissenschaften, Leuphana Universität Lüneburg

Website der Veranstaltung

Interview über die Arbeit auf der Tagung
Sensordata measured at the toes

Transits

30.09.2012

Screen print

 

Die Installation Transits verwendet statische Videoaufnahmen des Aeschenplatz in Basel, um Spuren von Passanten auf einem städtischen Verkehrsknotenpunkt aufzuzeichnen und in ihren Charakteristiken sichtbar zu machen. Eine speziell neu entwickelte Software (Autor: Martin Schneider) begreift das gesamte Videobild als Neuronales Netz. Jeder Pixel des Videobildes wird gespeichert und in der Folge mittels spezieller Algorithmen „erinnert“ oder verarbeitet. Einerseits wollten wir, dass lang verweilende Elemente sich ins Bild einschreiben, zum anderen aber hat diese Bildverarbeitung auch eine eigene Dynamik: Farben ziehen sich an und Bewegungen schieben Pixel in die erkannte Richtung. Das Bildergebnis schwankt zwischen Beschreibung von ortsspezifischen Ereignissen und der Eigendynamik der Bildverarbeitung, wie sie unserem Gehirn zugeschrieben wird, hier vorweggenommen von einer Software.

Für eine ausführliche Beschreibung der Algorithmen und ein neu entworfenes Interface zur Steuerung der Bildwahrnehmung schauen Sie bitte hier.

Transits wurde produziert für die Ausstellung sensing place des Hauses für Elektronische Kunst Basel und wurde in die Sammlung des Museums aufgenommen.

Trailer from the 1 hour video

Konzept der Installation:
Ursula Damm
Vorarbeiten: Matthias Weber
Software: Martin Schneider
Sound: Maximilian Netter

The outline of paradise (sustainable luminosity, video)

25.06.2012

Luciferin sorgt bei Glühwürmchen für ein Licht, das in seiner Intensität und seinem Nutzungsgrad
jeder technischen Leuchtquelle überlegen ist. Das Produkt möchte das Werben der Glühwürmchen um
einen Partner als Vorbild nehmen für die Werbeträger in unseren Städten. Leuchtreklame wird anstatt
elektronisch gesteuert, von Mücken geflogen, die mit einem Leuchtgen ausgestatteten werden und
ein spezielles Flugtraining erhalten haben.
Die Instalaltion „the outline of paradise“ entwickelt aus diesem Versprechen eine skulpturale, interaktiven
Soundinstalllation, die schrittweise ermöglicht, Zuckmücken mit Sound zu trainiere und anstatt in kugeligen Schwärmen – in Buchstabenformation zu fliegen. In einem weiteren Schritt
sollen die Implikationen und Folgen der genetischen Modifikation von Chironomus riparius mit einem
Leuchtgen experimentell erforscht und dokumentiert werden.
The outline of pradise thematisiert Versprechen und Folgen von Hochtechnologie am Beispiel eines
fiktiven Produktes. Die Installation konjugiert Erfolge und Scheitern der einzelnen Schritte der Herstellung
und legt dadurch Konstruktionen und Narrative von wissenschaftlichen Methoden offen.

Situation at ACC – a swarm looses its shape

 

Video edited by Thomas Hawranke

Das Video wurde ursprünglich produziert als Bestandteil von super-cell.org, ein Supermarkt der speculative Produkte aus Synthetischer Biology anbietet:

das Produkt

„Sustainable Luminosity“ möchte eine Beleuchtungsmethode für die Stadt schaffen, die nachhaltig
und natürlich ist. Dazu greife ich auf eine natürliche Lichtquelle zu, die die Natur hervorgebracht hat:
einige Tiere, die im Dunkeln leben, haben ihr eigenes Lichtorgan ausgebildet. In der Tiefsee ermöglicht es die Orientierung – in der Nacht hilft es einem Glühwürmchen beim Werben um einen Partner. „Sustainable Luminosity“ möchte diese Anregung der Natur aufnehmen und sich diese Leuchtfähigkeit zunutze machen. Das Produkt schlägt vor, das Werben der Glühwürmchen um einen Partner als Vorbild für die Werbeträger in den Städten zu nehmen. Leuchtreklame wird anstatt elektronisch gesteuert, von Mücken geflogen, die mit einem Leuchtgen ausgestatteten sind und ein spezielles Flugtraining erhalten haben.

Wie sähen unsere Städte aus, wenn die Werbebotschaften der Unternehmen nicht mit Leuchtstoffröhren oder LED‘s, sondern direkt von leuchtenden Mücken produziert würden? Wäre diese natürliche Lichtproduktion nicht auch sinnlich viel ansprechender als die technoide Ästhetik herkömmlicher Werbung? Das Projekt thematisiert die Ästhetik der Alltagskultur, wie sie sich durch ihre Technisierung entwickelt hat. Es setzt der Technologie eine naturnahe, sinnliche Ästhetik entgegen, welche natürlich und nachhaltig sein möchte.

Das Projekt

erfährt seine Umsetzung in skulpturalen Installationen, die jeweils Teilschritte einer Verwirklichung des spekulativen Produkts darstellen. In einzelnen Etappen wird sowohl die Realisierbarkeit des Produkts überprüft als auch sein Impakt auf Organismen, Ökologie und Kultur.
Die Installation benötigt für ihre Verfahren eine temporäre Abgeschlossenheit von der Umwelt und inszeniert also ein kleines „Paradies“, einen Ort, der „jenseits des Walles“ – also jenseits der Wirklichkeit und in den abgeschlossenen Welten der Labore – wo sie Ihre Schönheit zu entwickeln sucht. Welche Interaktionen stellen sich ein, wenn die Produkte der synthetischen Biologie zurückkommen in den Alltag? Dieser Frage geht das Projekt nach und inszeniert schrittweise die Konfrontation eines spekulativen Produkts der synthetischen Biologie mit unserer gewohnten Umgebung.


Vorarbeiten

Mit super-cell.org entstand 2010 der erste online-supermarkt der synthetischen Biologie. Er wurde geschaffen von meinen Studenten als spekulatives Designprojekt innerhalb des iGEM-competition, ein studentischer Wettbewerbs am MIT in Boston. Das Team war eine Kooperation von Studierenden von Prof. Roland Eils, Bioquant/Ruprecht-Karls-University Heidelberg und Mitarbeitern und Studierenden meines Lehrstuhls an der Bauhaus Universität Weimar (siehe link unten).
Im Rahmen von super-cell entwickelte ich das Produkt „sustaibnable luminosity“ als Vorbild für die danach entstandenen Produkte meiner Studierenden. Heute möchte ich – anders als meine Studenten – als Künstlerin meine Werke nicht nur virtuell erfahren – deshalb habe ich nun begonnen, Mücken, deren Larven mir vom Senckenberg-Institut zur Verfügung gestellt werden, zu züchten, um in einer Soundfeedbackinstallation sie zu trainieren, so dass ihre Schwärme in Formationen fliegen. Die Installation soll an den materiellen und installativen Gegebenheiten formal untersuchen, welche Interaktionen im Alltag entstehen, wenn Phantasien
wirklich werden.
http://www.uni-weimar.de/medien/wiki/GMU:Synthetic_Biology


die Installationskonzeption
In einer soundisolierten Box werden Mücken in einem Aquarium gezüchtet und und überwacht. Im Sand und Wasser schwimmen Mückeneier und -Larven. Sie werden belüftet und mit reichlich künstlichem Licht versorgt. Das Aquarium ist überspannt von Mückengaze, damit die Mücken, wenn sie schlüpfen, nicht entkommen können. Dieser Käfig ist der Ort, wo die Mücken schwärmen. Die Wahl der Mücken (Chironomus Riparius) ermöglicht die Zucht in Gefangenschaft, and die sich dieser Laborstamm mittlerweile angepasst hat.

Wie können Mücken trainiert werden? Wie kann man das Verhalten von Mücken beeinflussen?
Wie kann man Zuckmücken Buchstaben beibringen? Wie kann man sie das Alphabet lehren?
Um sich für den Paarungsakt zu finden, orientieren sich Mücken an den Frequenzen der Flügenschläge des anderen Geschlechts.

Diese Eigenschaft machen wir uns zu Nutze, um Mücken in ihrem Schwarmverhalten zu beeinflussen. Das empfindliche „Reizfenster“ der Chironomiden liegt bei Tonfrequenzen ± 50 Hz ihrer eigenen Flügelschlags. Ein vereinfachtes LED-Schrift Alphabet ist die erste Etappe im Lernprozess der Mücken. Im Aquarium hängt ein Microphon und eine Matrix mit Lautsprechern, welche dazu dient, die Mücken mit Flügelschlagsound und wahlweise komplexeren Klängen zu beschallen und ihr Verhalten durch die simulierte Anwesenheit von Artgenossen kennenzulernen und zu steuern.

Trainingsstation für Mücken, Selektion
Produktion, Kontrolle
Soundtraining for midges

project description_.pdf

598

01.09.2009

598 (teaching the ground)

Installation im „Springhornhof“ als Bestandteil der Ausstellung  „Landscape 2.0“ im Jahr 2009

Die Videoinstallation „598“ besteht aus einer hochauflösenden Videoinstallation, digital bearbeitetem Originalto und fünf Matten aus unbehandelter Schafwolle (42′ Videostream, der von einer speziell entwickelten Software gewonnen wird).

„598“ zeigt eine primitive Heidelandschaft, bearbeitet durch eine Computersoftware, die ohne unser Wissen oder unsere Interpretationsfähigkeit arbeitet. Wie vor unserem geistigen Auge baut sich eine Art Landschaft des wahrgenommenen Bildes auf. Die Schafe orientieren sich in ihren Bewegungen nicht nur an der Gruppe, sondern auch an dem unter ihnen befindlichen Nahrungsangebot. Die Bewegungen der einzelnen Tiere, aber auch der Herde als Ganzes, geben also Auskunft über die Beschaffenheit der Landschaft. Das Bild ist an sich schon eine interpretierende Vision des Bodens unter ihren Füßen, der im Laufe der Jahrhunderte auf die gleiche Weise als Weide genutzt wurde.

Die Form der Lüneburger Heide zeigt bereits die Auswirkungen der weidenden Schafe. Ihr Verzehr von Gras und jungen Trieben schützt die Heide vor der Aufforstung und schafft Lichtungen und offene Grünflächen, also eine Heide. Das Auftreten von frei beweideten Flächen hat im Laufe der Jahrhunderte eine Landschaft entstehen lassen, deren Form sich aus dieser Symbiose ergibt. Man kann aber auch andere Formen der Zusammenarbeit erkennen, und die Schafe, die keinen eigenen Willen haben, sind ein lohnendes Beispiel für die Untersuchung von Verhaltensstrategien, die über den Egoismus hinausgehen.

Für uns Menschen reicht es nicht mehr aus, nur zu beobachten und zu lernen, zu verstehen. Im Computer haben wir ein Werkzeug entwickelt, das weidende Schafe und eine beruhigende Landschaft mit Hilfe einer lernfähigen Struktur analysiert und kategorisiert. Diese Software lernt von der Landschaft und von den 598 Schafen – aufgenommen mit einer Videokamera, die auf einem Kran montiert ist, als wären wir Menschen, die aus den Wolken herunterschauen, allwissend.

Es entsteht eine neue, künstliche Landschaft, die es erlaubt, die Eigenschaften der beobachteten Dinge wahrzunehmen. Durch die Bewegung der Schafe über die Heide sind diese Eigenschaften zwar zu erkennen, aber als Einzelbilder sind sie nicht zu sehen.

Trailer des Videos

 

Die Lüneburger Heide zeigt in ihrer Gestalt bereits die Auswirkungen der Schafe. Ihr Fressen von Gras und Schößlingen bewahrt die Heide vor der „Verwaldung“, schafft Lichtungen und Grünflächen, eben eine „Heide“.
Das entstehen von freigefressenen Terrains hat so über die Jahrhunderte eine Landschaft entstehen lassen, die ihre Gestalt aus dieser Symbiose herleitet. Aber nicht nur dieses Zusammenspiel ist erkennbar, die willenlosen Schafe sind ein dankbares Anschauungsbeispiel, um kollektive Handlungstrategien jenseits von Egosimen zu studieren.

Nun reicht es uns Menschen ja nicht, einfach hinzuschauen und verstehen zu lernen. So haben wir im Rechner ein Werkzeug entworfen, die weidenden Schafe und die ruhende Landschaft durch eine lernfähige Struktur zu analysieren und kategorisieren. Diese Software lernt von der Landschaft und von 598 Schafen – aufgenommen von einer Videokamera auf einem Kran, so als wären wir Menschen allwissend aus einer Wolke schauend.

Es entsteht eine neue, künstliche Landschaft, die es ermöglicht, Eigenschaften des Gesehenen wahrzunehmen, die aufgrund der Bewegungen der Schafe durch die Heide erkennbar werden, aber im Einzelbild nicht offensichtlich sind.

zur Software:
Die bishergie Software berechnet Differenzbilder vom aktuellen Bild eines Videos zu einem Referenzbild, um so Bewegungen fest zu stellen. Sie enthält weiterhin eine Art neuronales Netz, dessen Neuronen sich einzeln an die Differenzwerte jedes einzelnen Bildpunktes anpassen. Jeder Bildpunkt entspricht einem Neuron. Diese Software soll weiter entwickelt werden, so dass jedes Neuron nicht nur einzeln für sich den ihm zugewiesenen Bildpunkt lernt. Es sollen zusätzlich die Nachbarschaftsbeziehungen sowohl der Bildpunkte als auch der Neuronen mit einfließen. Dadurch entsteht ein selbst organisierendes System, Neuronen, die schon bestimmte Differenzwerte gelernt haben, fühlen sich zu ähnlichen Werten stärker angezogen. Sie lernen diese stärker mit. Somit werden sich Bereiche innerhalb des neuronalen Netzes ausbilden, die einerseits ähnlichen Differenzwerten entsprechen andererseits aber auch immer noch an den Ort der jeweiligen Bildpunkte gebunden sind.
August 2009
Programmierung: Matthias Weber, Sebastian Stang
Sound: Maximilian Netter, Sebastian Stang