Chromatographic Ballads [2013]

chomatographic ballads from resoutionable on Vimeo.

The installation received a honorary mention at VIDA 15.0

The Artwork

Chromatographic Orchestra is an artistic installation which allows a visitor to direct a software framework with an EEG device. In an exhibition environment with semi-transparent video screens a visitor is sitting in an armchair and learns to navigate unconsciously – with his/her brain waves the parameter space of our software – Neurovision.

Neurovision interacts with live video footage of the location of the exhibition and its surroundings. By navigating with his/her own brain waves the visitor can define and navigate the degree of abstraction of a generative (machine learning) algorithm,  performed on the footage of different, nearby video cameras.

Lisa training the Interface

Lisa training the Interface

The installation refers back to painting techniques in the late 19th and early 20th century, when painting became more an analysis of the perception of a setting then a mere representation of the latter. Impressionism and Cubism were fragmenting the items of observation while the way of representation was given by the nature of the human sensory system.

The installation “chromatographic orchestra” does not apply arbitrary algorithms to the live footage: we developed a software – the Neurovision framework – which mimics the visual system of the human brain. Thus we question whether our algorithms meet the well being of the spectator by anticipating processing steps of our brain.

Artistic Motivation

How much complexity can our senses endure, or rather how could we make endurable what we see and hear? Many communication tools have been developed, to adjust human capabilities to the requirements of the ever more complex city.

Our installation poses the opposite question: How can information emerging from the city be adjusted to the capabilities of the human brain, so processing them is a pleasure to the eye and the mind?

At the core of our installation is the NeuroVision Sandbox, a custom made framework for generative video processing in the browser based on WebGL shaders.

Martin explaining the Neurovision software

Martin explaining the Neurovision software

Inside this Sandbox we developed several sketches, culminating in the
“Chromatographic Neural Network”, where both optical flow and color information of the scene are processed, inspired by information processing in the human visual system.

We critically assess the effect of our installation on the human sensory system:

  • Does it enhance our perception of the city in a meaningful way?
  • Can it and if so – how will it affect the semantic level of visual experience?
  • Will it create a symbiotic feedback loop with the visitor’s personal way to interpret a scene?
  • Will it enable alternate states of consciousness? Could it even allow visitors to experience the site in a sub-conscious state of “computer augmented clairvoyance”

Installation

visualisierung_site_cr

In a location close to the site a single visitor directs a video-presentation on a large screen with a setup we like to call “the Neural Chromatographic Orchestra” (NCO).
Our installation uses an EEG-Device (Emotiv NeuroHeadset) that lets visitors interact with a custom neural network. The setup allows visitors to navigate through various levels of abstraction by altering the parameters of the artificial neural net.

With the NCO device, a visitor can select and explore real-time views provided by three cameras located in public space with different perspectives on the passer-byes (birds-eye view and close-ups)

The installation is based on the NeuroVision Sandbox used in the development of “transits”.
Other than transits, chromatographic ballads uses multi-channel real-time video-input and enables a visitor to interact with irectly via biofeedback with the neural network.

The Neural Chromatographic Orchestra investigates how human perception reacts to the multifaceted visual impressions of public space via an artistic setting. Using an EEG-Device visitors can interact with a self-organizing neural network and explore real-time views of an adjacent hall from several perspectives and at various levels of abstraction.

Biological Motivation

The Chromatographic Neural Network is a GPU-based video processing tool. It was inspired by parallel information processing in the visual system of the human brain. Visual information processing inside the brain is a complex process involving various processing stages.The visual pathway includes the retina, the Lateral Geniculate Nucleus (LGN) and the visual cortex

Scheme of the optical tract with the image being processed (simplified): http://en.wikipedia.org/wiki/File:Lisa_analysis.png

Low-level visual processing is already active at the various layers of the retina. The Interconnection of neurons between retina layers, and the ability to retain information using storage or delayed feedback, allows for filtering the visual image in the space and time domain.

Both image filters and motion detection can easily be achieved by accumulating input from neurons in a local neighborhood, in a massively parallel way.

Our Chromatographic Neural Network uses this approach to cluster colors and to compute the visual flow (or retina flow ) from a video source. The resulting attraction-vectors and flow-vectors are used to transform the memory retained in the memory layer.

The visual output of the system directly corresponds to the state of the output layer of the neural network. The neural layers of the Chromatographic Neural Network, are connected to form a feedback loop. This giving rise to a kind of homeostatic-system that is structurally coupled to the visual input but develops its own dynamics over time.

The set-up

visualisierung_site_p_zentral

main hall with passangers

A visitor enters the site – a highly frequented passage, a spacious hall or a public place. Two videocameras, mounted on a tripod, can be moved around at will.

Another camera observes the passer-byes – their transits and gatherings – from an elevated location. The video footage from this site is streamed into a neighboring room – the orchestra chamber of the Neural Chromatographic Orchestra.

Here one can see – in front of a a large video wall a monitor displaying the videos from the adjacent room and the “orchestra pit” – an armchair equipped with a touch device and a neuro-headset. The video wall, showing abstract interpretations of the site itsself, should ideally be visible both from the orchestra pit and from the large hall.

The Orchestra Chamber

visualisierung_sitecrpv

view from the “orchestra chamber”

Inside the chamber the visitor is seated in a comfortable armchair and an assistant helps her put on and adjust the neuro-headset.

The orchestra chamber should be isolated from the public area as much as possible. A sense of deprivation from outside stimuli allows the visitor to gain control over her own perception and achieve a state of mind similar to meditation or clairvoyance.

The Orchestral Performance

Training Cognitive Control

A performance with the Neural Chromatographic Orchestra starts with a training of up to six mental actions, corresponding to the “push/pull”, “left/right“ and “up/down” mental motions provided by the Emotiv Cognitiv suite. The training typically lasts 10 to 30 minutes.

Playing the Sandbox

After successful training the visitor is asked to sit in front of the NeuroVision Sandbox:

The visitor in the orchestra chamber has three modes of conducting the neural network

  • either the birds-eye view or one of the cameras that take a pedestrian’s perspective
  • A graphical user interface lets her switch between different neural networks and control their parameters
  • A menu lets her choose any of the three cameras as a video source:
  • the NeuroHeadset allows to navigate the parameter space of the selected neural network

Conducting the Orchestra

Once the visitor feels comfortable conducting the NCO on the small screen, she can perform on the large screen, that is also visible from the outside.

On the public screen sliders are not shown, but the conductor may still use a tablet device to access the graphical user interface.

The current position in parameter spaces is represented by a 3d-cursor or wire-frame box, which is very helpful for making the transition from voluntary conduction moves, to a style of conducting that is more directly informed by immersion and interaction with the output of the Chromatographic Neural Network.

The Chromatographic Neural Network

The flow of information is arranged into several processing layers. To realize memory, each processing layer is in turn implemented as stack of one or more memory layers.This allows us to access the state of a neuron at a previous point in time.

Example

The video layer is made up of two layers, so the system can access the state of any input neuron at the current point in time, and its state in the previous cycle.

Processing Layers

 

The Video layer

The Video layer contains the input neurons. Each neuron corresponds to a pixel of the video source. The Video layer provides the input for the Flow layer.

The Ghost Layer

The Ghost layer represents a haunting image from the past. It implements the long term memory, that interferes and interacts with the current visual input. It does not change over time, and is provided as additional input to the Flow layer

 

The Flow layer

The Flow layer accumulates the input from the Video layer and the Ghost layer. Each Neuron aggregates input from its neighborhood in the Video Layer at times (t) and (t-1). The computed 2d vector is directly encoded into the the state of the neuron, creating a flow map.

The Blur layers

The Blur layers are used to blur the flow map. While the computation of visual flow is restricted to a very small neighborhood, the blur layer is needed to spread the flow information to a larger region, since flow can only be detected on the edge of motion.

For efficiency reasons the blur function is split into two layers, performing a vertical and a horizontal blur respectively.

 

Neuron Processing

The state of each neuron corresponds to an RGB color triplet. Every neuron of the Flow layer gets input from corresponding neurons inside a local neighborhood of the input layers. Each of those input samples corresponds to a single synapse. The vector from the center of the neuron towards the input neuron is referred to as the synapse vector.

Color Attraction

To achieve some kind of color dynamics, colors that are close in color space are supposed to attract each other.

The distance between synapse input and the neuron state in RGB color-space, serves as a weight, which is used to scale the synapse vector. The sum of scaled synapse vectors results in a single color attraction vector.

 

Color Flow

While color attraction is the result of color similarities or differences in space, color flow is the result of a color changes over time. Rather than calculating the distance of the neuron state to a single synapse input, its temporal derivative is calculated by using input from a neuron and its corresponding memory neuron. This time the sum of scaled synapse vectors results in a flow vector.

Encoding

Both color flow and color attraction vectors are added up and their components are encoded in the flow layer.

Parameters

here are various parameters in each layer controlling the amount and direction of color attraction, color flow, the metrics used for calculating color distances, the neuron neighborhood, etc …

Implementation

All neural computation is performed on the GPU using OpenGL and GLSL shaders. This is the mapping from neural metaphors to OpenGL implementation:

Memory layers → Texture-Buffers
Processing Layers → GLSL shaders
Parameters → GLSL uniforms

Outlook

In our implementation both color flow and attraction are integrated into a single level flow map. While this generates interesting local interactions, there is little organization on a global level. The work on Multilevel Turing Patterns as popularized by Jonathan McCabe shows that it is possible to obtain complex and visually interesting self organizing patterns without any kind of video input.

Our future research will combine several layers of flow maps, each operating on a different level of detail. Additional directions include alternate color spaces and distance metrics.
In the current model input values are mixed and blurred, resulting in a loss of information over time. We have also been experimenting with entropy-conserving models and are planning to further investigate this direction.

This project is based on two recent artworks, “transits” and “IseethereforeIam”

Conceppt: Ursula Damm
Programming: Martin Schneider

trace pattern I [1997]

tracepattern01

Die Installation trace pattern ist erste Station von inoutSite, das Raumgeometrie von Bewegung von Menschen auf öffentlichen Plätzen ableitet. Eine Kamera nimmt die Situation in einer offenen Fläche wahr, die Personen werden anhand dieser Bilder verfolgt (hier nur 2), ihre Bewegungsspur berechnet und miteinander verglichen. Ist der Ort, wo eine Person hingeht oder herkommt identisch mit dem Ort, wo eine andere Person sich hin orientiert/den sie verläßt, dann wird Abstand und Winkel zwischen den Bewegungsbahnen berechnet und überprüft, ob diese in eine Raumgeometrie passen, welche als eine Erweiterung der Proportionenlehre (basierend auf dem goldenen Schnitt) gesehen werden kann. Ist dies der Fall, werden an die Aufenthaltsorte der Personen geometrische Muster angelagert, die Parkettierung von regulären Polygonen sind. Die Muster bilden eine Art Netzwerk zwischen den beiden Personen. Bewegen sie sich fort, so wird das Muster nicht weiter gezeigt. Verweilen sie, bauen sich verschiedene Varianten der Polygonanlagerungen auf und ab. Gleichzeitig sind Akkorde hörbar, die aus den Seitenlängen der Polygone abgeleitet sind. Gibt es eine Entsprechung zwischen Klang und Muster?
tracepattern02tracepattern03
Gleich der Funktionsweise eines Seiteninstruments wird die Geometrie (die Seitenlänge der Polygone) in Klänge umgesetzt.
Während diese Muster angezeigt werden, kann der Betrachter sich selbst (repräsentiert als eine Kugel) innerhalb des Musternetzes betrachten. Er kann überprüfen, ob diese Muster etwas mit seinem Raumempfinden zu tun haben oder nicht. Er kann spielerisch erproben, sich so zu verhalten, daß zwischen ihm und einem Nachbar Muster entstehen. und die Regeln des virtuellen auf den realen Raum übertragen.
tracepattern05tracepattern04
Sowie hexagonale Muster in der Geographie zur Beschreibung der “Zentralität der Orte” (W. Christaller, Die zentralen Orte in Süddeutschland”, Jena 1933), also der wirtschaftlichen Vernetzung von Siedlungen untereinander, herangezogen wurden, möchte ich mit wesentlich komplexeren Netzen Möglichkeiten anbieten, Raumelemente ebenfalls vernetz- und planbar, aber auch adaptionsfähiger zu machen. Die interaktive Installation ermöglicht, Nähe und Distanzwunsch zu Personen überprüfbar zu machen. Im weiteren Verlauf wird die Perspektive umkippen aus der Beobachtersituation “Froschperspektive” in die Position des Betrachteten, der mit seinen Bewegungen (virtuellen) Raum generiert.
tracepattern06

“… Der größte Teil dessen, woraus unsere Körper und Gehirne bestehen, wird schließlich fortwährend ersetzt, und nur die Strukturen oder Muster bleiben erhalten. Außerdem scheint die Materie selbst lediglich vorübergehend zu exisiteren, weil sie von einer Form in eine andere umgewandelt werden kann. … Die Materie selbst ist also nebulös und flüchtig, und es ist gar nicht unvernünftig anzunehmen, daß die Beständigkeit des “Selbst” mehr mit der Erhaltung von Strukturen zu tun haben könnte als mit der Erhaltung von vorhandenen materiellen Teilchen.”

Roger Penrose: “Schatten des Geistes”, Heidelberg 1995

inoutSite I [1998]

Bei den Instllationen des “inoutsite”-Projektes wird die Häufigkeit der Passagen von Personen auf öffentlichen Plätzen untersucht und in virtuelle Bilder und Klänge umgesetzt.
inoutsite1_01

Das sich ergebende Bild kann gesehen werden als erste Annäherung an eine virtuelle Architektur. Inoutsite I und II zeigen die Statistik des Raumes: Pfeile (grün) indizieren die Gehrichtung, Linien (hier Röhren) sind die Spuren der einzelnen Personen. Die Höhe des Netzes, das wie eine 3D Chart und luftiges Dach über dem Platz schwebt, zeigt die Gesamtverteilung der Spuren auf dem Platz. Umso niedriger das Netz, umso seltener war dort eine Person.

inoutsite1_02inoutsite1_03

fernfühler [started 2008]

Interaktive Möbel für den Öffentlichen Raum

prog_fern_zentr


Idee | InstallationKonzept | Hocker | Spiel | Autoren | Links


Idee

Fernfühler beleben den öffentlichen Raum und bringen Gestalt und Gestaltung in das Bewusstein der Öffentlichkeit. Fernfühler können auch spielen, da sie mit anderen Fernfühlern verbunden sind und diese (bzw. die Menschen, die auf ihnen sitzen) in ihrem Verhalten beeinflussen können.

Das stadtplanerische Interesse ist es, den urbanen Raum zu beleben und – anstatt eine feste Architektur der Bestuhlung öffentlicher Plätze anzubieten – bewegliche Sitzgruppen zur Verfügung zu stellen, welche miteinander kommunizieren und dabei eine optimale Verteilung der Elemente im Raum ausprobieren. Anstatt einer Planung von oben kommt hier ein “bottom up” Ansatz zum Tragen, der die Benutzer in der Gestaltungsprozess mit einbezieht.
top

Installation

Fernfühler sind frei platzierbare Sitzmöglichkeiten. Die Sitze sind modular und können zu Ensembles zusammengeschoben werden oder einzeln stehen. Sie können zu Raumteilern mutieren oder wieder einfach Sitze sein.

Zudem spüren sie, was andere Sitze machen bzw. die Menschen, die auf ihnen sitzen. Und sie können auf das reagiern, was andere tun. Sie sind robust, kostengünstig und unprätentiös. Sie mögen gerne die Gesellschaft von Menschen, denn sie bewegen sich immer in Richtung von Personen.

Sie können hören. Wenn man sie ruft, kommen sie. Sie halten sich gerne in der Nähe eines Tisches auf, in den ein Touchscreen eingelassen ist.

Alles, was die Fernfühler tun, ist auf einem grossen Touchscreen sichtbar. Dort kann man mit einer Netzstruktur spielen, über die die Fernfühler verbunden sind. Man kann die Bahnen der Hocker auf dem Platz steuern.

erklaerung_fernfuehler_n
top

Konzept

Exkurs

Ist die programmierte Kunst eine Weiterentwicklung der Konzeptkunst? Arbeiten von Dan Graham (“Poem Schema”, 1966 – 1969) oder Sol Lewitts Wall drawings legen diese Vermutug nahe. Konzepte wurden als formales System formuliert und – im Falle von Sol Lewitt – als Handlungsanweisung an einen Handwerker übergeben, der sich um die Ausführung z.B. einer Zeichnung auf einer Wand kümmerte.
Programme, die wir heute schreiben, suchen nicht den Handwerker, sie sind Interface, Dienstleistung, vielleicht sogar Vergnügen. In jedem Falle machen sich heute die Programmierenden mehr Gedanken um diejenigen, die diese Programme ausführen. So ist “software art” schlussendlich ein Ereignis zwischen Programmierer und Anwender.

Die Installation Fernfühler findet sich – ohne Absicht – nahe bei der Ästhetik Sol Lewitts “Serial Project #1” oder “Serial Project ABCD” wieder. Programmierung braucht auch heute noch streng formale Systeme, um funktionieren zu können. Dinge müssen vergleichbar sein, um dem Computer zu erlauben, Vergleiche, Unterscheidungen und Entscheidungen treffen zu können. Da die Welt des Computers noch viel viel kleiner ist als die unsere, muss man dem Computer eine vereinfachte Wirklichkeit anbieten. Sonst versteht er sie nicht.

Die Benutzung der Besucher und Passanten wird das ausgangs geordnete Erscheinungsbild der “Fernfühler” aufbrechen. Dabei können die Besucher die Objekte selbst bewegen und Lehnen ausklappen. Ihre Position können sie remote auch über eine zentrale Steuerung (mittels Touchscreen) nach eigenem Gutdünken ändern und – einem deus ex machina gleich – eingreifen; oder sie überlassen die Fernfühler sich selbst, und zwar ihrem “bottom up” – selbstordnenden, autonomen Organisationsprinzip.

Eine (nicht zu üppige) Anzahl von Fernfühlern besiedeln einen Platz.

Fernfühler sind intelligent. Es sind Möbel, die mit Rollen und einem Antrieb versehen sind. Sie können also sich eigenständig bewegen. Sie werden, sobald Menschen auf dem Platz auftauchen, sich in die Nähe der Menschen begeben, denn mit Mikrophonen horchen sie nach deren Stimmen.

Nun kann man Platz nehmen auf den Hockern, man kann Gruppen bilden oder alleine bleiben. Dadurch, dass Fernfühler vorangig dorthin gehen, wo Menschen sind, wird die Möblierung des Platzes der Struktur des Ortes entsprechen und sie verstärken. Nun könnte man sich also auf den Platz setzen und beobachten, wie die Sitze wandern, wie Menschen auf sie reagieren. Man könnte auch versuchen, mit Rufen die Sitze anzulocken. Ohne weitere Eingriffe lernen die Sitze ihren Aufenthaltsort von den Menschen auf dem Platz.

Wem es zu langweilig wird, dem automatischen Treiben der Hocker zuzuschauen, der kann auf einem in einen Tisch eingelassenen Touchscreen spielen. Auf dem Bildschirm sieht man eine Netzstruktur mit Punkten an jedem Knoten. Jeder Fernfühler auf dem Platz stellt ein Knoten dieses Netzes dar. Das Netz verbindet alle Fernfühler und legt sich gleichzeitig wie eine Haut über den Platz. Nun wird es verschiedene Möglichkeiten geben, über das Verändern der Grafik das Verhalten der Fernfühler auf dem Platz zu bestimmen.

Sinn der Installation ist es, den öffentlichen Raum für (junge) Menschen attraktiver zu machen. Mit dem Angebot der vernetzten Sitzgelegenheiten erleben sie den Platz als eine variable Stätte jenseits stabiler Architektur. Zudem können sie sich selbst als Regisseur am Touchscreen versuchen, indem sie über die Raumverteilung der Möbel das Passantenverhalten beeinflussen können.

Spielplatz als mögliche Testumgebung:
fernfuehler
top

Hocker

Die Hocker bewegen sich auf Rollen, wenn man sich auf sie setzt, stehen sie auf ihrem Rahmen, der sich federnd auf den Boden aufsetzt.

Jeder Hocker ist gleichzeitig Knoten in einem virtuellen Netz, das alle Hocker verbindet. Die Knoten des Netzes sind “Neuronen”, sie lernen von Signalen, die die Hocker sozusagen empfangen. Hier sind die Geräusche und die Benutzung (Sitzen) der Hocker die Signale, die das neuronale Netz füttert. Leuchtdioden im Inneren der Hocker zeigen den Erregungszustand des Hockers im neuronalen Netz an (farbiges oder weisses Licht).

montage4

led_quer

Jeder Hocker hat einen Controller, an welchen ein Microphon und ein Drucksensor angebunden ist. Der Drucksensor vermeldet, ob jemand auf dem Hocker sitzt, das Microphon nimmt Umgebungsgeräusche, gefiltert auf menschliche Stimmen wahr. Melden diese Sensoren Aktivität, so “lernt” der Hocker diese Position als “positiv”. Das Netzwerk (eine emergente Selbst-Organisierenden Merkmalskarte, “ESOM”) seinerseits verbindet alle Hocker und somit alle Aktivitäten des Platzes miteinander. Dafür hat jeder Controller ein Funkmodul, mit welchem es seinen Zustand an andere Hocker schicken kann. Jeder Hocker, der sehr aktiv ist, zieht andere Hocker in seine Nähe. So herrscht eine stete Bewegung auf dem Platz mit der Tendenz der Verdichtung an Orten, die von Besuchern bevorzugt werden.

Prototyp eines Fahrgestells aus Akkuschraubern mit drei Rädern und LED’s zur Anzeige der Funktion im neuronalen Netz:
mitled_f

Die gewählte Form des neuronalen Netzes (Kohonenkarte) hat die Tendenz, sich an Stellen hoher Aktivität zu verdichten. Durch eine Art “Spiel” wird innerhalb der “SOM” eine räumlich zirkulierende Aktivität erzeugt, die die Energien in einem abgeschlossenen Raum (hier der öffentliche Platz) verteilt.
top

Das Spiel

Betritt ein Besucher den Ausstellungsbereich, so wird er benachrichtigt, dass er sich im
Einzugsbereich der Fernfühler befindet und eine Software zum Download bereit steht.
Über diese Software kann sich der Besucher mit dem Spiel verbinden und bekommt ein
Bild auf den PDA, welches den Ort der Fernfühler repräsentiert und ermöglicht, sie mit
Impulsen zu stimulieren.
Man kann über das Berühren der Bildschirmfläche die Hockerlandschaft in mehrfacher
Weise beeinflussen:

  1. Man stimuliert das neuronale Netzes durch Berühren der Knoten. Hierüber erlernen die Spieler das Funktionieren von selbstlernenden Systemen (sie regeln langsam nach, reagieren nicht sofort, haben Nachbarschaftsregeln). Sie erleben sich selbst, sitzend auf den Hockern, als Teil einen Netzwerkes.
  2. Man kann Hocker direkt plazieren, indem man Knoten des Netzes (virtuell) herausnimmt und woanders hinsetzt. Dadurch bricht die Struktur des Netzes auf und bedingt ein Nachregeln, wobei deutlich wird, daß Eingriffe von aussen nur temporäre „Störungen“ sind und langfristig die Ortsstruktur und die Gewohnheiten der Passanten die Oberhand „gewinnen“.
  3. Man kann das System in seinen Ursprungszustand zurückversetzen (reset) und bringt die Knoten/Hocker an ihre ursprüngliche Position zurück. Die Hocker bewegen sich dann so lange, bis sie gleichmässig über den Platz verteilt sind

prototyp

Variantionen der Raumordnung:
prog_fern06
logik

Autoren:

Ursula Damm und Matthias Weber (Dipl. Informatiker)

Links: