Umstellung von EyesWeb auf MaxMSP

Posted in: Motion Tracking- Jul 27, 2010 No Comments

In den letzten Tagen habe ich mich erneut mit dem Modul für Motion tracking beschäftigen müssen – nämlich die Umstellung der Anwendung auf MaxMSP, da ich feststellen musste, dass Eyesweb (zuständig für das Tracking) in bestimmten Zeitabschnitten hängen bleibt. Ich konnte das Problem nicht genau lokalisieren, da ich keine Fehlermeldungen bekam. Außerdem nimmt Eyesweb viel Rechnerperformance in Anspruch, so dass sich die Processing-Anwendung verlangsamte. Ein weiterer Vorteil der Umstellung ist, dass beide Anwendungen, MaxMSP und Processing auf demselben Betriebssytem laufen (MAC). Da Eyesweb nur für Windows verfügbar ist, war ich gezwungen entweder zwei Rechner zu betreiben oder in Windows zu arbeiten.

Lichtquelle und Bewegungsdynamik: Teil 2

Posted in: Live Test, Tanz- Jul 19, 2010 No Comments
Die beiden Einsätze vom 12.Jul wurden etwas optimiert: die Helligkeit der Flächen sowie die Reaktionszeiten wurden überarbeitet. Die Ergebnisse haben wir heute mit Johannes und Susanne getestet.







Lichtquelle und Bewegungsdynamik

Posted in: Live Test, Tanz- Jul 12, 2010 No Comments
Heute wurde die Installation mit Rudi und Natali getestet. Ich habe zwei neue Ansätze entwickelt, die zum einen die einzelnem Parameter wie Tempo, Beschleunigung und Bewegungsmenge, zum anderen die Dynamik der Bewegungsbahn auf der Tanzfläche visualisieren.



1. EINSATZ: Die universelle Lichtquelle
Bei diesem Einsatz werden sechs Hauptparameter des Tanzes extrahiert: Tempo, Beschleunigung, Directness Index (Geradlinigkeit der Bewegung), Bewegungsgröße/Gesamtkörper, Bewegungsgröße der Körperteile und Translational Motion Index (steht für die Verzierungen). Die einzelnen Parameter werden als Kreise dargestellt, die eine pulsierende Lichtquelle bilden.

2.EINSATZ: Dynamik der Bewegung
Die Tänzer werden von einer Schleife begleitet, die die Belegung der Tanzfläche, Impulsivität und die Dynamik der Translationsbewegung visualisiert. Mit Richtungswechsel und Schwung beschleunigen die Schleife, das Momentum beeinflusst die Breite der Schleife.




Die Versuche haben gezeigt, dass die Lichtquelle heller sein muss. Durch den leeren inneren Raum im Kreis geht viel Licht verloren und die Wirkung der Visualisierung ist teilweise noch sehr schwach.

Aufnahmen während des Unterrichtes

Posted in: Infrarot, Tanz- Jun 25, 2010 No Comments

Heute durfte ich wieder die Installation während des Tanzunterrichtes aufbauen und IR-Aufnahmen für Simulationszwecke machen. Einer nach dem anderen sind die Teilnehmer des Kurses in den Sichtbereich der Kamera gekommen. Als Ergebnis habe ich eine vielfältige Sammlung an Tanzsequenzen in diversen Geschwindigkeiten und Stilen erhalten. Tolles Material um meine Anwendung auf diverse Aspekte zu testen.

Visualisierung Lichtimpuls

Posted in: Processing, Visualisierung- Jun 20, 2010 No Comments

Dieses Werkzeug visualisiert die Basisparameter des Tanzes: Tempo, Beschleunigung, Directness Index (DI – Geradlinigkeit der Bewegung), Bewegungsgröße (Gesamtkörper), Bewegungsgröße der Körperteile und Translational Motion Index (TMI – steht für die Verzierungen). Die Parameter werden als sanfte Lichtimpulse dargestellt. Insgesamt bilden diese Impulse eine neue Lichtquelle und beeinflussen das Lichtambiente des Raums. Es besteht die Möglichkeit die Lichtimpulse in einer Matrix oder zentriert zu beobachten.

Einige Parameter, wie Motion Quantity, Velocity und Acceleration beeinflussen die Größe sowie die Helligkeit des Lichtes, TMI bestimmt die Exzentrizität der Kreise (visualisiert die Verzierungen im Tanz), und DI definiert die Detailstufe der Kreise, d.h. je gerade die Bewegung verläuft, desto ebener und runder ist das Licht.









Visualisierung der Sequenzen

Posted in: Processing, Visualisierung- Jun 20, 2010 No Comments

Ich habe eine Anwendung entwickelt, die die Sequenzen im Tanz erkennt und visualisiert. Aus dem Tanz werden sechs Hauptparameter des Tanzes extrahiert: Tempo, Beschleunigung, Directness Index (Geradlinigkeit der Trajektorie), Bewegungsgröße/ Gesamtkörper, Bewegungsgröße der Körperteile und Translational Motion Index (steht für die Verzierungen). Basierend auf Beschleunigung und Bewegungsgrößen werden Anfang und Ende einer Sequenzen erkannt. Die aktuelle Sequenz wird in Form eines Kreisdiagramms dargestellt. Je länger die Sequenz, desto dichter wird der Kreis, da jeder einzelner Strahl die sechs Parameterwerte in Echtzeit darstellt. Die Visualisierung der Parameter kann einzeln aktiviert werden, so dass man bestimmte Parameter einzeln oder im Zusammenhang mit anderen beobachten kann.

Visualisierungen mit Processing

Posted in: Processing, Visualisierung- Jun 19, 2010 No Comments
Schleife v1

Die Bewegungen des Tanzpaars wird als eine Doppelschleife dargestellt, die  kontinuierlich auf der Tänzerposition entsteht und in die Tiefe verschwindet. Die Breite der Schleife wird durch deren Geschwindigkeit und Beschleunigung beeinflusst. Den Abstand zwischen den einzelnen Schleifen definiert der Parameter Blob Contraction. Die Verzierungen im Tanz werden als kleine Kreise dargestellt. Diese entstehen bei einem bestimmten Verhältnis zwischen Motion Quantity und Speed.


top

Lichtschatten

Hier wird das Tanzpaar von einer Lichtformation verfolgt. Diese bewegt sich entlang der Bewegungen und “imitiert” zeitlich versetzt den Tanzfluss. Während der Bewegung entstehen Lichtpartikel, die sich in den Pausen zwischen den einzelnen Sequenzen verdichten und Formen bilden. Die Größe der Form wird von der momentanen Beschleunigung und Geschwindigkeit der Bewegung definiert. Bei dieser Visualisierung ist es wichtig klare Pausen zu machen – eine expressive Ausdrucksform im Tango.

top

Proben mit Tänzern

Posted in: Live Test, Tanz, Visualisierung- Jun 18, 2010 No Comments
Ich durfte heute die Installation während des Tanzunterrichts aufbauen. Dafür habe ich einige Visualisierungen vorbereitet und mit bestimmten Bewegungsparametern verbunden, so dass ich im Hintergrund sowohl die Werte des Tracking, als auch die ersten Visualisierungen des Tanzes beobachten konnte.

Aus den Bewegungen wurden in Eyesweb die primären Parameter extrahiert: Position des Tanzpaars (x,y), Geschwindigkeit (speed), Beschleunigung (acc), Motion Quantity und Blob Contraction. Diese Werte werden mittels OSC-Protokolls an Processing gesendet. In Processing wird die Bewegung der Tänzer in Echtzeit visualisiert, dabei beeinflussen die extrahierten Werte die Echtzeit-Darstellung.

Visualisierung Schleife:

die Bewegung des Tanzpaars wird als eine Doppelschleife dargestellt, die kontinuierlich auf der Tänzerposition entsteht und in die Tiefe verschwindet. Die Breite der Schleifen werden durch Geschwindigkeit und Beschleunigung des Tanzes beeinflusst. Den Abstand zwischen den einzelnen Schleifen definiert der Parameter Blob Contraction. Die Verzierungen im Tanz werden als kleine Kreise dargestellt. Diese entstehen bei einem bestimmten Verhältnis zwischen MotionQuantity und Speed.

Visualisierung Lichtschatten:

hier wird der Bewegungsfluss des Tanzpaars von einer Lichtformation verfolgt. Diese “wiederholt” zeitlich versetzt den Tanz. Während der Bewegung entstehen Lichtpartikel, die sich in den Pausen zwischen den einzelnen Sequenzen verdichten und Formen bilden. Die Größe der Form wird durch die momentane Beschleunigung und Geschwindigkeit der Bewegung definiert. Bei dieser Visualisierung ist es wichtig klare Pausen zu machen – Im Tango sind Pausen ein stilistisches Mittel des expressivenAusdrucks.

Visualisierung Lichtschatten:

Ich habe mit den Tänzern die alternativen Optionen der Beamerprojektion besprochen – Boden, Wand oder Decke? Die Proben heute haben erwiesen, dass die Bodenprojektion zwar den Vorteil hat eine direkte Verbindung zum Tanzpaar zu haben, ist aber inkonsistent mit dem Grundprinzip des Tanzes – die Körperachse des Tanzpaars würde sich beim Ansehen der Visualisierung verschieben und die notwendige stabile Körperhaltung verloren gehen. Sie können also nicht die eigene “Kreation” direkt beobachten und manipulieren. Eine Decken- oder Wandprojektion wäre daher eine bessere Alternative.

Der erste Aufbau in der Halle

Posted in: Live Test, Motion Tracking- Jun 10, 2010 No Comments
Heute wurde die Installation zum ersten mal in der realen Umgebung aufgebaut. Das Ziel ist alle Geräte und Systeme zu synchronisieren und optimale Einstellungen für die Installation in der Halle zu finden.

Die Kamera und der Beamer wurden auf einem Stativ befestigt, das eine maximale Höhe von bis zu 4,5 m hat. Als erstes wurden die beiden Geräte unter einem bestimmten Winkel so synchronisiert, dass sie fast die gleiche Fläche erfassen bzw. projizieren. Dann wurde das Tracking bei diversen Lichtverhältnissen und Positionen/Winkel der Kamera getestet, so dass eine stabile und präzise Objektverfolgung erreicht wurde. Anders als in meinen Versuchen zu hause, habe ich festgestellt, dass hier keine farbigen Folien auf den Leuchten notwendig sind. Die vorhandenen Bühnenleuchten wurden auf ca. 30% gedimmt und gaben genügend Wärme für das IR-Tracking ab.

Der Schatten verdeckt den größten Teil des Bildes.

Weiterhin habe ich den Schatten beobachtet, den die Person im Lichtkegel des Beamers erzeugte. Ich musste leider feststellen, dass der Schatten oftmals mehr als ein Drittel der gesamten Projektionsfläche verdeckte. Ich versuchte alternative Projektionsmöglichkeiten, um den Schatten zu reduzieren oder zu vermeiden: ich variierte den Winkel und die Position des Beamers und testete Projektionen auf Boden, auf Decke und Rückwand. Trotz meiner Versuche konnte ich bei der Bodenprojektion keine signifikante Verbesserungen erreichen – der Schatten war zu präsent. Bei der Projektion auf die Decke wurde die Verbindung zwischen der Person und der Projektion schwächer – der Zusammenhang war schlechter nachzuvollziehen. Die Projektion auf der Rückwand entsprach zwar nicht meinem ursprünglichen Konzept, war aber viel versprechend. Zum einem kann der Schatten komplett vermieden werden, zum anderen ist keine Synchronisation der Beamer-Kamera Flächen notwendig, d.h. die Geräte werden einzeln eingestellt und größere Flächen können erfasst bzw. bespielt werden.

Motion Tracking

Posted in: Motion Tracking- Jun 08, 2010 No Comments
Beim Probeaufbau zu hause werden diverse Lichtsituationen getestet und die Bewegungen der Tänzer simuliert. Als erstes soll das Objekt erkannt (Blob) und dauerhaft verfolgt (Blob tracking) werden. Darauf basierend werden einige Basisparameter der Bewegung beobachtet und analysiert.
Infrarot-Tracking

Um ein stabiles Blob-Tracking zu erreichen werden die Objekte im Infrarot Modus als Wärmeschatten erfasst. Das hat mehrere Vorteile: zu einem können die Tänzer in ihrer natürlichen Lichtumgebung verfolgt werden, die oftmals schwach beleuchtet ist. Zu anderem wird das Tracking von der Bekleidung der Tänzer nicht beeinflusst. Der Tracking-Bereich muss nur mit genügend IR-Licht befühlt werden.

Um das Tracking zu verbessern, habe ich versucht sehr viel IR-Licht zu erzeugen: eine Lichtquelle wurde mit speziellen blauen und roten Folien abgedeckt (jede Folie filtert einen bestimmten Wellenlängenbereich), so dass fast kein sichtbares Licht durchkommt. Im Endeffekt wird nur Wärme/IR produziert, die das Tracking unterstützt. Die Kamera wiederum ist mit einem IR-Filter ausgerüstet, der fast kein sichtbares Licht durchlässt. Diese Option ist wichtig, um das Tracking der generierten Lichtflächen auszuschließen – die Kamera “sieht” keine Beamerprojektion.

Eine gewöhnliche Lichtquelle wird zu IR-Lampe

Jede der Folien blockiert eine bestimmte Wellenlänge

Die beiden Folien blockieren fast das gesamte sichtbare Licht.

Das Beobachten der Rotation eines Objekts.

Einfache Visualisierung der Bewegung

Die Beamerprojektion ist für die Kamera “unsichtbar”.

Blob Tracking

Auf der Eyesweb Software Plattform wird die Infrarot-Aufnahme in Echtzeit analysiert. Mit Hilfe der “Background Subtraction” Technik wird das bewegte Objekt (Blob) erkannt und verfolgt. Es wurden einzelne Patches vorbereitet, um die Grundeigenschaften der Bewegung zu beobachten, z.B. Rotation, Bewegung-Pause, Beschleunigung, aktuelle Geschwindigkeit, Blob Contraction, Motion Quantity usw. Diese sollen später in Tango-relevanten Bewegungsanalysen verwendet werden.