HAWK Hildesheim Wintersemester 2008/2009 Physical Interaction Design

Roboter aus Spanien

Ganz oben auf der Seite:

evilmadscience.com

Naja, am “Display” arbeiten wir wohl nochmal. Gibt aber wohl schon Spiele dafür…

Nachdem mein Experiment mit dem „Musik-Zeichnen“ sich schnell als Schnapsidee herausgestellt hat, habe ich weiter überlegt und meinen ursprünglichen Gedanken, Bilder zu vertonen wieder aufgenommen.

Bei unbewegten Bildern könnte man beispielsweise das ganze Bild auf Grauwerte oder SW herunterbrechen und das in Frequenzen umwandeln. Allerdings gibt es sowas für Standbilder schon

Aphex Twin: Equation (interessanteste Stelle ab 5:30)

…mehr dazu

Was ich aber noch nicht gefunden habe, ist, Bewegtbild in Sound umzuwandeln. Wenn man beispielsweise eine Straße entlangfährt und in Richtung Horizont filmt, verändert sich das Bild je fließend. Man könnte nun die Unterschiede zwischen dem gerade vergangenen Bild und dem aktuellen vertonen, so dass das ganze nicht in einem einzigen Matsch (wie bei meiner anderen Sound-Idee) endet. Hier mal zwei Bilder, die das hoffentlich veranschaulichen.

Die erste Sequenz ist das Original, in der zweiten sind nur die Unterschiede zwischen den Bildern sichtbar.

Videosequenz

Unterschiede zwischen den Frames

Klar, Krach wird das wahrscheinlich erstmal immer noch, man muss halt schon bei der Entwicklung irgendwie gestalterisch eingreifen.

Inspiriert von der Kindheit: Ihr erinnert Euch sicher an die Tiere, die man aus Kastanien, Eicheln etc. basteln konnte. Daher kam die Idee, einzelne Module herzustellen, aus denen virtuell etwas neues entsteht, je nachdem, wie sie zusammengesteckt werden.

Stefan und ich haben von dieser Grundidee in zwei entgegen gesetzte Richtungen gedacht, einerseits sehr angewandt, andererseits sehr frei:

Idee 1: Chemiebaukasten

Der Chemie-Unterricht wird endlich auch auf der Molekül- und Atom-Ebene greifbar. Verschiedene Module repräsentieren Atome und Moleküle. Werden sie in der Realität miteinander verbunden, reagieren sie auch virtuell miteinander. Durch freie Zoom- und Kamera-Steuerung bekommt man detaillierte Einsichten in den chemischen Aufbau unserer Umwelt.

Idee 2: Fremde Wesen

Die Kastanien-Männchen werden virtuell: steckt man in der Realität nur ein paar Module zusammen, erwachen sie auf dem Screen zum Leben und formen seltsame Figuren, abhängig von den benutzten Bauteilen. Während man in der “realen” Welt nur ein paar Kugeln in den Händen hält, können daraus virtuell phantasievolle Auswüchse aller Art werden, eventuell sogar mit einem eigenen “Verhalten” ausgestattet.

Über die Realisierung haben wir erstmal noch nicht so viel nachgedacht. Wie erkennt ein Element, ob und wo es mit einem anderen verbunden ist. Haben alle ein Board, oder einfach einen RFID-Sender? Bietet sich bei der Programmierung Processing an, wegen der besseren Fähigkeiten im 3D-Bereich? Fragen über Fragen…

“the new member of the family”:

…als Idee ja hübsch, aber eigentlich total gruselig.

Mal eine Idee mit LEDs, ausgehend von traditionellen Windspielen: Dort hängen ja mehrere Klangkörper an Schnüren, ein “Klöppel” wird durch Wind bewegt und stößt gegen die Klangrohre (siehe Bild unten).

Nun könnte man die Klangrohre durch “Leuchteinheiten” ersetzen (zB. Schläuche mit mehreren Leuchten). Wenn der Auslöser also so eine Einheit berührt, leuchten die LEDs darin. Je nachdem, wie viele Einheiten angeschlagen werden, könnte man verschiedene Leuchtmuster abrufen oder einfach die Intensität des Lichts variieren.

Zu realisieren wäre das vielleicht mit einem zentralen Board und je einem Tilt-Sensor pro Leuchteinheit/Schlauch…

traditionelles Windspiel aus Bali

Ich hatte eben eine Idee für ein Spiel, bei dem man Aktionen triggert, indem man seinen Controller wirft (und wieder auffängt ) Neben dem Wurf werden auch die Drehungen des Controllers übertragen.

Beispiel für ein 2-Player-Gameplay
Auf jeder Seite ist ein Spieler-Avatar. Wirft ein Spieler sein Gerät nach oben, feuert es in die Richtung des Gegners. Macht man noch einen „Flip“ oder gar mehrere kombinierte Drehungen, ist der Schuss extra stark oä. Abwehren könnte man auch, zB. durch querhalten des Geräts.

Das ganze würde sich natürlich für die Wiimote oder mrmr anbieten (ich weiß, niemand wirft gern sein iPhone durch die Gegend, aber das Konzept stell mir ganz lustig vor…)

Ich hab vor ein paar Jahren mal Fotos gemacht, auf denen mit Licht gezeichnet wurde. (hat Picasso auch schon gemacht, hehe) Irgendwie ist mir das wieder eingefallen, und ich hab überlegt, ob man da nicht irgendwas draus machen kann.

Da ich endlich mal was cooles mit Sound machen will, kam mir folgende Idee: man setzt eine Zeichnung in Klang um. Klingt erstmal ziemlich esoterisch, aber ich glaube es könnte funktionieren, beispielsweise mit der Wiimote.

Der User zeichnet zweidimensional im Raum, wie auf einer unsichtbaren Leinwand. Die x- und y-Koordinaten der Wiimote werden übersetzt in ein anderes Ton-„Koordinatensystem“: die y-Achse wäre die Tonhöhe, die x-Achse eine Art Zeitleiste. Es wird immer der Ton an der Position abgespielt, an der sich der User befindet, der Tonkopf läuft nicht automatisch weiter. Alle gespielten Töne werden mit ihren Positionen gespeichert.
Der Clou ist, das man beim Zeichnen ja auch an Stellen zurück kann, wo schon etwas steht. Der Abspielknopf folgt dann zurück, und spielt den alten Ton sowie den neuen gleichzeitig ab. So entstehen nach und nach verschiedene Lagen von Tönen.

Man kann das ganze noch verfeinern, so dass die alten Striche mit der Zeit „verblassen“ (alte Töne werden leiser). Oder, dass man nur zeichnet, wenn der A-Knopf gedrückt wird, so dass man die Wiimote auch „absetzen“ kann

Ich hoffe, ich konnte das einigermaßen verständlich erklären. Hier noch eine Visualierung der Idee:

Musik zeichnen

Elektrostimulation nach Musik

lustig, krank.