Gebärdensprache für Gehörlose. Bildquelle: windowscentral.com
Für Gehörlose ist Musik eine Erfahrung, die sich stark von der von hörenden Menschen unterscheidet. Sie fühlen Klang durch den Körper, ihr Tast- & Sehsinn ist anders ausgeprägt.
In einer Untersuchung fanden Wissenschaftler heraus, dass Gehörlose Vibrationen in jenem Teil des Gehirns wahrnehmen, der bei anderen Menschen zum Verarbeiten von Klängen und Geräuschen genutzt wird.
Teilweise helfen sich Gehörlose auch mit Luftballons, die sie als Resonanzkörper vor Lautsprecherboxen halten, um die Schallwellen spürbarer zu machen. Die dünne Haut des Ballons hilft dabei, die Schwingungen der Musik besser fühlen und sehen zu können und anhand dieser Empfindungen etwas über ihren Rhythmus zu erfahren. Über den Boden oder ihren Bauch nehmen Menschen mit Hörbehinderungen sämtliche sie umgebende Schwingungen ohnehin auf sehr subtile Art und Weise wahr. Musik ist also auch für sie erlebbar.
Hörgeräte können zweifelsfrei die Lebensqualität steigern, sind aber mit großen Einschränkungen verbunden: Es lassen sich häufig nur tiefe Frequenzen erfahren. Klänge fusionieren zu einem regelrechten Sound-Brei.
Könnte haptisches Feedback Gehörlosen dabei helfen, diese Einschränkungen abzumildern?
Haptisches Feedback und VR
Haptische-Feedback-Technologie kommt schon heute in unserem Alltag regelmäßig zum Einsatz – zum Beispiel in Form vibrierender Mobiltelefone bei Berührung des Touch-Displays: Uns wird eine Berührung mit physischen Tasten vorgegaukelt, denn wir bedienen uns ja auch in der realen Welt haptischer Wahrnehmung. So wissen wir etwa beim Greifen genau, wann unser Griff fest genug ist, damit die Tasche beim anschließenden Hochheben nicht sofort wieder aus unseren Händen rutscht.
Im Rahmen von VR-Anwendungen kann haptisches Feedback die Immersion deutlich steigern.
Ein Beispiel für Kraftrückkopplung, die über eine einfache Vibration herkömmlicher Eingabegeräte hinausgehen, sind beispielsweise die VR-Erfahrungen „The Turning Forest“ und „Tree“: Nutzer erleben z.B. die Rodung des Regenwaldes als immersive Sound-Erfahrung, indem massives Rattern und bedrohliches Vibrieren direkten Eingang in die Körperempfindungen bekommen.
Tree VR-Installation. Bildquelle: qianyedan.com
Zur Erzeugung eines vibrotaktilen Feedbacks („taktile“ Wahrnehmung erfolgt über die Haut und deren Rezeptoren, während die Vibration als Reiz fungiert) wird ein Interface (Kommunikationsschnittstelle, hier zwischen Mensch und Maschine) mit verschiedenen Vibrationselementen (sog. Aktuatoren) ausgestattet, die in einem Rucksack (Anzug, Handschuh etc.) verbaut sind. Diese Aktuatoren üben nun Druck auf bestimmte Hautrezeptoren aus: unsere Haut kann dadurch Geräusche fühlen.
Mit Entwicklungen wie dem SubPac werden Schallwellen direkt auf den Körper des Nutzers übertragen.
Umschnallen und los
Die Intention der Entwickler von SubPac war es, eine zutiefst inklusive Technologie für Gehörlose zu schaffen.
Diesen Umstand haben sich auch andere Unternehmen wie Not Impossible Lab genauer angeschaut. Bei deren Tool legen sich die Klänge über verschiedene Bänder, die an bestimmten Körperbereichen angebracht sind und entsprechend der gespielten Instrumente für eine differenzierte Wahrnehmung in den verschiedenen Körperzonen sorgen.
Bei der Entwicklung wurde natürlich mit gehörlosen Menschen zusammengearbeitet.
„Not Impossible Lab“ war auch schon vor rund zehn Jahren an der Entwicklung von EyeWriter beteiligt, das gelähmten Künstlern das Zeichnen mittels Eyetracking ermöglichte und 2011 im MoMA NewYork als Teil einer Ausstellung zum Thema Kommunikationsdesign & Innovative Technologien gezeigt wurde. Derzeit arbeitet das Unternehmen an Touch-Feedback-Technologien für motorische Einschränkungen.
Sinfonien im Soundshirt
Weitere Entwicklungen auf diesem Gebiet umfassen auch ein Soundshirt, mit dem Nutzer anhand von eingenähten Sensoren Musik auf ihrer Haut spüren können. Entwickelt wurde die Anwendung von den Jungen Hamburger Symphonikern.
In Echtzeit übersetzen hier die Aktuatoren Klang in entsprechende taktile Bewegungen – jedes Musikstück ist ein einzigartiges Erlebnis. Die Nuancen sind für gehörlose Menschen nun besser spür-und erfahrbar.
Mikrofone fangen den Ton der unterschiedlichen Instrumente ein und eine spezielle Software sendet den Sound in abstrakten Daten an das Soundshirt. Leuchtdioden und vibrotaktile Sensoriken reagieren entsprechend auf die Intensität der Musik.
Vorteilhafterweise kann das Soundshirt auch Klangerlebnisse unter viel Publikum erfassen. Die Sensoren werden einfach auf eine bestimmte Entfernung eingestellt, um die entsprechenden Signale störungsfrei empfangen zu können.
Durch die Nutzung von haptischem Feedback können Erfahrungen geschaffen werden, die noch mehr Sinne ansprechen, als es konventionelle VR-Anwendungen tun – ein riesiges Potential, wenn es um die Steigerung der Immersion und die damit verbundene emotionale Bindung zum virtuellen Geschehen geht. Wir haben uns auf die Produktion von derart immersiven Inhalten spezialisiert. Neugierig? Dann freuen wir uns darauf, von Ihnen zu hören:
HIER KLICKEN FÜR IHR VR-PROJEKT
Bildrechte Titelbild: © svetazi – Adobe Stock