2023 | Interactive Installation
共感覚（Synaesthesia）は、2023年11月に東京で初公開されたインタラクティブなオーディオ＆ビジュアルインスタレーションです。TouchDesignerとVCV Rackを用いて制作され、ジェネレーティブ（生成系アート）の音楽と映像が互いに影響を与え合いながら再生されます。
EarthQuaker Devicesの皆さん、この作品を形にする機会をいただきありがとうございました。
共感覚とは、音を聞くと色が見えたり、言葉を聞くと形や映像が浮かんだりするなど、ある感覚が別の感覚を無意識に引き起こす現象のことです。
あなたの動作や演奏が音楽や映像に直接影響を与え、変化を生み出します。音楽と映像はリアルタイムで生成されるため、同じ体験が二度と繰り返されることはありません。
このイラストは、Synaesthesia において動きが音とビジュアルにどのように影響を与えるかを示しています。動きが検出されると：
1. サウンド：各動きがイベントとしてカウントされ、そのイベントがメロディーの音をトリガーし、リアルタイムでリズムを形成します。
2. ビジュアル：現在のフレームと前のフレームの差分を解析し、その差分から生成されたパーティクルが浮遊し、動きの軌跡を描きます。
ユーザーは、自分の動きが音とビジュアルに直接影響を与える様子を目にし、音と映像が調和する没入型の体験を楽しむことができます。
このイラストは、Synaesthesiaにおける音響入力とビジュアルコントロールの仕組みを表しています。ユーザーの動きから楽器演奏まで、多様なインタラクションがそれぞれ異なる没入感を提供します。たとえば、ユーザーの動きはメロディを生成し、システム内のVCV Rackはビートを作り出します。このビートは映像のコントラストに影響を与えます。さらに、インスタレーションに設置されたギターを弾くと、映像の色やパーティクルのサイズが変化します。加えて、ギターペダル（エフェクター）を操作することで、映像のグリッチレベルやパーティクルのスピードを変えることもできます。
