Project DAFTY

Dafty Live System α

モーションを音と映像へ反映するライブシステム（αバージョン）

https://www.youtube.com/playlist?list=PLXYYxTi9FpNkGoFdG_RhjYdNljoY-Gqui

Funny Village ライブ時のシステム構成

PC B（Mac)Max / MSP

N.O.R.K國本玲さん開発

Kinect V1 SensorKORG

Kaossilator Pro+

PC A（Windows)Unity Application

SystemFriendNUI Framework

Unity MIDI bridge

Kinectでセンスした腕の動きをMIDIコマンドに変換してカオシレーターのタッチパッドをリモートコントロール。Kinectでセンスした人物のDepth映像にシェーダーで効果をつけつつ表示。PC Bでは入力されたビートアタック音をMax/MSPでオーディオ信号→映像エフェクトへ変換。SF NUI FWはKinectV1、V2を透過的に扱えるSystemFriend社内ライブラリ。KinectV2をUnity Freeでも使える。Unity MIDI bridgeはこちら。 http://keijiro.github.io/posts/unity_midi_bridge/

DJ

Beat! Beat!

Video Mixer

PA

Screen

Speaker

演奏空間

Front Side

Upper Touch Pad (SE1)

Side Touch Pad (SE2) Side Touch Pad (SE2)

Front Touch Pad

Front Touch Pad

Note OFF Note ON

演奏空間

Side

DEMO

演奏空間

Side

Funny Village ライブの裏側

22：00

DAFTYリハーサル開始機材設置が押して時間がない。緊迫した中取り乱すことなく冷静にリハを進めるDAFTY。KINECTパートの動作確認はすんなりOK。

しかし致命的な不具合が発覚。VJに映し出される映像が観客からみると左右反転している。これまではPCの画面に対して演者が向いてショーを行ていたが、本番では映像に背を向けて演ずるので。

演奏空間

Side

Funny Village ライブの裏側

23:00

現場リカバリー開始。ハードウェア的にVJのミキサーで映像の左右反転ができないか確認→それは不可能WindowsのOS機能やその他ソフトウェアに左右反転ができないか→機能がないまたはパフォーマンス的に無理そう

Unityのカメラのプロジェクション設定で左右反転→トライいけるはずなのにしかしこの方法はなぜかうまくいかず原因がわからない落ち着いてかかれば原因がわかるかもしれないがこの作業環境で時間が差し迫っ

ている状況では難しい。

ここでviviさんお弁当差し入れ（地獄に仏とはこのこと）

演奏空間

Side

Funny Village ライブの裏側

23:00

現場リカバリー開始。ハードウェア的にVJのミキサーで映像の左右反転ができないか確認→それは不可能WindowsのOS機能やその他ソフトウェアに左右反転ができないか→機能がないまたはパフォーマンス的に無理そう

Unityのカメラのプロジェクション設定で左右反転→トライいけるはずなのにしかしこの方法はなぜかうまくいかず原因がわからない落ち着いてかかれば原因がわかるかもしれないがこの作業環境で時間が差し迫っ

ている状況では難しい。

ここでviviさんお弁当差し入れ（地獄に仏とはこのこと）ライブ開発ルーム

演奏空間

Side

Funny Village ライブの裏側

24:00

Fanny Village開演爆音のなるメインスピーカー裏のステージ袖、とても狭い空間で武内さん（巨体）が床に座ってプログラミング実施

Unity Pro限定のシェーダーをかけることで左右反転に成功（武内さんMacにて）

Kinect用WindowsPCにはUnity Freeしかはいっていない→急きょProのトライアルライセンスを取得して対応（会場e-mobileの電波入りにくくてかなり時間を食う。精神的によくないｗ）

exe書き出し→トライアルなので右下に「TRIAL」の文字が強制的に表示されてしまう！！！

演奏空間

Side

Funny Village ライブの裏側

25:00

弊社の社内PCでUnity PROのライセンスを使っていたので社内PCにリモートログイン→リモートデスクトップでなぜかUnityのメニューが開けずライセンスの開放ができない→最終手段。武内さんPCのUnity Proライセンスを解放→一時的にライセンスを借用→exe書き出し→なぜかexe起動してもうまく動かない（Unityはライセンス変更するとそれまで動いていたプロジェクトがうまく動かないことがあるよう）→もう本番まで時間がない。プレビュー画面では動くのプレビュー画面をスクリーンいっぱいに広げて本番へ利用する強硬策発動しかしウィンドウ枠が表示されてしまう

→映像ミキサーの設定で画面を少し拡大して画面枠をはみ出させて表示してもらえるよう國本さんに特急対応してもらったここで26:00 本番直前

演奏空間

Side

Funny Village ライブの裏側

26:00

最後の難関、デバッグのためステージ脇に持ち込んでいたセンサー、これをアプリを起動したままDAFTYのステージが始まるときにステージセンターまでもっていく必要がある

→床をはいつくばって持ち出すときにUSBケーブルや電源ケーブルがからまらないようにもつれを解いていった。

ケーブルをさわるとあれでもセンサーとPCの接続が切れてしまってアプリが止まると大打撃。爆弾を解体するような精神力が必要とされた。

演奏空間

Side

Funny Village ライブの裏側

26:20

DAFTYステージスタート武内さんにセンサーを運んでもらう（１回目）→設置位置は良かったが微妙にセンサー自体がななめを向いている武内さんにセンサーの向きを調整してもらう（２回目）→もうちょっと微妙に位置調整がいりそう武内さんにセンサーの向きを調整してもらう（３回目） これで代替行けそうな雰囲気。ただし確信はないｗ→TMCNで2足歩行のキネクトセンサースタンド作りませんか？

→TMCNで2足歩行のキネクトセンサースタンド作りませんか？

演奏空間

Side

Funny Village ライブの裏側

26:50

KINECTショー開始viviさんがステージ中央に立つ、、、、しっかりセンサー中央にとらえた。ステージ脇で武内さんとハイタッチ。センサーもシステムも動作しているがふと会場の巨大スクリーンを見るとノイズが乗ったような表示なっていて焦る→おそらくミキサー設定とPA卓設定がずれたためか？でもなんか結果的にカッコイイエフェクトになっていたので幸運の神の降臨をマジ感じた。マジリスペクト。

演奏空間

Side

これからのProject DAFTY

あらゆる現場の最悪を乗り越えて、大きなステージで実績を残すことができました。

• まず打ち上げが来週ありますｗ• 「新しい楽器を創る」このテーマをさらに追求します。• 新曲の制作とリンクしたプロモーション映像作品の制作が始まろうとしています。

これからも応援してください！