皆さんこんにちは！
プロジェクションマッピング協会の北本です。
今回は、最近知った「TouchDesigner × MediaPipe」について紹介したいと思います。
最近、TouchDesignerを使った作品やSNSの投稿を見ている中で、「MediaPipe（メディアパイプ）」という名前を目にする機会が増えました。
センサーではなく、カメラの前で手を動かすと映像が反応したり、身体の動きに合わせて映像が変化したり。
今回は、MediaPipeをTouchDesignerと組み合わせることでどのようなことができるのかを簡単に紹介していきます。
MediaPipeとは？
MediaPipeは、Googleが開発しているAI・機械学習を活用した技術です。
カメラ映像などから、手や顔、身体の位置をリアルタイムで認識することができます。
例えば手の場合、単純に「手がどこにあるか」だけではなく、指先や関節などの細かな位置まで推定することができます。
最近は生成AIという言葉を聞く機会が多いですが、MediaPipeの場合は画像を生成するためのAIではなく、カメラに映っている人や物を「認識する」ためにAIが使われているようです。
TouchDesignerでMediaPipeを使う
今回私が特に気になったのは、このMediaPipeをTouchDesignerで利用できることです。
TouchDesignerに標準でMediaPipeが搭載されているわけではありませんが、公開されているプラグインを利用することで、MediaPipeで取得した情報をTouchDesigner内で扱うことができます。
大まかな流れとしては、
カメラ映像
↓
MediaPipeのAIで身体を認識
↓
手・顔・身体などの位置情報を取得
↓
TouchDesignerで映像表現に利用
という仕組みです。
AIが映像そのものを作っているというよりも、AIによって人の動きを数値や座標として取得し、そのデータをTouchDesignerで映像の動きにつなげていくイメージです。
例えば、手の位置を取得して映像を動かしたり、身体の動きに合わせてパーティクルを変化させたりといった表現が可能になります。
Webカメラだけでここまでできる！！
僕自身、以前にセンサーを接続して、手の動きや人の動きに反応するインタラクティブな作品を制作したことがあります。
そのときは、センサーから取得した値をTouchDesignerに入力し、その数値を映像の変化につなげていました。
MediaPipeの存在を知ったときはかなり驚きました。
専用のセンサーを用意しなくても、Webカメラの映像から手や身体の位置を取得できるからです。
それでも、カメラ一台から身体のさまざまな情報をリアルタイムで取得できるというのは、とても便利だと感じました。
インタラクティブな表現を試してみたいときに、特別な機材を増やさずに始められるという点も大きいと思います。
どんな情報を取得できる？
TouchDesigner向けのMediaPipeプラグインでは、手や指、身体、顔など、さまざまな情報を扱うことができます。
例えば、手や指の位置を取得するHand Trackingでは、指先や関節の座標を取得できます。
その値をTouchDesigner内のパラメーターにつなげることで、
・身体を動かすと映像が動く
・指を開くとグラフィックが広がる
・手の位置にパーティクルがついてくる
といった表現につなげることができます。
他にも、身体全体の関節を取得するPose Trackingや、顔の細かな位置を取得するFace Trackingなども利用できます。
まとめ
僕自身、センサーを使ったインタラクティブ表現を制作した経験があるからこそ、Webカメラだけでここまで多くの情報を取得できるMediaPipeの手軽さには、かなり驚きました。
センサーを使う場合は、機材の準備や接続、いくつかの工程があります。
それに対して、カメラ映像から手や身体の位置をリアルタイムで取得できるMediaPipeは、インタラクティブな表現を試すためのハードルをかなり下げてくれています。
まだ僕自身もしっかり触ったわけではありませんが、調べてみるだけでも、TouchDesignerでの表現の幅を広げてくれそうだと感じています。
まずは実際に触ってみて、手の動きを使った簡単な表現から試してみたいと思います。
コメント