メモ

Adobe XD ユーザーフェス2020 で Adobe XD + HoloLens 2 デモしたときの登壇配信の機材構成メモ

Posted on by seigo

Adobe XD ユーザーフェス2020 で HoloLens 登壇したときの登壇配信の機材構成メモです。

イベントの様子

Adobe XD ユーザーフェス2020で登壇してきました

こちらでレポートしていますが、アーカイブ動画も配信されたので、実際の登壇を見ることができます。

image

以下、私の登壇から再生位置を指定しています。

途中の試行錯誤

目指していたのは「オフラインで登壇するときと同じようにHoloLens2の操作を伝えたい！」というところでした。

image

イベントの直前まで、このようなビューでお見せするつもりでした。

image

万が一、失敗しても最低限伝わるように、各デモで動画を用意していたものは、このアプローチでした。

実際の構成はこちらです。

image

HoloLens 2 は、 Miracast を使ってワイヤレス＋低遅延の映像転送ができます。Device PortalでLive Previewも出来るのですが、遅延が5～10秒起きてしまうので、オンラインでは特にフォローがしにくいので Miracast を選択しました。

また、Miracast の映像をうまく ATEM Mini Pro に引き込むために、HDMI Splitter を噛ませています。そして、ATEM Mini Pro のカメラ出力を登壇で画面共有しているPCに引き入れ、 Windows 10 標準のカメラ表示を使って映像を表示させました。Windows 10 標準のカメラで何かしら遅延が起きるかなと思っていたのですが、私の感覚では気にならないレベルでした。

むしろ、登壇しているビデオミーテイングツールに対して通信で遅くなることの方が、見た目の遅延を発生させるので、有線LANでつなげて、通信遅延は起こらないように気を使いました。

なお、音声入力は、単一指向性の設定にしたコンデンサマイクの Yeti Macrophone にして、デモ中に多少離れていても、指向性に頼ってデモ中の声も入るようにしています。このままだと、色々音を拾いすぎるのでAIノイズ除去ソフト Krispを経由してノイズや生活音を消してから画面共有しているPCにマイク入力しています。

さらに操作中の客観ビューを加えて伝達レベルアップ

ですが、先ほどの状態だと、正直なところ、オフラインでの HoloLens 2 をつけての壇上のデモと比べると、足りない。具体的には操作中のHoloLens 2 の視界は伝えられても、それをかぶって手を動かして操作している人の動作が欠けているんですよね。

そこで、ATEM Mini Pro の Picture in Picture 機能を使って、右下のエリアで別カメラで私がどう動いているかも伝えられるようにして、人の動きも伝えるようにしました。

具体的にはこんな感じです。

image

登壇時も無事に伝えられました。このように壁にブラウザを貼り付けて操作している様子が、かなり伝わりますね！

image

実際の構成はこちらです。

image

先ほどの仕組みに、 Raspberry Pi で USB カメラ → HDMI で引き込んだWEBカメラを仕込みました。これで客観的に別視点で操作している人を写す絵が取り込めます。

image

HoloLens 2 の操作とカメラの配置はこのように設定。三脚を立てて配置しました。

Raspberry Pi で USB カメラ → HDMI についてのナレッジは、以前、別の勉強会で登壇したときのこのスライドにまとめています。ATEM Mini Pro の Picture in Picture 機能を使えば、別視点ビューとHoloLens 2 の視界が同時に表示でき、先ほどの登壇時のような絵の構成で見せることができました。

余談ですが、ATEM Mini Proのクロマキー合成を駆使して、座った状態での HoloLens 2 の人の様子を、HoloLens 2 の視界と合わせるというチャレンジも、以前行いましたが採用には至りませんでした。

これは立って操作できなかったり、思いのほか、絵の合成でうるささがでてしまったり、セッティングに苦労する割に着席オンリーで展開が制限されやすいので知見としてはストックしつつ、今回ご紹介したところに落ち着いた次第です。

ひとまず、現状で出来る限りの構成は出来ました。引き続き、ブラッシュアップしていきます！

、
seigo