【NHK技研公開 2015】スタジオと現場を即時合成できる「バーチャルスタジオシステム」

　NHKと一般財団法人NHKエンジニアリングシステムは26日、スタジオ映像の背景に、遠隔地から伝送した全天周映像をリアルタイム合成できる、「バーチャルスタジオシステム」を共同開発したことを発表した。

　CGをリアルタイムに合成できるバーチャルスタジオはこれまでにも存在したが、新システムでは、全天周の実写映像を、カメラの動きに合わせてリアルタイム合成できる。そのた、スタジオの出演者があたかも取材現場にいるかのような映像が制作できるという。

　画角180度以上の魚眼レンズを装着した2台のカメラを逆向きとなるよう配置し、各映像を同期した状態でHD映像に圧縮/ 合成した上でスタジオに伝送。スタジオ側でこの映像を仮想空間に投影する。一方、スタジオではカメラの動きを計測するハイブリッドセンサーを装着したカメラで被写体を撮影し、合成してバーチャル映像を生成する。

　さらにNHKでは、実写とCGの自然な映像合成を可能とする、バーチャルスタジオ用リアルタイム照明推定装置も開発した。

　実写とCGを自然に生成・合成するには、照明の位置・明るさ・色を正確に取得する必要があるため、バーチャルスタジオによるテレビ番組制作では手軽に利用できなかった。あるいは不自然さが残る映像となってしまった。今回開発された装置では、簡易で安価なセンサーカメラを用いてスタジオの状況を撮影。その情報から画像解析を行い、照明の明るさと色をリアルタイムに推定し、変化するスタジオの照明条件に合ったCGを描画可能にしたという。

　これらの機器は、5月28日～31日に開催される「技研公開2015」において、展示の予定。