助成テーマ完了認定企業紹介 066
第110回 令和4年度 第2次
|
開発技術の概要 |
|||||
|
ボリュメトリック技術とは、被写体を全方向から取り囲む多数のカメラで同時に動画撮影し、得られた多数の２次元動画データをコンピュータ処理により３次元動画を生成するものです。通常の２次元動画データが毎秒３０〜６０枚の静止画で構成されているのに対し、ボリュメトリックデータは、毎秒３０〜６０個の静止した３次元データで構成されます。 ２次元動画データの再生デバイス(テレビやＰＣディスプレイ)は、連続した静止画を残像を利用して動画として見せ、再生時に静止画の切り替え速度や視野角をパラメータとして、被写体動作の速度やサイズ(ズーム)をコントロール出来ます。 一方ボリュメトリックデータは複数の３次元データで構成されているので直接再生するためにはホログラムのような立体を連続再生できるデバイスが必要となりますが、まだ一般的に普及していないので通常はＰＣディスプレイなど２次元動画データの再生デバイスを使用します。その場合は３次元の視点座標をパラメータとして、ある動的な方向軸から見た２次元動画として視聴する、ということになります。別の言い方をすると、ボリュメトリックデータをＰＣディスプレイで再生する際には、あたかも撮影現場でカメラマンがするように自由なカメラ位置から好きなズーム操作をしながら被写体の動きを見ることができます(この機能を我々は自由視点と表現しています)。
ボリュメトリック技術のもう一つの特徴は、被写体の動作をリアルタイムで３Ｄ収録できる点です。２次元撮影のように編集用にカメラ位置を変えて演者に何度も同じ動作を繰り返えさせて撮影する必要がありません。収録は一度の演技でOKで、編集時に最適なカメラアングルやズーム比を選択できます。更には、トラッキングショット(カメラ位置を移動させながらの撮影)も編集時にシミュレートしつつ最適な動きを決定できるのです。またこのような操作情報はデータ化できるので、背景の映像やCGの動きを同期させることが容易なため、映像製作上不可欠な技術になりつつあります。 弊社ではこのようなボリュメトリックデータ生成の収録サービスを既に提供しております(詳細はこちら）が、生成画像のクォリティを優先しているため、カメラが数十台から百台程度、全面グリーンバックの広いスタジオに加え、映像処理用高速PCが数十台必要など、撮影コストが高く、さらに３Ｄ化処理に撮影からデータ納品までに数日かかるなど、普及へのハードルが高いことは否めません。 今回助成をいただくことになりました開発プロジェクト「簡易型ボリュメトリック・システムの開発」は、現行のシステムより収録時の制約を緩め、データ処理時間を圧縮して比較的手軽な被写体の３次元動画生成を可能にするというものです。 グリーンバックを廃止するために、ToF(Time of Flight)カメラを活用します。ToFカメラは赤外線により被写体との距離情報を２次元映像として出力するので、この情報をキーとして被写体を切り抜き、グリーンバックを不要にします(グリーンバックを必要とするのはグリーンという色(ギリシャ語でクロム)情報をキー(クロマキー)として被写体を切り抜くからです）。ToFカメラと普通のカラーカメラとをセットで使用するのがこのシステムの特徴となります。 その結果、小型ラック1台で運搬でき、１名でも設置・収録することができる、設置場所を選ばない収録が可能になりました。 また、リアルタイムにボリュメトリックビデオを生成するために、データ圧縮と画像処理のアルゴリズムの見直しを進め、0.3秒程度の遅延でのデータ生成・表示を可能にしました。これによりメタバースやXRアプリにおいて、自分自身がアバターとなり、実際に目の前にいるようなリアルな遠隔コミュニケーションが可能になるなど、他システムとの幅広い連携が可能になりました。(詳細はこちら）
|
これからの計画 |
|
リアルタイムに3D動画を生成できる特徴を最大限活かせるのはメタバースやXRアプリ内でのインタラクティブな場面です。そのためにはデータ配信に耐えうるデータ量、例えばwifi、5G環境化においては20Mbps程度迄にデータ圧縮をする必要があります(現状は50Mbps程度)。そこで、AWS等のクラウドサービスを利用し、クラウド上に管理サーバーと中継サーバーを置き、受信用、送信用、サーバー用にそれぞれアプリケーションを開発することで目標を達成する予定です。停滞しているメタバース分野に革新的なツールとして採用されることが期待されます。 また、出力データのクォリティの向上のため、本システム専用ToFカメラの開発を進めています。 |
企業からのお願い |
| 当社はモーションキャプチャやボリュメトリックス、フォトグラメトリなど、最先端のＣＧ・映像技術をベースに、映像システム・機器の販売からアプリケーション開発まで承っており、「かゆいところに手が届く」サービスを提供しています。最新の映像技術のことでお困りのことがあればお気軽に当社にご連絡いただけますと幸いです。 本開発プロジェクトは、リアルタイム処理を前提にデータ圧縮の方向で開発を続けていますが、お客様のご希望で別方向へのカスタマイズも可能ですので気兼ねなくお問い合わせください。（例えば画像解析用途で必ずしもリアルタイム処理が必要でない場合であればポリゴン数やカメラ台数を増やすなどで高画質化を図ることも可能です） |
|
