NILLとOpus Studio、NTTコノキューのXRライブシステム「Matrix Stream」開発に技術協力。

株式会社NILL

2022年10月19日 10時00分

株式会社NILL（本社：東京都調布市、代表取締役：清水祐輔）と株式会社Opus Studio（本社：東京都新宿区、代表取締役：柳沢知秀）は、NTTコノキューのXRライブシステム「Matrix Stream」へ開発技術協力いたしました。

本システム「Matrix Stream」は10月26日～28日までの3日間、幕張メッセで開催される日本最大級のVR/AR/MRの専門展である「XR総合展 2022 秋」にコノキューのブース出展されます。

【主な出展内容】

1.ビジョンおよびVRでのライブ映像体験
壁面のビジョン、一体型VRゴーグルで「直感×アルゴリズム♪ 3rd Season」の登場キャラクターであるTacitlyのライブ映像を体験いただけます。

2.多人数で一緒にバーチャルライブに参加する体験
今回、Tシャツやペンライトといった個別認識できる機能を実装したことによって、一体型VRゴーグルを同時に装着したユーザー同士で、一緒にライブを観戦する体験をいただけます。

3.VRゴーグルを装着し、多視点でのカメラスイッチングを体験
一体型VRゴーグルを装着し、Tacitlyのライブの視聴体験の中で、ユーザー自身によるカメラスイッチングを体験いただけます。

「Matrix Stream」について

1. システム概要
本システムは、XRスタジオのモーションキャプチャなど、演者のデータをリアルタイムにバーチャル空間上のキャラクターの動きとしてXRコンテンツを生成します。生成したXRコンテンツは、本システムによりXR技術を活用した音楽ライブや番組として、リアル会場のスクリーンへの配信・VR配信・オンライン配信など、複数の配信形態において同時配信が可能になります。

2. 特徴
（1）国内・海外問わず、複数の配信形態で同時に配信可能。リアル会場やオンライン配信などに加え、視聴者自らがバーチャル会場にアバターとして参加し、バーチャルキャラクターと同じ空間でライブを体験したり、番組を観覧したりすることが可能になります。※写真は現在開発中のものです。

（2）独自シェーダーの開発により、リアルタイム性と高クオリティーな映像を両立したバーチャルライブを実現。バーチャルキャラクターや空間を魅力的に表現し、よりエモーショナルなXR音楽ライブを実現するため、表現力と同時にリアルタイム性を追求した独自のシェーダー（プログラム）を開発し導入しています。

（3）配信サイト独自の機能との連携により、インタラクティブな演出が可能
さまざまな配信サイトの「コメント」や「投げ銭」などの機能と連携することで、XR空間の演出をリアルタイムに、インタラクティブに変えることができます。例えば、日本と中国の動画配信サイトにバーチャルライブを同時生配信し、それぞれの言語で応援コメントを入れると、バーチャル空間で同時に花火が打ち上がるなど、国境を越えてさまざまな国の人が参加しながらバーチャルライブを楽しむことが可能です。また、演出表現は、コンテンツのイメージやキャラクターの世界観に合わせた柔軟な対応が可能です。

（4）バーチャルライブオペレーションの省力化
一般的なバーチャルライブシステムでは、バーチャルキャラクターを動かすのに必要な骨構造や表情などアバター仕様をシステムごとに定義しており、利用するシステムごとにセットアップを行いキャラクターモデルを修正・調整する必要がある場合もあります。一方、本システムでは、自社・他社を問わず、バーチャルキャラクターモデル導入におけるデータ構造を最適化するツールの開発により、従来は手動で行われていたアバターモデル形式からの変換を自動化することが可能です。