txt：稲田出 構成：編集部
今年もこの季節がやってきた。NHK技研公開が開催！
NHKは5月30日～6月2日の4日間、「ワクからはみ出せ、未来のメディア」をテーマに掲げ、高精細VR映像や、ARを活用したテレビ視聴スタイルなど、従来のテレビのワクを越えた視聴サービスを実現する技術を一般に公開する「第73回 技研公開」を東京・世田谷のNHK放送技術研究所で開催した。
同イベントはNHK放送技術研究所の研究成果を一般に公開するもので、技術、放送・サービスをより便利に楽しめる技術など、NHK技研が目指す未来のメディアについて紹介するもの。
今年は3次元テレビやAR・VRによる新しい視聴体験の実現を目指したメディア技術や放送・サービスの利便性をさらに高めるインターネット活用技術、AIを用いて効率的に番組を制作する技術、それにユニバーサルサービスなど、約25項目の研究成果を展示。また「身体の未来 拡張現実感から人間拡張工学へ」「空間表現を広げる視覚のしくみ」などの講演やガイドツアー、スタンプラリー、こどもワークショップといった一般の来場者向けのイベントも行っていた。
なお、講堂8Kシアターでは、フレーム周波数120Hzに対応した8Kレーザープロジェクターによる超高精細映像と、22.2マルチチャンネルによる3次元音響で、8Kコンテンツが上映された。
■2030～2040年ごろのメディア技術
3DテレビやAR・VRなどの技術によって進化のワクを広げた表現空間を拡張したサービスを提供する未来のメディア技術ダイバースビジョン。会場では表現空間を拡張する未来のメディア技術としてさまざまな視聴スタイルに対応できる視聴形態を提案。
人間の視野いっぱいに広がるパノラマ映像やVRやARを表示できるほか、音響も多チャンネルサラウンドによる視聴が可能な未来形ディスプレイ
■高精細VR映像
高精細で没入型の映像体験か可能な大型の円筒スクリーンに投影した映像。この映像は3台の8Kカメラを放射状に並べて撮影したものを8台の4Kプロジェクターを用いて180°の円筒スクリーンに投影したものでテレビの枠にとらわれず、視聴者が見たい方向の映像を視聴できる。
■ARを活用したテレビ視聴スタイル
AR技術を活用した将来の新しいテレビ視聴サービス。離れた場所にいる家族や友人と一緒にテレビを視聴するスタイルの紹介。
ARゴーグルやタブレット、スマートフォンを通して見ると、出演者や別の場所の家族や友人の3次元映像が等身大で合成表示するもの
インターネットなどの通信回線放送に用いられているMMTと共通のタイムスタンプを付与することで、受信側ではこれらの映像を同期してAR合成表示することができ出演者や家族・友人と空間を共有しながらテレビを視聴することが可能
■視点に追従するインテグラル3D映像
裸眼で3D映像を視聴することが可能なインテグラル3D映像システム。このシステムでは高精細な撮像素子やディスプレイ技術を必要とするが、8Kが身近になったことで画像のクオリティが年々向上している。
今年は数多くの来場者にインテグラル3D映像による裸眼3D映像を体験できるように6台のディスプレイを用意していた
■インテグラル3DCG映像のリアルタイム生成技術
スポーツ選手の動きを3DCG映像でさまざまな視点から楽しむことを可能とするもので、携帯端末に表示したスポーツ選手の動きを表すCGキャラクターのインテグラル3D映像によって、選手の動きをさまざまな視点からリアルタイムに見ることが可能。
ボルダリング選手のモーションデータを元に3DCGのキャラクターを生成して制作したディスプレイ画面。サーバーでレンダリングした4K解像度のインテグラル3D映像を携帯端末に無線伝送して表示
■3次元映像の奥行き表現技術
手前に映っている被写体の立体感を強調したい、シーン全体をはっきりと見せたい、といった制作者の意図を表現するために、3次元映像の奥行き情報を調整する技術。
人間の視覚特性を考慮して、見ている人に違和感を与えないように、被写体の形状を奥行き方向に圧縮。これにより、奥行きの再現範囲に制約がある3Dテレビでも、深い奥行きのシーンを再現可能に
■将来の3次元映像表示デバイス
奥行き範囲の広いインテグラル3D映像の表示を目指す光フェーズドアレーと広い視域の動画ホログラフィー表示に向けたスピン空間光変調器の研究など高品質な3次元映像表示の実現に向けての高速・高密度な表示デバイスの研究。
ホログラフィーで広視域の3次元映像を実現するために光変調素子を設計・試作し、電流駆動による光変調動作を実証。動画表示に向けての研究
■ネット×データ×IoTが連携するメディア技術
ネットのデータやIoT機器が連携することで、今までにないメリットをもたらす放送メディアを実現する研究。
■テレビ視聴ロボット
ロボットが番組の映像や音声から番組のキーワードを認識し、関連した発話を行うことで、ロボットと番組に関する会話を楽しむことができる次世代のマンマシンインターフェース。
人との会話を行う人形のロボットで、動きを交えたジェスチャーを行いながら会話を行う
ロボットとの対話例。人がテレビを見ている様子やテレビ画面に映し出された画像を認識して対話を行う
置かれた環境の中からテレビ画面を認識し、画面に写っている動画から情報を得る。AIを利用したデープラーニングにより画面の情報を解析すると同時にテレビのEPGなどの番組情報なども加味して人との会話に活かす
■フルスペック8Kライブ制作伝送実験
高フレームレートにより被写体の動きを鮮明かつ滑らかに表現できるフルスペック8Kの制作機器の開発や伝送・表示技術の研究。8K120Hzに対応した番組制作機器や符号化装置のほか衛星伝送装置や表示再生装置を用いて、フルスペック8Kのライブ制作伝送実験。
リアルタイム編集可能なオンライン編集機。リニアライクな編集作業を行えるノンリニア編集システムPrunus。オリンピックのハイライト制作等で実績のあるノンリニア編集システムで8K60P 4:2:2 HDR対応
高ビットレートでのリアルタイム処理を実現した8K120Hz映像符号化装置。映像符号化方式にはMPEG-H HEVC/H.265のMain10プロファイルを用い、ARIB標準規格STD-B32 3.9版に準拠した符号化ストリームを出力
符号化装置からの8K 120Hzの映像信号をテレビなどに出力できるようにする複合装置
会場ブースでは復号化された8K 120Hzの映像を披露。表示されていた映像は広帯域・大容量伝送が可能なBSAT-4a衛星の21GHz帯中継器を用いてのライブ伝送のリアルタイム画像
低遅延・軽圧縮IP伝送装置。二子玉川から送信されたフルスペックの8K映像をIP伝送装置により伝送し、世田谷の会場で表示していた
■22.2マルチチャンネル音響の適応ダウンミックス
22.2ch音響と5.1サラウンドおよびステレオの一体制作が可能なシステム。従来のダウンミックス技術では複数のチャンネルが加算されることで周波数成分ごとの音の強弱が22.2ch音響から変化し、音色の劣化につながっていたものを22.2ch音響の周波数成分ごとの音の強弱に合わせてダウンミックスを補正することで、劣化を抑制する技術を開発。
22.2マルチチャンネルの音響的な特徴を保持したまま、5.1サラウンドとステレオを自動で制作するためのダウンミックス装置。5.1サラウンドとステレオの平均ラウドネス値を22.2ch音響の番組全体の平均ラウドネス値に合わせてダウンミックスできるラウドネスチェイス技術を搭載
■次世代撮像デバイス技術
8Kカメラのさらなる高性能化に向けて、新しい構造の撮像デバイスの開発。カメラの高感度化を目指した増倍膜積層型撮像デバイスや小型で高精細な単板カメラを目指した有機膜積層型カラー撮像デバイスなどの要素技術の紹介。
増倍膜の構造や製膜法を検討し、10倍の増倍を実現した結晶セレンを用いた光電変換膜を用いた増倍膜積層型撮像デバイス
RGB3層構造の有機膜積層型カラー撮像デバイス。各有機膜から電荷を読み出す透明のTFT回路を交互に積み重ねた、積層構造の単板カラー撮像デバイスを開発。今回はTFT回路の微細化を進めた画素ピッチを従来の50μmから20μmに縮小した物を出展
■超大容量ホログラムメモリー
8Kスーパーハイビジョン映像の長期保存技術として、超大容量・高転送速度のホログラムメモリーの研究。これまでは黒と白のみを用いた振幅2値データを記録していたが、今回、黒と白の中間の明るさ2種類を加えた振幅4値データを高密度に記録することで、光学系などを変更せずに記録容量を向上。再生データに重畳された光学系のノイズ特性を事前に学習させた畳み込みニューラルネットワークを用いることで、再生時の復調誤りを大幅に低減。
■フレキシブルディスプレーの要素技術
超薄型・軽量・大画面フレキシブルディスプレーの実現に向けた研究開発。今回、新たに開発した酸化物半導体材料とパターン形成技術により、大画面化に適した塗布プロセスで、真空プロセスと同等の移動度の高いTFTや有毒なカドミウムを使用しない新しい量子ドット材料を開発し、高色純度の緑色EL発光を実現。
