こんにちは。

皆さん、『トゥルーマンショー』という映画をご存じでしょうか？この映画は、主人公であるトゥルーマンさんという一個人に関する、出生時からの24時間365日を常に見れるような話です。この作品を通して、日常生活への疑問を提示したり、プライバシーについて考えさせられるとともに、エンジニアリング的にも面白そうな課題でもあると思います。

ちょっとネタバレになるので、映画を見ていない人はぜひ先に映画を見てください。

トゥルーマン・ショー (字幕版)

発売日: 2013/11/26
メディア: Prime Video

空論

ということで、トゥルーマンショーの映像配信について、現代だと結構簡単に実装できるんじゃないかなと思ったので、簡単に実装できそうな構成を検討してみました。

考慮すべき問題

24時間配信できる仕組みが必要です。ネットワークが途切れないようにし、バッテリーが切れても別の端末からstreamingできる必要があります。

現実世界でトゥルーマン・ショーをする場合、個人情報の流出や、身の危険性は考慮しなけねばなりません。生活場所や自動車のナンバー、一部の交流相手はバレることになるでしょう。せめて家族や親友の安全は守りたいところです。一般人の顔も映らないようにすべきです。あと、トイレや着替え、クレカの番号を見せるわけにはいきません。著作物も映ると良くないでしょう。

あと、見ている人が（いれば）退屈しない試みは必要でしょう。BGMを流したり、現実映像ではなくPC画面の操作内容を知られたり、本人が楽しんでいるコンテンツの情報がわかると楽しめるかもしれません。また、視聴者同士で会話したり、アンケート機能、広告機能などがあると面白いかもしれないですね。荒らし防止のブロック機能も要ります。

妄想構成

下記のような構成で比較的セキュアに実現できる気がします。

f:id:ume-boshi:20210506115450p:plain — 実装構成

まず、映像の生成に関しては、簡易的にzoomのアクティブスピーカー機能でできるかなと。どうにかマイクのON/OFFを切り替えることができれば、映像の統合は何も実装しなくて良いでしょう。ディスプレイ映像、スマホのカメラ映像、定点カメラは普通のzoom機能を駆使すればすぐに配信できます。映像配信のバラエティを上げるためにドローンやGoProを使用する場合、一度別PCに映像を介す必要があり、ドローンはちょっとした実装が要りそうです。他には、静止画やBGMを乗せられる端末も1つほしいですよね。

Youtube Liveに配信するのは、zoomのホストが要るサーバの映像を基にします。サーバでは適当な映像処理が陰で動かせるとbetterです。OBS studioか何かでzoom映像をクリップし、それをOpenCVなどで1フレームずつ処理します。具体的には、周囲の人間の顔にモザイクを掛けることや、文字情報へのぼかしができれば良さげ。著作物へのぼかしは技術的に可能かわからん。

続いて、映像とともに音声処理もしたいところです。発言内容での情報漏えいや会話相手の身バレを防ぐために、どうぶつの森加工を施したり、一時的にVTuber加工したいものです。

最終的に処理が完了した映像を、Youtube Liveのほうで配信することになります。Youtube Liveを用いることで、視聴者同士でコメントを送信できたり、配信者が投げ銭を受け取ったりできる可能性があります。受け取ったコメントや投げ銭情報を配信者に届けるためには、Youtube Data APIなどを用いて集約すればよいでしょう。

qiita.com

coolish.hatenablog.com

発信者専用のオリジナルアプリを作成し、コメントや投げ銭情報はもちろん、映像の切り替えや音声処理のON/OFF、BGMの変更機能があれば高級な映像配信ができそうです。著作権の問題で映像から直接配信するわけには行きませんが、配信者がどんな動画や音楽を視聴しているかを文字情報として字幕表示できるとより良い配信ができそうです。