遠く離れた人と人の「感情」を伝達する「つながるビストロ」（仮称）

この記事では乃村工藝社グループのオープンイノベーションラボであるNOMLABがNTTドコモ様と一緒に開発した次世代のコミュニケーションツール「つながるビストロ（仮称）」のプロジェクトについてご紹介します。

本稿は、乃村工藝社グループの「ソーシャルグッド」なプロジェクトをご紹介するイベント「ソーシャルグッドウィーク 2021」のレポート記事です。

＊「ソーシャルグッド」の詳細はこちら
乃村工藝社グループが考えるソーシャルグッド（前編／後編）
＊「ソーシャルグッドウィーク2021」のレポート記事一覧はこちら

遠隔地にいる人と人の「感情」をつなぐ　「つながるビストロ」（仮称）

NTTドコモ様と乃村工藝社の協業により開発中の「つながるビストロ」（仮称）※は、リアルな空間とデジタルを融合させることで距離による違和感をなくし、遠く離れた人と人の感情を伝えることができる次世代のオンラインコミュニケーションツールです。その開発の経緯や概要、ソーシャルグッドな効果について話し合いました。

※「つながるビストロ」はプロトタイプの名称で、今後、製品化していくにあたって別の名称になるので、（仮称）と表記しています。文中以下、「つながるビストロ」で記載します。

乃村工藝社 リレーションマーケティング部　早乙女勇気
2018年入社。今年度より新設されたリレーションマーケティング部に所属し、個々のクライアントのソリューションを組み合わせ、企業同士をつなぐことで新規事業の育成につなげる業務を推進している。本プロジェクトにはNTTドコモ様のアカウント担当として参画。普段は、PRイベントや展示会、ショールームの事業に携わっている。

乃村工藝社 プランニング統括部　望月美那
2017年入社。プランニング統括部で企業PR施設や展示会、イベント、サービス店舗の開発に携わっている。本プロジェクトにはプランナーとして参画。

乃村工藝社 NOMLAB　吉武聡一
2018年入社。CIC（コンテンツインテグレーションセンター）内にある乃村工藝社グループのオープンイノベーションラボNOMLAB（Nomura Open innovation LAB）所属。当プロジェクトでは、プランナーとして参画。

情報の伝達から感情の伝達へ

吉武
乃村工藝社には、コンテンツを起点にして空間を考える部署コンテンツ・インテグレーション・センターがあり（2021年度新設）私は、プランナーとしてその中でデジタルコンテンツを扱うNOMLABという組織に所属しています。このプロジェクトは、NTTドコモさんとNOMLABの協業により開発したものです。NOMLABは「デジタルイノベーション × 場づくり」のラボラトリーとして社内外のさまざまな方と協働し、自主開発型のビジネスモデルにチャレンジしていこうとしています。
さて、皆さんはZoom飲み会をされた経験はありますか？ 一時はブームになっていましたが、今ではあまり行われていないようです。仕事では、Zoomなどオンラインツールを使ったミーティングは当たり前になりましたが、プライベートの飲み会では、あまり普及しないのは何故だろうと考えたときに、既存のオンラインツールが、情報の伝達には適していますが、人間のコミュニケーションに必要不可欠な感情の伝達に適していないのではないだろうか、と思いました。このプロジェクトは、感情を伝達することに適したオンラインツールがあってもいいのではないだろか、というところから始まりました。では、プロジェクトの概略を早乙女がご説明します。

リレーションマーケティング部の早乙女（左）とプランニング統括部の望月（右）

早乙女
このプロジェクトで開発した「つながるビストロ」は、遠く離れた空間をオンラインでつなぐことで、目の前に相手がいるような、普段と変わらない感覚でコミュニケーションを体験できる遠隔空間通信システムです。NTTドコモさんとの協業プロジェクトで、2021年1月に開催されたdocomo Open House 2021という展示会でプロトタイプを発表しました。現在は、商品化に向けて検証を重ねながら開発を進めています。
もともとNTTドコモさんと乃村工藝社は発注者と受注者という関係でしたが、そのつながりの中で、NTTドコモさんの中で研究開発部門であるR&Dイノベーション本部を乃村工藝社のNOMLABにご紹介いただき、それがきっかけとなって協業が始まりました。NTTドコモさんが持っている通信システムやIoTの技術と乃村工藝社が持っている空間デザインや演出の技術を掛け合わせて、次世代のコミュニケーションを創造することを大きな目標としています。

プロジェクトはゼロベースからのスタートだったので、最初は「コミュニケーションとは何だろう」というテーマのブレストを繰り返し、1年後に「文字は情報をスムーズに伝えることができるが、感情やその人の意思が伝わりづらい」ということが課題として見えてきました。その課題に対するアプローチとして、プロトタイプの第一弾になる「HUMANIC DOME」を共同開発しました。

協業プロジェクトの第一弾「HUMANIC DOME」

「HUMANIC DOME」とは、直径約3mのドームで、中に椅子が設置されていて、そこに座った人の呼吸、脈拍、姿勢などをセンシングして数値化し、その数値を映像信号に変換することでその人が安心しているのか、緊張しているのかという人の感情を映像で表現する装置です。感情伝達の第一弾のプロトタイプとして、2019年11月にICC（NTTインターコミュニケーション・センター）で、2020年1月にはdocomo Open Houseで展示しました。

この「HUMANIC DOME」が、今の「つながるビストロ」へと進化していきました。ここからは望月にバトンタッチします。

感情の伝達を目指して、開発・検証を行う

望月
オンラインツールで会議や打合せを行うときに、相手の反応が読みづらかったり、こちらの情熱が伝わりにくかったりという経験があるかと思います。私たちは、オンラインでのコミュニケーションでは「感情」の伝達が不十分であるという認識を持って、「つながるビストロ」の開発に着手しました。コミュニケーションにおいて人間の五感が大切であるという仮説を立て、五感が一番作用する食事のシーンを想定してプロトタイプの製作と検証を進めました。

「つながるビストロ」は、空間を観光列車の中の移動レストランに見立て、車窓の風景を連動させることで離れた空間にいる人が同じ空間にいると感じられるようにしました。そんな空間で、お互いが目の前にいるような感覚で会話や食事ができるというコンテンツをつくっていきました。

「つながるビストロ」が、従来のオンラインツールと違う点は6つあります。
一つ目は、目線を合わせられることです。従来のツールだと相手が誰に向かって話しているのか、発言内容を聞かないと判断できませんでした。「つながるビストロ」は、正面に小さなカメラのレンズを埋め込むことで相手と目線が合うように設計されています。

二つ目は、走る列車をモチーフにし、サイドの壁面ディスプレイに同じ風景を映し出し共有できるようにしています。同時に風景が移り変わっていくことで、一緒に移動している感覚を演出しています。ディスプレイの映像をオフィスのシーンや資料の共有などに変更すれば、このツールをビジネスユースに転用することも可能だと思います。

三つ目は、上半身全体の動きがすべて見えることです。相手の体の動きやジャスチャーを映し出すことでより密なコミュニケーションをとることができます。胸から上くらいまでしか映し出さない従来のオンラインシツールに比べて大きな差異化のポイントになっています。

四つ目は、立体音響システムの導入です。お互い同じ方向から同じように音が聞こえ、より自然なコミュニケーションの場を実現しています。

五つ目は、三つ目の上半身全体の動きが見えることに含まれますが、相手の手元の動きが見えることです。今回はビストロとして食事のシーンをモチーフとしているので、相手がいま何を食べているのか、どれくらい食事が進んでいるのかが見て取れるのは重要です。

最後に六つ目として、いまご紹介した五つのポイントが揃い、クロストーク・パラレルトークが実現していることです。今あるオンラインツールでは、一人が話している間、他の人たちはマイクをミュートにしているので相手の反応が読みづらく、スムーズなコミュニケーションの妨げになっています。「つながるビストロ」では、相手の手元の動きやジャスチャーを見て取れ、立体音響システムで自分の正面にいる人、斜め向かいにいる人とも自然に会話ができ、複数の人と同時に、同じ空間にいるようにコミュニケーションが成立するのが大きな特徴です。

以上のことを踏まえプロトタイプを製作し2021年の1月から5月まで、乃村工藝社の新木場倉庫で実証実験を行いました。関係者による検証だけでなく、社外のさまざまな方をお招きして体験会を開き、体験後の感想をお聞きして、その場でアップデートしていく作業も繰り返し行いました。また、2月4日から7日まで開催されたdocomo Open House 2021へ出展しました。このイベントはオンラインで開催され、オンライン商談ではコンテンツ概要をお伝えしお客様から既存のオンラインツールへのご不満や「つながるビストロ」に期待する機能などについてヒアリングしました。
これらの検証を通じて、途中で動かなくなる、音声が聞きづらくなるという通信環境による小さな問題が重なることで、大きなストレスを生んでいることが確認できました。「つながるビストロ」でも、しぐさ、表情、視線、声などを自然なかたちの伝達を追求する必要を感じました。リアルと変わらない自然なコミュニケーションを実現するために、今後はNTTドコモさんが持っている5G（第5世代移動通信システム）との連動も見据えて開発を進めていきたいと考えています。

「つながるビストロ」がもたらす社会的意義

吉武
ここからは「つながるビストロ」にどんな社会的な意義があるかを考えてみたいと思います。
今、オンラインコミュニケーションは日常的に行われていて、皆さんも当たり前のようにSNSをやられていると思いますが、その中で炎上や誹謗中傷というトラブルが数多く起こっています。リアルなコミュニケーションの場ではまず起こらないことが、オンラインではよく起こるのは、今のオンラインのコミュニケーションが不完全なもので、文字により情報は伝わるけれど、感情が伝わっていないことに起因しているのだと思います。炎上や誹謗中傷が起こる背景には、受け取る側のことを考えず、自分勝手に表現してしまう現代病に冒された社会があるからかもしれません。もし、感情をちゃんと伝えられる、適切なオンラインツールがあれば、こうしたことは起こらないかもしれません。そこで、コミュニケーションとは何なのかというところに立ち戻って考えてみました。

コミュニケーションの起源は、文字の発明に端を発していると思います。諸説ありますが、文字は文明を発達させるために王朝が作ったものです。なぜ作ったかというと声は伝達距離が短く、発したと同時に消えてしまうので、伝えることができる人数に限りがあります。王朝を発展させていくためには多くの人々に意思を伝えることが必要なので文字が発明されました。王の意思は相手との対話の必要がなく、一方的に伝えればいいわけで、独りよがりな手段でした。

一方で文字の発明は、距離と時間を越えて意思を伝えることを可能にした革命的な発明でもありました。人間が自分の脳以外に、初めて外部メモリーを持った、ともいえます。しかし、文字で伝えられる情報量は少なく、付随する感情、雰囲気、空気感まで伝えることは困難でした。

では、言語はどうなのかというと、言語は発明されたものではなく発生したもので、動物が求愛を行うために、歌を通じて生まれました。人間は脳の容量が大きかったためにいろいろなパターンの歌を歌えるようになり、それが最終的に言語になっていったと言われています。相手とのやりとりの中で生まれた言語は、音声だけでなくその場の環境をリアルタイムで共有することも必要でした。言語は、相手のことを考え、意思を伝える思いやりのある手段といえます。

言語は文字と違い、感情は情報ではありません。情報化社会が進む中で、私たちは情報を効率的に伝達することのみを優先し、感情を伝達することに目を向けていなかったと思います。「つながるビストロ」は、距離を越えて感情をちゃんと伝達できる、思いやりのあるオンラインツールです。今の通信環境なら転送する情報量を増やせば増やすほどお互いのいる空間自体をリアルタイムで共有することができ、より感情を伝えることが可能になり、遠く離れている人との想いやりのあるコミュニケーションを実現できます。

NOMLABの吉武聡一

「つながるビストロ」は、今までのオンラインツールに置き換わるものではなく、用途によって使い分け、共存できるものだと考えています。感情のやりとりをすることは、人間にとってとても大切なことで、さまざまなソーシャルグッドを産みだします。例えば、今コロナ禍で会いたい人に会えないという場面も多く見られますが、介護施設にいるお祖父さんやお祖母さんと、孫たちがこのツールを使って顔を合わせ、食事をしながら歓談する。病院で治療を受けている患者さんとその家族や友人たち、または同じ病気と闘っている患者さん同士が、このツールで気持ちを通じ合う。全国にいる難病の患者さんが、人数が限られている専門医とつながり安心して病気と向き合える。または教師の数が少ない離島の教育の場で、生徒たちがさまざまな授業を受けることができる。レストランで、産地の農家の方からから食材についてのお話を聞きながら料理を味わう。こうしたさまざまな社会的意義を生み出す可能性が拡がる点が、「つながるビストロ」が既存のオンラインツールといちばん違う点だと考えています。

技術的な部分では、よりリアルなコミュニケーションを実現するには映像や音声のデータ量が大きくなるので、NTTドコモさんの持っている5G技術を導入して、さらに開発を進めていきたいと思っています。
最後に協業させていただいているNTTドコモさんからメッセージをいただきましたので代読させていただきます。

「2018年より次世代コミュニケーションの実現を目指した協業を始めて2年になります。その間、さまざまな社会情勢の変化がありましたが、乃村工藝社さんの創る新たな視点には多くの刺激と気づきをいただいています。今後もお互いの得意な領域を融合し、新たな価値を創出していきましょう」

NTTドコモさんが持っている技術と乃村工藝社が得意とする空間を掛け合わせながら、今後も新たなコミュニケーションを考えていきたいと思っています。この「つながるビストロ」を良い形で世の中に出していきたいと思っています。

---

遠く離れている人との想いやりのあるコミュニケーションを実現するオンラインツール。このコロナ禍で一層この想いに共感してくださる方は増えているように思います。第一弾のプロトタイプ「HUMANIC DOME」開発のプロセスを語った対談「NTTドコモとの協業にみる『次世代コミュニケーション』」を読んでいただけると、両社がコロナ禍以前から、次の時代のコミュニケーションのありかたを模索し、プロトタイプ開発している様子が分かります。ご興味持っていただけた方はぜひご一読いただければと思います。今後も空間体験の拡張をテーマに開発をつづけるNOMLABにご期待ください。（ノムログ編集部）

文：岩崎唱／写真：安田佑衣（イベント時）