ヒートマップと言われる可視化手法をご存知でしょうか？

数字データの強弱を色で視覚化する方法であり、 Webの世界ではページの中でどこの部分が良く⾒られているのかをマウスの動きなどを基に可視化する手法として用いられています。この手法は店舗やオフィス、工場内と言った実空間における⾏動分析の可視化手法としても用いられており、導線分析や滞留分析、またそれに基づく店舗 改善、業務改善などに用いられています。

• 実空間における⾏動分析ではカメラ画像やBLEビーコンなどを用いた2次元の⾏動分析ツールが既に多数商用化されています。しかし、3次元での⾏動分析（例：棚のどこに手を伸ばしたか?）につ いての事例は未だ多くはありません。

• そこで今回は、GR-PEACHと2台のビデオカメラを用いて3次元での⾏動分析を⾏う手法を提案し、 プロトタイピングによる実証をしたいと考えております。

• GR-PEACHにある2つのNTSC⼊⼒を使い2台のNTSCカメラを接続します。1台目のカメラはX-Z平 面を撮影し、2台目のカメラはY-Z平面を撮影します。2つのカメラ画像を組み合わせ、空間データ （XYZの3次元データ）を復元します。

• 復元された空間データは時系列でクラウド管理し、ヒートマップの手法を用いた可視化を⾏います。

システム構成

2台のカメラを90度交差させて配置し、空間データの復元をGR-PEACH上でリアルタイムに⾏います。

復元可能な空間は、レンズの画⾓に依存します。

復元した空間データはネットワークを経由してリアルタイムでサーバーに送信しサーバー上で蓄積管理 を⾏います。

サーバー上のデータは、専用の可視化ツールを用意 して参照できるようにします。

カメラ画像（パーソナルデータ）がネットワーク上に流れないため、ネットワーク帯域の削減とカメラ画像を扱う際に問題となるプライバシーの課題を低減することができます。

■デモ動画の概要
デモ動画はプロトタイプを実際に動作させたものです。動画の加工は行っていません。デモ動画に示すとおりの速度でリアルタイムに全てが処理されます。

赤いところが動きが無いところ、黄色いところが動きがあったところを表します。人が手をあげたり下げたり歩いたり立ち止まっていることが見て取れることと思います。

プロトタイプは人がいる位置に応じたコンテンツを表示するデジタルサイネージを意識したものとなっています。周囲に6枚のパネル(がじぇるねボードの写真)があり、人がその正面に立つとそのパネルが拡大表示されます。床に見えないスイッチがあるようなものであり、実際には音声などで目の前にある商品の解説などを行うことを想定しています。

プロトタイプの応用として監視カメラや見守りカメラなどへの活用も考えられます。動きが無い箇所が赤く表示されるため、不審者の滞留検知・通報システムなどへの応用が考えられます。

■プロトタイプの概要
3Dヒートマップの元データとなる3次元空間データは2台のカメラ画像を元にGR-PEACH上でリアルタイムに生成します。生成された3次元空間データはWebSocketを使いサーバーへリアルタイムで送信されます。

3DヒートマップはGR-PEACHから受信した3次元空間データを基にサーバー上で生成します。なお、本作品ではリアルタイム性を重視しており、DBやストレージへのデータ保存は行わずに10フレーム分の3次元空間データをオンメモリで保持して処理しています。

生成された3DヒートマップはPCのブラウザから見ることができます。マウス操作によって任意の視点から結果をリアルタイムにみることができます。また動画には掲載していませんが、アミューズメント分野への応用を想定した、スマホを使ったVRのデモプログラムも作成しています。VRゴーグルをつけて実空間を実際に歩きまわることで動画に示すような仮想空間内を歩き回ることができます。

■プロトタイプの性能
デモ動画では、幅2m、奥行き2m、高さ2mの実空間を4cm間隔で解析しています。解析する実空間の大きさと解析の精度は、処理速度(リアルタイム性)とのトレードオフとなります。GR-PEACHのメモリサイズの制約により、解析できる空間の最大の大きさは5cm間隔精度の場合は幅10m、奥行き10m、高さ2m程度なります。

また、サーバー側との通信速度やサーバー側の処理性能にも依存します。デモ動画ではクラウドサーバーは使わずにGR-PEACHと同一LAN内に有線で接続したPCをサーバーとして使用しています。

■成果物の再利用性
ソースコードは全てGitHub(https://github.com/takjn/lofsil)で公開しています。