がじぇっとるねさす

ホビーとエレクトロニクスを繋げるサイト

がじぇるね工房

作品タイトル:ヒートマップによる実空間行動分析

表示名:@takjn

ヒートマップによる実空間行動分析

コンセプト・作品説明
店舗やオフィスなどの実空間における動線分析、滞留分析では、カメラ画像やBLEビーコンなどを用いた2次元の行動分析ツールが既に多数商用化されています。しかし、3次元での行動分析(例:棚のどこに手を伸ばしたか?)についての事例は未だ多くはありません。

GR-PEACHと2台のビデオカメラを用いて3次元での行動分析を行う手法を提案し、プロトタイピングによる実証をします。

本作品は、現時点、直接的な商品化は考えておりません。
実空間の⾏動分析のツールは⾼価なものが多く、⼩さな店舗や工場では導⼊が困難です。相対的に安価で⼊手が容易なGR-PEACHを活用し、実現方法やツール群をオープンソース化して、誰でも⾃ら造れるようにすることで、様々な場所の改善に役⽴てられるようにしたいと考えております。
プロトタイプの応用例として、オフィス内での活用やアミューズメントでの活用も考えられます。
例)オフィスの会議室の利用状況分析、フロア内での不適切な残業状況の監視
例)実空間内を歩き回ることでVR空間内に絵を書ける「VRお絵かき」
例)VR空間内にいる仮想のモグラを実空間内で叩いて遊ぶ「VRモグラたたき」
####

ヒートマップ

ヒートマップと言われる可視化手法をご存知でしょうか?

数字データの強弱を色で視覚化する方法であり、 Webの世界ではページの中でどこの部分が良く⾒られているのかをマウスの動きなどを基に可視化する手法として用いられています。この手法は店舗やオフィス、工場内と言った実空間における⾏動分析の可視化手法としても用いられており、導線分析や滞留分析、またそれに基づく店舗 改善、業務改善などに用いられています。

####

開発するプロトタイプとシステム構成

• 実空間における⾏動分析ではカメラ画像やBLEビーコンなどを用いた2次元の⾏動分析ツールが既に多数商用化されています。しかし、3次元での⾏動分析(例:棚のどこに手を伸ばしたか?)につ いての事例は未だ多くはありません。

• そこで今回は、GR-PEACHと2台のビデオカメラを用いて3次元での⾏動分析を⾏う手法を提案し、 プロトタイピングによる実証をしたいと考えております。

• GR-PEACHにある2つのNTSC⼊⼒を使い2台のNTSCカメラを接続します。1台目のカメラはX-Z平 面を撮影し、2台目のカメラはY-Z平面を撮影します。2つのカメラ画像を組み合わせ、空間データ (XYZの3次元データ)を復元します。

• 復元された空間データは時系列でクラウド管理し、ヒートマップの手法を用いた可視化を⾏います。

 

システム構成

2台のカメラを90度交差させて配置し、空間データの復元をGR-PEACH上でリアルタイムに⾏います。

復元可能な空間は、レンズの画⾓に依存します。

復元した空間データはネットワークを経由してリアルタイムでサーバーに送信しサーバー上で蓄積管理 を⾏います。

サーバー上のデータは、専用の可視化ツールを用意 して参照できるようにします。

カメラ画像(パーソナルデータ)がネットワーク上に流れないため、ネットワーク帯域の削減とカメラ画像を扱う際に問題となるプライバシーの課題を低減することができます。

 

####

デモ動画

####

解説とソース

■デモ動画の概要
デモ動画はプロトタイプを実際に動作させたものです。動画の加工は行っていません。デモ動画に示すとおりの速度でリアルタイムに全てが処理されます。

赤いところが動きが無いところ、黄色いところが動きがあったところを表します。人が手をあげたり下げたり歩いたり立ち止まっていることが見て取れることと思います。

プロトタイプは人がいる位置に応じたコンテンツを表示するデジタルサイネージを意識したものとなっています。周囲に6枚のパネル(がじぇるねボードの写真)があり、人がその正面に立つとそのパネルが拡大表示されます。床に見えないスイッチがあるようなものであり、実際には音声などで目の前にある商品の解説などを行うことを想定しています。

プロトタイプの応用として監視カメラや見守りカメラなどへの活用も考えられます。動きが無い箇所が赤く表示されるため、不審者の滞留検知・通報システムなどへの応用が考えられます。

■プロトタイプの概要
3Dヒートマップの元データとなる3次元空間データは2台のカメラ画像を元にGR-PEACH上でリアルタイムに生成します。生成された3次元空間データはWebSocketを使いサーバーへリアルタイムで送信されます。

3DヒートマップはGR-PEACHから受信した3次元空間データを基にサーバー上で生成します。なお、本作品ではリアルタイム性を重視しており、DBやストレージへのデータ保存は行わずに10フレーム分の3次元空間データをオンメモリで保持して処理しています。

生成された3DヒートマップはPCのブラウザから見ることができます。マウス操作によって任意の視点から結果をリアルタイムにみることができます。また動画には掲載していませんが、アミューズメント分野への応用を想定した、スマホを使ったVRのデモプログラムも作成しています。VRゴーグルをつけて実空間を実際に歩きまわることで動画に示すような仮想空間内を歩き回ることができます。

■プロトタイプの性能
デモ動画では、幅2m、奥行き2m、高さ2mの実空間を4cm間隔で解析しています。解析する実空間の大きさと解析の精度は、処理速度(リアルタイム性)とのトレードオフとなります。GR-PEACHのメモリサイズの制約により、解析できる空間の最大の大きさは5cm間隔精度の場合は幅10m、奥行き10m、高さ2m程度なります。

また、サーバー側との通信速度やサーバー側の処理性能にも依存します。デモ動画ではクラウドサーバーは使わずにGR-PEACHと同一LAN内に有線で接続したPCをサーバーとして使用しています。

■成果物の再利用性
ソースコードは全てGitHub(https://github.com/takjn/lofsil)で公開しています。

@takjn

GRデザインコンテスト 2017 ファイナリスト

 

本職はWeb系のソフトウェアエンジニアをしています。

ハードウェアは素人です。電子工作は趣味として楽しんでいます。

ソースコードはGitHubで公開しています。Pull Requestもお待ちしています。

https://github.com/takjn/CitrusSweeper/

share

ページトップへ