アイデアの内容や課題
スマートフォンやHololensのような最新機器と連携して空中操作が可能になる魔法のような空中操作が可能なコントローラです．

スマートフォンが高機能化したことによりAR/VRといった新しいアプリケーションの利用が可能になっています．たとえば，ARではApple社によるARKitやNiantic社によるPokemon GO，VRではハコスコ社製ハコスコやGoogle社製Google cardboardやDaydream Viewが世間を騒がせたことは記憶に新しいと思います．

しかし，AR/VRアプリケーションを操作する主要なコントローラは通常のアプリケーションと変わらずタッチパネルであり，平面的な入力しかできません．したがって，この入力手法の制約はARやVR用アプリケーションでの体験での制約となっています．

そこでMagic Operationは，電界を利用する専用センサにより手には何も装着せずに多様なジェスチャ認識を可能にします．これにより，今までスマートフォンでの入力が不可能だった多様な入力による新しいAR/VRアプリケーションの利用を可能にします．たとえば，スマホVRではタッチパネルの操作はほぼ不可能になり，視覚のみを利用するアプリケーションの活用に限られています．Magic Operationを利用すれば，装着したデバイスの周辺空間においてジェスチャ入力や3次元的な回転及び平行移動などが可能になります．これにより安価なスマホVRでの没入型3DCADモデリングや3Dペインティングなどの創作活動において直観的な操作が可能になります．

本プロトタイプでは、親指の姿勢変化に伴う母指伸筋の腱の動きによる外形形状の変化に着目し、親指の姿勢を推定する近赤外線センサを利用した指輪型インターフェースです。母指伸筋の腱による外形変化を指輪内側の近赤外線センサにより検出し、機械学習手法よって親指の5姿勢(ニュートラル、アップ、ダウン、レフト、ライト)を識別し,十字キー入力を可能にします。

使用する技術

・　近赤外線センサ

・　機械学習(分類)

・　GR-KURUMI

・　スマートフォン