構成:android,unity,顔認識
カメラからの顔認識を使った2つのモードで遊ぶアプリです。暗いと認識しないので注意。 2つのモードがあって、トラッキングモードはフェイストラッキングできるやつ。目、口、頭の位置を認識。ウィンクもあくびもできます。タッチ操作でアングルを変えたり、画面下部タッチで、VRMで設定したブレンドシェイプも。 作った理由は、androidに #VRM のフェイストラッキングがなかったから。AssetのCVVTuberをもとにしてます。画像処理なので、ちょっと重いのと暗いと認識が落ちるのが課題。Dlib FaceLandmark Detectorを使ってますが、顔検知の元データがCC0になった模様。 ディスプレイモードは、VRMが待機モーションで表示されて、顔の位置に連動して表示も動いてくれるやつ。片目やカメラ越しだと立体的に見えるかも? 用途は、ブースの横に立てかけて置くとか。タッチ操作で、モデルを近づけて画面から飛び出たり(してるように見えなくもない。本来的にはこのモードをARcoreで実装するアプリだったけど、途中でARcore経由のfront cameraが動作しなくなり、やむなくopenCVに移行。 VRM対応アプリを作ってみたかったのと、裸眼でどこまでプレゼンスを上げれるか?の実験でした。脳をバグらせるのは難しい。 デフォルトアバターから自前のVRMに置き換えられます。下記のパスに.vrmを1個置いてもらえれば。 \Android\data\com.Monaka.VFrame\files\VFrame
https://play.google.com/store/apps/details?id=com.Monaka.VFrame