なんかいろいろしてみます

Apr 21, 2018 - 3 minute read - HoloLens

HoloLensRS4のWindowsML+Research modeでハンドジェスチャー

概要

2018/4/18にHoloLensRS4勉強会が行われ,WindowsMLとResearch modeについて紹介しました. 「HoloLens RS4 Preview公開記念勉強会!@アカツキ」で話しました

そこでHoloLensを使ったスライド操作を行うデモを行いました.(誤認識してうまくいかなかった) 今回はHoloLensRS4を用いたハンドジェスチャーコントローラーの作り方を紹介します.

開発環境

  • Windows10 Insider Preview
  • Visual Studio2017
  • Unity 2017.4.0f1
  • CustomVision(要アカウント登録)
  • HoloLens RS4

機能紹介

HoloLensで取得したハンドジェスチャーポーズでパソコンのスライドを操作します.

ハンドジェスチャーポーズの取得にHoloLensRS4のResearch modeから取得した深度情報を利用しています. 取得した深度情報をWindowsMLを用いてどのハンドジェスチャーか判別します. 判別後Wifi経由でパソコンにスライド操作のコマンドを送り,受信ソフトがパソコンを操作します.(勉強会ではPowerPointを操作) 勉強会ではHoloLens首にかけた状態で話をしたかったので,首にかけた状態でも動作できるように調整を行っています.

以下のソフトを作成します.

  • HoloLens深度情報取得用アプリ
  • HoloLensハンドジェスチャー認識アプリ
  • パソコン側コマンド受信用ソフト

WindowsMLとResearch modeの説明に関しては以下の記事を参照してください.

注意

HoloLensRS4のResearch modeは研究用,調査用機能のためバッテリーの消費が大きくなり動作が不安定になります.

ハンドジェスチャーの認識精度は学習データや実行環境などによって大きく変わります.

データ収集

HoloLensRS4のResearch modeを利用してジェスチャーポーズを取得します. 取得センサーは短距離Depthセンサを利用します. 短距離Depthセンサは手のシルエットを取得できるように調整されているため,手のシルエットのみを抜き出して保存することができます.

 1private async void InitSensor()
 2    {
 3        var mediaFrameSourceGroupList = await MediaFrameSourceGroup.FindAllAsync();
 4        var mediaFrameSourceGroup = mediaFrameSourceGroupList[0];
 5        var mediaFrameSourceInfo = mediaFrameSourceGroup.SourceInfos[0];
 6        var mediaCapture = new MediaCapture();
 7        var settings = new MediaCaptureInitializationSettings()
 8        {
 9            SourceGroup = mediaFrameSourceGroup,
10            SharingMode = MediaCaptureSharingMode.SharedReadOnly,
11            StreamingCaptureMode = StreamingCaptureMode.Video,
12            MemoryPreference = MediaCaptureMemoryPreference.Cpu,
13        };
14        try
15        {
16            await mediaCapture.InitializeAsync(settings);
17            var mediaFrameSource = mediaCapture.FrameSources[mediaFrameSourceInfo.Id];
18            var mediaframereader = await mediaCapture.CreateFrameReaderAsync(mediaFrameSource, mediaFrameSource.CurrentFormat.Subtype);
19            mediaframereader.FrameArrived += FrameArrived;
20            await mediaframereader.StartAsync();
21        }
22        catch (Exception e)
23        {
24            UnityEngine.WSA.Application.InvokeOnAppThread(() => { Debug.Log(e); }, true);
25        }
26    }
27
28    private void FrameArrived(MediaFrameReader sender, MediaFrameArrivedEventArgs args)
29    {
30        var mediaframereference = sender.TryAcquireLatestFrame();
31        if (mediaframereference != null)
32        {
33            var videomediaframe = mediaframereference?.VideoMediaFrame;
34            var softwarebitmap = videomediaframe?.SoftwareBitmap;
35            if (softwarebitmap != null)
36            {
37                softwarebitmap = SoftwareBitmap.Convert(softwarebitmap, BitmapPixelFormat.Rgba8, BitmapAlphaMode.Premultiplied);
38                int w = softwarebitmap.PixelWidth;
39                int h = softwarebitmap.PixelHeight;
40                if (bytes==null)
41                {
42                    bytes = new byte[w * h * 4];
43                    savebytes = new byte[w * h / 2 * 4];
44                }
45                softwarebitmap.CopyToBuffer(bytes.AsBuffer());
46                softwarebitmap.Dispose();
47                for (int i = 0; i < bytes.Length / 4; ++i)
48                {
49                    byte b = bytes[i * 4];
50                    bytes[i * 4 + 0] = 0;
51                    bytes[i * 4 + 1] = 0;
52                    bytes[i * 4 + 2] = 0;
53                    bytes[i * 4 + 3] = 0;
54                    if (b == 0)
55                    {
56                        bytes[i * 4 + 0] = 255;
57                        bytes[i * 4 + 1] = 255;
58                        bytes[i * 4 + 2] = 255;
59                        bytes[i * 4 + 3] = 255;
60                    }
61                    if (b == 1)
62                    {
63                        bytes[i * 4 + 0] = 255;
64                        bytes[i * 4 + 1] = 255;
65                        bytes[i * 4 + 2] = 255;
66                        bytes[i * 4 + 3] = 255;
67                    }
68                }
69                var buf = new byte[bytes.Length];
70                for (int i = 0; i < h; i++)
71                {
72                    for (int j = 0; j < w; j++)
73                    {
74                        buf[(w * (h - 1 - i) + j) * 4 + 0] = bytes[(w * i + j) * 4 + 0];
75                        buf[(w * (h - 1 - i) + j) * 4 + 1] = bytes[(w * i + j) * 4 + 1];
76                        buf[(w * (h - 1 - i) + j) * 4 + 2] = bytes[(w * i + j) * 4 + 2];
77                        buf[(w * (h - 1 - i) + j) * 4 + 3] = bytes[(w * i + j) * 4 + 3];
78                    }
79                }
80                for (int i = 0; i < savebytes.Length; i++)
81                {
82                    savebytes[i] = buf[buf.Length / 2 + i];
83                }
84                UnityEngine.WSA.Application.InvokeOnAppThread(() => {
85                    if (tex == null)
86                    {
87                        tex = new Texture2D(w, h/2, TextureFormat.RGBA32, false);
88                        GetComponent<Renderer>().material.mainTexture = tex;
89                    }
90                    tex.LoadRawTextureData(savebytes);
91                    tex.Apply();
92                }, true);
93            }
94            mediaframereference.Dispose();
95        }
96    }

InitSensor関数でDepthカメラの設定を行い, FrameArrived関数にてDepthデータの取得と画像変換を行っています.

その後,取得したDepthデータを画像として保存します. 今回は以下のようにポーズを左右の手に分けてそれぞれデータを取得しています. またHoloLensを首にかけて使用するため画像の下半分に体が映りこんでしまいます. そのため画像の上半分のみを保存するようにしています.

  • 人差し指を立てた状態
  • 親指を立てた状態
  • 人差し指と親指を立てた状態
  • 上記以外

取得した画像データは機械学習のためフォルダ毎に分けて整理しておきます.

HoloLensで保存した画像データをフォルダ分けするまでの手順は以下の記事でも紹介しています.

HoloLensとWindowsMLとCustomVisionを使って手書き認識をしてみる(データ収集編)

機械学習

HoloLensから取得した画像データを整理,分類してCustomvisionによる機械学習を行います. プロジェクトを作成してフォルダごとに画像をアップロードし機械学習を行います. 学習後mlmodel形式でエクスポートしパソコンに保存します.

保存後にmlmoelからonnx形式に変換します. 変換にはpythonを利用するのでBash on WindowsからUbuntuと変換ツールの構築をおこなってください.

CustomVisionの使い方とonnx形式への変換方法は以下の記事で紹介しています.

HoloLensとWindowsMLとCustomVisionを使って手書き認識をしてみる(学習データ利用編)

ハンドジェスチャコントローラー作成

HoloLens側実装

CustomVisionから作成したonnxファイルを使ってHololensのWindowsMLでジェスチャーの判別を行います. 入力画像は学習データ取得時と同様にResearch modeの短距離Depthセンサを利用します.

ジェスチャー判別後はネットワーク上のパソコンへスライド操作用のコマンドを送信します.(今回はUDPで送っています)

HololensでのWindowsMLの使い方は以下の記事にて紹介しています.

HoloLensとWindowsMLとCustomVisionを使って手書き認識をしてみる(学習データ利用編)

PC側実装

HoloLensから送信されたスライド操作用コマンドを受信してパソコン上のスライドを操作します. 今回は簡略化のため以下のような設定になっています.

  • コマンドは矢印キーの入力としてパソコンを操作する.
  • とりあえずスライドを進めるために「→」キーのみ操作するようにする.

まとめ

  • HoloLensRS4でWindowsMLとResearch modeを利用したアプリを作った.
  • 学習データと実行環境が十分でなかったので誤動作が多かった.