概要

2018/4/18にHoloLensRS4勉強会が行われ，WindowsMLとResearch modeについて紹介しました．「HoloLens RS4 Preview公開記念勉強会！＠アカツキ」で話しました

そこでHoloLensを使ったスライド操作を行うデモを行いました．(誤認識してうまくいかなかった) 今回はHoloLensRS4を用いたハンドジェスチャーコントローラーの作り方を紹介します．

開発環境

Windows10 Insider Preview
Visual Studio2017
Unity 2017.4.0f1
CustomVision(要アカウント登録)
HoloLens RS4

機能紹介

HoloLensで取得したハンドジェスチャーポーズでパソコンのスライドを操作します．

ハンドジェスチャーポーズの取得にHoloLensRS4のResearch modeから取得した深度情報を利用しています．取得した深度情報をWindowsMLを用いてどのハンドジェスチャーか判別します．判別後Wifi経由でパソコンにスライド操作のコマンドを送り，受信ソフトがパソコンを操作します．(勉強会ではPowerPointを操作) 勉強会ではHoloLens首にかけた状態で話をしたかったので，首にかけた状態でも動作できるように調整を行っています．

以下のソフトを作成します．

HoloLens深度情報取得用アプリ
HoloLensハンドジェスチャー認識アプリ
パソコン側コマンド受信用ソフト

WindowsMLとResearch modeの説明に関しては以下の記事を参照してください．

WindowsML : HoloLensでWindowsMLを試してみる(サンプル実行編)
Research mode : HoloLens RS4のResearch modeを使ってみる(サンプル実行編)

注意

HoloLensRS4のResearch modeは研究用，調査用機能のためバッテリーの消費が大きくなり動作が不安定になります．

ハンドジェスチャーの認識精度は学習データや実行環境などによって大きく変わります．

データ収集

HoloLensRS4のResearch modeを利用してジェスチャーポーズを取得します．取得センサーは短距離Depthセンサを利用します．短距離Depthセンサは手のシルエットを取得できるように調整されているため，手のシルエットのみを抜き出して保存することができます．

 1 2 3 4 5 6 7 8 9101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596

private async void InitSensor()
    {
        var mediaFrameSourceGroupList = await MediaFrameSourceGroup.FindAllAsync();
        var mediaFrameSourceGroup = mediaFrameSourceGroupList[0];
        var mediaFrameSourceInfo = mediaFrameSourceGroup.SourceInfos[0];
        var mediaCapture = new MediaCapture();
        var settings = new MediaCaptureInitializationSettings()
        {
            SourceGroup = mediaFrameSourceGroup,
            SharingMode = MediaCaptureSharingMode.SharedReadOnly,
            StreamingCaptureMode = StreamingCaptureMode.Video,
            MemoryPreference = MediaCaptureMemoryPreference.Cpu,
        };
        try
        {
            await mediaCapture.InitializeAsync(settings);
            var mediaFrameSource = mediaCapture.FrameSources[mediaFrameSourceInfo.Id];
            var mediaframereader = await mediaCapture.CreateFrameReaderAsync(mediaFrameSource, mediaFrameSource.CurrentFormat.Subtype);
            mediaframereader.FrameArrived += FrameArrived;
            await mediaframereader.StartAsync();
        }
        catch (Exception e)
        {
            UnityEngine.WSA.Application.InvokeOnAppThread(() => { Debug.Log(e); }, true);
        }
    }

    private void FrameArrived(MediaFrameReader sender, MediaFrameArrivedEventArgs args)
    {
        var mediaframereference = sender.TryAcquireLatestFrame();
        if (mediaframereference != null)
        {
            var videomediaframe = mediaframereference?.VideoMediaFrame;
            var softwarebitmap = videomediaframe?.SoftwareBitmap;
            if (softwarebitmap != null)
            {
                softwarebitmap = SoftwareBitmap.Convert(softwarebitmap, BitmapPixelFormat.Rgba8, BitmapAlphaMode.Premultiplied);
                int w = softwarebitmap.PixelWidth;
                int h = softwarebitmap.PixelHeight;
                if (bytes==null)
                {
                    bytes = new byte[w * h * 4];
                    savebytes = new byte[w * h / 2 * 4];
                }
                softwarebitmap.CopyToBuffer(bytes.AsBuffer());
                softwarebitmap.Dispose();
                for (int i = 0; i < bytes.Length / 4; ++i)
                {
                    byte b = bytes[i * 4];
                    bytes[i * 4 + 0] = 0;
                    bytes[i * 4 + 1] = 0;
                    bytes[i * 4 + 2] = 0;
                    bytes[i * 4 + 3] = 0;
                    if (b == 0)
                    {
                        bytes[i * 4 + 0] = 255;
                        bytes[i * 4 + 1] = 255;
                        bytes[i * 4 + 2] = 255;
                        bytes[i * 4 + 3] = 255;
                    }
                    if (b == 1)
                    {
                        bytes[i * 4 + 0] = 255;
                        bytes[i * 4 + 1] = 255;
                        bytes[i * 4 + 2] = 255;
                        bytes[i * 4 + 3] = 255;
                    }
                }
                var buf = new byte[bytes.Length];
                for (int i = 0; i < h; i++)
                {
                    for (int j = 0; j < w; j++)
                    {
                        buf[(w * (h - 1 - i) + j) * 4 + 0] = bytes[(w * i + j) * 4 + 0];
                        buf[(w * (h - 1 - i) + j) * 4 + 1] = bytes[(w * i + j) * 4 + 1];
                        buf[(w * (h - 1 - i) + j) * 4 + 2] = bytes[(w * i + j) * 4 + 2];
                        buf[(w * (h - 1 - i) + j) * 4 + 3] = bytes[(w * i + j) * 4 + 3];
                    }
                }
                for (int i = 0; i < savebytes.Length; i++)
                {
                    savebytes[i] = buf[buf.Length / 2 + i];
                }
                UnityEngine.WSA.Application.InvokeOnAppThread(() => {
                    if (tex == null)
                    {
                        tex = new Texture2D(w, h/2, TextureFormat.RGBA32, false);
                        GetComponent<Renderer>().material.mainTexture = tex;
                    }
                    tex.LoadRawTextureData(savebytes);
                    tex.Apply();
                }, true);
            }
            mediaframereference.Dispose();
        }
    }