HoloLens同士のオブジェクト共有で利用されるSharing機能の仕組みを解説して，TCPによる実装方法を紹介します．

HoloLensのSharingとは

複数のHoloLensが同一の位置に同一オブジェクトを表示して共有する機能をSharingといいます． Sharing機能はHoloLensをネットワークに接続することで各デバイスの位置と行動を共有しています．しかし，HoloLensはUnityアプリ起動時の位置を原点(0,0,0)として各オブジェクトの配置を行っているためそれぞれ固有の基準座標を持っています．そのため複数のHoloLensがSharingを行うためには以下の機能が必要になります．

複数のHoloLensの基準座標をそろえるための位置合わせ機能
各HoloLensの位置を行動を共有するためのネットワーク機能

今回はSharingの基本となるネットワーク通信の方法について紹介します．

Sharingのネットワーク通信方法

ネットワーク通信を行う場合

ローカルネットワークによるLAN内で通信を行う方法
インターネットを経由した遠隔地で通信を行う方法

があります．今回は遅延が少なく同一環境でのSharingを行う想定でローカルネットワークでのSharing方法を紹介します．

Sharingサーバーを利用

初期のMixedRealityToolkit(旧HoloToolkit)から同梱されているSharingサーバーを利用した通信方法です． MixedRealityToolkit(MRTK)のSource codeのzipファイルに同梱されています(githubのreleaseからダウンロードできるunitypackageには入っていません)． MixedRealityToolkit-Unity-1.2017.2.0\External\HoloToolkit\Sharing\Serverの中にSharingService.exeが入っており，これをUnityEditorまたは直接起動することで動作させることができます．

SharingService.exeを直接起動する場合はコマンドラインより

SharingService.exe -local

として起動する必要があります．

SharingサーバーはWindows環境でのみでしか動作しませんが，クラウド(Azure)などのWindowsのあるサーバー環境であればインターネット経由でのShringも可能となっています．ただしSharingサーバーが必ず必要になるためサーバーレス環境では動作できません．またHoloLensとUnityEditor上でのみ動作するため他のデバイスとの連携は難しいかもしれません．詳しい利用方法に関してはMRTKのSharingのサンプルシーンを確認してください．

UNETを利用

Unityが提供しているネットワーク機能であるUNETもHoloLensで利用できます．複数台からのネットワーク通信やサーバーレス機能など便利な機能が利用できます．またUnityが対応している様々なデバイスで動作できるので，HoloLensのほかにAndroidなどともSharingができます．ただしUnityが提供している機能なのでUnity以外の実行環境とのSharing，連携は難しいかもしれません．詳しい利用方法に関してはMRTKのSharingWithUNETのサンプルシーンを確認してください．

自前でTCP通信を行う

Unity以外の実行環境との通信やUnityでは行えないネットワーク処理を行わせたい場合には自前で通信処理を実装する必要があります．ここではTCPによるネットワーク通信を行います．しかしHoloLensの実行環境であるUWPが利用しているC#関数とUnityが利用できるC#関数が異なっているため，デバイスによる処理の切り分けを行う必要があります．

Unity編

主にUnityEditor上，Standalone環境などUWP環境以外で動作します．ネットワークには非同期処理を行いますが，Unity上ではバージョンによってはTaskが利用できない場合があるため，ThreadとTcpClient，TcpListenerで実装していきます．

サーバー側

 1 2 3 4 5 6 7 8 910111213141516171819202122232425262728293031

using System;
using System.Collections.Generic;
using System.Net;
using System.Threading;
using System.Net.Sockets;
using System.Text;

public class TcpNetworkServerManager
{
    public TcpNetworkServerManager(int port)
    {
        TcpListener tcpserver = new TcpListener(IPAddress.Any, port);
        tcpserver.Start();
        Thread thread = new Thread(() =>
        {
            TcpClient tcpclient = tcpserver.AcceptTcpClient();
            NetworkStream stream = tcpclient.GetStream();
            try
            {
                byte[] bytes = new byte[tcpclient.ReceiveBufferSize];
                stream.Read(bytes, 0, bytes.Length);
                stream.Write(bytes, 0, bytes.Length);
            }
            catch (Exception) { }
            stream.Close();
            tcpclient.Close();
            tcpserver.Stop();
        });
        thread.Start();
    }
}

サーバーとしてportを指定して接続を待ちます．
threadを開始しクライアントが接続を行ってきたらAcceptTcpClient()で接続を許可します．
クライアントからのデータ送信を受け取ってそのままクライアントへ返します．
処理が終了したのでthreadとサーバーを停止します．

クライアント側

 1 2 3 4 5 6 7 8 910111213141516171819202122232425262728293031323334353637

using System;
using System.Text;
using System.Threading;
using System.Net.Sockets;

public class TcpNetworkClientManager
{
    private NetworkStream stream = null;

    public TcpNetworkClientManager(string IP,int port)
    {
        Thread thread = new Thread(()=> {
            TcpClient tcp = new TcpClient(IP, port);
            stream = tcp.GetStream();
            try
            {
                byte[] bytes = new byte[tcp.ReceiveBufferSize];
                stream.Read(bytes, 0, bytes.Length);
                string ms = Encoding.UTF8.GetString(bytes);
            }
            catch (Exception) { }
            stream.Close();
            tcp.Close();
        });
        thread.Start();
    }

    public void SendMessage(string data)
    {
        if (stream != null)
        {
            byte[] bytes = Encoding.UTF8.GetBytes(data);
            Thread sendthread = new Thread(()=> { stream.Write(bytes, 0, bytes.Length); });
            sendthread.Start();
        }
    }
}

Thread内で接続先サーバーのIPアドレスとport番号を指定してサーバーに接続します．
サーバーとの接続に成功したらSendMessage(string data)よりデータを送信します．
サーバーからデータが送信されるとデータを受け取りstring msで文字列に変換します．
データの送受信に成功すると接続を停止します．

HoloLens編

HoloLensやImmersiveデバイスでは実行環境がUWPのためUnityのC#ネットワーク処理の関数が利用できません． UWPではTCPネットワーク通信用の関数としてStreamSocketとStreamSocketListenerを利用します．また非同期処理のためTaskを利用します．

この時UWPで動作する関数はUnityEditor上では動作しない場合があるため

#if UNITY_UWP
#endif

を利用して実行デバイスの切り分けを行います．

サーバー側

 1 2 3 4 5 6 7 8 9101112131415161718192021222324252627282930313233343536

using System;
using System.Collections.Generic;
#if UNITY_UWP
using System.IO;
using System.Threading.Tasks;
using Windows.Networking.Sockets;
using Windows.Storage.Streams;
#endif

public class TcpNetworkServerManager
{
    public TcpNetworkServerManager(int port)
    {
#if UNITY_UWP
        Task.Run(async()=>{
            StreamSocketListener streamsocketlistener = new StreamSocketListener();
            streamsocketlistener.ConnectionReceived += ConnectionReceived;
            await streamsocketlistener.BindServiceNameAsync(port.ToString());
        });
#endif
    }
#if UNITY_UWP
    private async void ConnectionReceived(StreamSocketListener sender, StreamSocketListenerConnectionReceivedEventArgs args)
    {
        StreamReader reader = new StreamReader(args.Socket.InputStream.AsStreamForRead());
        StreamWriter writer = new StreamWriter(args.Socket.OutputStream.AsStreamForWrite());
        try
        {
            string data = await reader.ReadToEndAsync();
            await writer.WriteAsync(data);
            await writer.FlushAsync();
        }
        catch (Exception) { }
    }
#endif
}

Taskを実行し内部でクライアントが接続してきた時に呼ばれるイベントを登録します．
接続用のportを指定し非同期で接続を待ちます．
クライアントが接続してきた場合，登録したイベント内でStreamReaderとStreamWriterを作成しデータの送受信を行えるようにします．
非同期でクライアントから送信されたデータを受け取りそのままクライアントへ返します．

クライアント側

 1 2 3 4 5 6 7 8 910111213141516171819202122232425262728293031323334353637383940414243

using System;
#if UNITY_UWP
using System.IO;
using System.Threading.Tasks;
using Windows.Networking;
using Windows.Networking.Sockets;
#endif

public class TcpNetworkClientManager
{
#if UNITY_UWP
    private StreamWriter writer = null;
#endif

    public TcpNetworkClientManager(string IP,int port)
    {
#if UNITY_UWP
        Task.Run(async () => {
            StreamSocket socket = new StreamSocket();
            await socket.ConnectAsync(new HostName(IP),port.ToString());
            writer = new StreamWriter(socket.OutputStream.AsStreamForWrite());
            StreamReader reader = new StreamReader(socket.InputStream.AsStreamForRead());
            try
            {
                string data = await reader.ReadToEndAsync();
            }
            catch (Exception) { }
            writer = null;
        });
#endif
    }

    public void SendMessage(string data)
    {
#if UNITY_UWP
        if (writer != null) Task.Run(async () =>
        {
            await writer.WriteAsync(data);
            await writer.FlushAsync();
        });
#endif
    }
}

Task内で接続先サーバーのIPアドレスとport番号を指定してサーバーに接続します．
サーバーとの接続に成功したらSendMessage(string data)よりデータを送信します．
サーバーからデータが送信されるとデータを受け取りstring dataで文字列に変換します．

加えてHoloLensでは動作させるUnityアプリの特定の機能に対して許可を設定する必要があります． UnityEditorのPlayerSettingsよりPublishing Settings内にCapabilitiesの項目があります．ネットワーク通信を行う場合にはCapabilities内の

InternetClient
InternetClientServer
PrivateNetworkClientServer

にチェックを入れてください

上記の設定項目はUWP用にUnityからプロジェクトを出力した後でもVisualStudio上で確認できます．プロジェクト内のPackage.appxmanifest内の機能にあります．

まとめ

実行環境ごとの切り分けが大変
自前で実装するのはデバイスの違いを吸収する必要があるので大変
サーバーが利用できるのならMRTKのSharingサーバーによるSharingがおすすめ
UnityのみでShringを行う場合はUNETによるShringが便利
今回の実装に関しては自前のHoloLensModuleにて複数台接続に対応したものを入れています．

なんかいろいろしてみます

HoloLensでSharingする方法(TCP編)