なんかいろいろしてみます

Dec 18, 2018 - 1 minute read - Dlib

隣にVTuber(環境構築編)

dlibを用いて作成した学習済みモデルを利用して動画からキャラクターの表情を取得し，HoloLensで3Dモデルの表情を変化させる方法を紹介します．

概要

「Tokyo HoloLens ミートアップ vol.11　忘年会スペシャル！」で展示，LTしましたで展示した「隣にVTuber」システムの紹介をします．

今回VirtualYoutuberの因幡はねるさんをリアルタイムに表情認識し，その情報を使ってHoloLensで隣にいてもらうために作りました．

まずは表情認識を行うための環境を構築します．

表情認識学習済みモデル作成環境

表情認識にはdlb http://dlib.net/という機械学習が行えるライブラリを利用します．

ライブラリ自体には手を加えないため学習済みモデルの作成はpythonを利用しています． そのためpython環境の構築が簡単なbash on ubuntu on windowsを利用します．

しかし表情認識を行う時にはWindowsのデスクトップ上の動画を取得するため，dlibのC++ライブラリからWindows向けのプログラムを作成します．

Windows編

bash on ubuntu on windows編

  • bash on ubuntu on windowsのインストール方法は各自確認してください．
  • 設定 -> アプリ -> プログラムと機能 -> Windowsの機能の有効化または無効化 -> 「Windows Subsystem for Linux」にチェックを入れる -> Microsoft Storeから「Ubuntu」をインストール
  • インストールした「Ubuntu」アプリを起動してユーザー名とパスワードを設定
  • Ubuntuの初期設定完了後以下のコマンドを順番に実行して アップデートの確認 -> GUI表示の有効化 -> python環境のインストール -> dlibのインストール -> opencvのインストール を行います．
 1 2 3 4 5 6 7 8 91011121314151617
 
sudo apt-get update

sudo apt-get install x11-apps
echo 'export DISPLAY=localhost:0.0' >> ~/.bashrc

sudo apt-get install python-matplotlib
sudo apt-get install python-skimage

sudo apt-get install python-pip
sudo apt-get install cmake
sudo apt-get install libboost-all-dev
sudo apt-get install libqt4-dev
sudo apt-get install ipython
sudo apt-get install unzip

sudo pip install dlib
sudo pip install opencv-python
  • 設定が完了すれば次回で利用するdlibを使ったpythonスクリプトが利用できるようになります．

まとめ

  • dlibを利用するためのWindowsとbash on ubuntu on windowsの環境を設定をしました．
  • 次回は表情認識学習済みモデルを作成します． 隣にVTuber(学習データ作成編)

シェア