Tokyo HoloLens ミートアップ vol.11 忘年会スペシャル！(2018/12/15)で「隣に推しのVTuberがいて欲しい」についてLTを行い，作成したコンテンツの展示も行いました． https://hololens.connpass.com/event/106177/
(2018/12/18追記)リンクを追加しました．
「隣にVTuber」の内容
- 動画サイトなどで公開されている2DのVirtualYoutuberの動画を解析することで表情を読み取りHoloLens上の3Dモデルに反映しています．
- 表情読み取りのため機械学習ライブラリdlibを用いて対象キャラクターの学習モデルを作成しています．
LTスライド
LT動画
展示
- スマホもPCも展示に使ってたのでフル構成の画像はTwitterから
#tmcn #GlobalMRBootcamp
— ちょまどMadoka＠エンジニア兼マンガ家 (@chomado) 2018年12月15日
Virtual Youtuber の #因幡はねる ちゃんの
動画の表情を解析して#HoloLens で隣に居てくれるようにした
アプリだって！
すごい😍体験したけどめちゃ可愛かった😍私の隣に座ってた😍嬉しい pic.twitter.com/VAm3YqlQhx
まとめ
- 推しを押した
- 展示の時にMiracastでHoloLens内の映像出してたら見てくれる人もいたので便利
- 画像解析用にPC使ってたのでAndroidでもMiracastできてよかった，おすすめ
HoloLens RS5のMiracastをAndroidで受信するときは以下のアプリの解像度設定を1280x720にする(ZenfoneAR)https://t.co/vqYdacIBRO
— アキヒロ (@akihiro01051) 2018年10月18日
- 今回作成した「隣にVTuber」システムはコードをまとめ次第ブログとGithubに公開予定です