なんかいろいろしてみます

Jul 19, 2023 - 1 minute read - Other

MobileNeRFで独自データをUnityで表示するまで

MobileNeRFで独自データをUnityで表示するまで

MobileNeRF

https://github.com/google-research/jax3d/tree/main/jax3d/projects/mobilenerf

  • AttributeError: module ‘flax’ has no attribute ‘optim’
    • pip install flax==0.5.1

  • stage1.py,stage2.py,stage3.py,stage3_with_box.py共通

    • 以下をコメント化

      #if len(jax.local_devices())!=8:
#  print("ERROR: need 8 v100 GPUs")
#  1/0

    • スケール(image_scale=4)を追加

      image_scale=4
data = {'train' : load_LLFF(scene_dir, 'train',image_scale),
          'test' : load_LLFF(scene_dir, 'test',image_scale)}

  • stage1.py

    • 学習回数を変更可能にしておく

      1491 : training_iters = set_training_iters #10000 #200000
1492 : train_iters_cont = set_train_iters_cont #20000 #300000
1493 : if scene_type=="real360":
1494 :   training_iters = set_training_iters_real360 #20000 #300000

  • stage2.py

    • 学習回数を変更可能にしておく

      1539 : training_iters = set_training_iters #20000 #400000
        
1909 : training_iters = set_training_iters_test #5000 #100000

LLFFを利用した独自データの作成

MobileNeRF用

llffによる位置合わせ

  • pipのtensorflow-gpuは自前でGPU対応を入れなおす

  • images : オリジナルの画像

  • images2 : 1/2サイズ

  • images4 : 1/4サイズ

  • images8 : 1/8サイズ(必要であれば)

imgs2poses.py "<画像フォルダ>"
  • poses_bounds.npy,database.dbが出力されれば成功

MobileNeRF-Unity

https://github.com/julienkay/MobileNeRF-Unity-Viewer

シェア