请参阅自定义。

在人员快照上运行代码

请参阅 INSTALL.md 下载数据集。

我们在这里提供预训练模型。

处理人员快照

我们已经提供了一些经过处理的数据。如果要处理更多人物快照的视频，可以使用工具/process_snapshot.py。

您还可以使用工具/vis_snapshot.py可视化人物快照的 smpl 参数。

人物快照上的可视化

以可视化为例。可视化的命令行记录在 visualize.sh 中。female-3-casual

1. 下载相应的预训练模型并将其放入.$ROOT/data/trained_model/if_nerf/female3c/latest.pth

2. 可视化：

   • 可视化单帧的新视图

   python run.py --type visualize --cfg_file configs/snapshot_exp/snapshot_f3c.yaml exp_name female3c vis_novel_view True num_render_views 144
   

   

   • 使用固定摄像机可视化动态人类的视图

   python run.py --type visualize --cfg_file configs/snapshot_exp/snapshot_f3c.yaml exp_name female3c vis_novel_pose True
   

   

   • 可视化网格

   # generate meshes
   python run.py --type visualize --cfg_file configs/snapshot_exp/snapshot_f3c.yaml exp_name female3c vis_mesh True train.num_workers 0
   # visualize a specific mesh
   python tools/render_mesh.py --exp_name female3c --dataset people_snapshot --mesh_ind 226
   

   

3. 可视化结果位于 和 。$ROOT/data/render/female3c$ROOT/data/perform/female3c

人物快照培训

以培训为例。用于训练的命令行以 train.sh 格式记录。female-3-casual

1. 火车：

   # training
   python train_net.py --cfg_file configs/snapshot_exp/snapshot_f3c.yaml exp_name female3c resume False
   # distributed training
   python -m torch.distributed.launch --nproc_per_node=4 train_net.py --cfg_file configs/snapshot_exp/snapshot_f3c.yaml exp_name female3c resume False gpus "0, 1, 2, 3" distributed True
   

2. 白色背景火车：

   # training
   python train_net.py --cfg_file configs/snapshot_exp/snapshot_f3c.yaml exp_name female3c resume False white_bkgd True
   

3. 张量板：

   tensorboard --logdir data/record/if_nerf
   

在浙大动作卡普上运行代码

请参阅 INSTALL.md 下载数据集。

我们在这里提供预训练模型。

提供的 smpl 参数的潜在问题

1. 新拟合的参数位于 中。目前，已发布的预训练模型是根据先前拟合的参数进行训练的，这些参数位于 .new_paramsparams
2. ZJU-MoCap的smpl参数与MPI的smplx具有不同的定义。
   • 如果要从提供的 smpl 参数中提取顶点，请使用 。zju_smpl/extract_vertices.py
   • 此处描述了我们使用当前定义的原因。

可以使用 smplx 拟合的 smpl 参数训练神经体。

浙江大学-移动卡普测试

用于测试的命令行记录在 test.sh 中。

以测试为例。sequence 313

1. 下载相应的预训练模型并将其放入.$ROOT/data/trained_model/if_nerf/xyzc_313/latest.pth
2. 训练人体姿势的测试：

   python run.py --type evaluate --cfg_file configs/zju_mocap_exp/latent_xyzc_313.yaml exp_name xyzc_313
   

3. 测试看不见的人类姿势：

   python run.py --type evaluate --cfg_file configs/zju_mocap_exp/latent_xyzc_313.yaml exp_name xyzc_313 test_novel_pose True
   

浙江大学移动部可视化

以可视化为例。可视化的命令行记录在 visualize.sh 中。sequence 313

1. 下载相应的预训练模型并将其放入.$ROOT/data/trained_model/if_nerf/xyzc_313/latest.pth

2. 可视化：

   • 可视化单帧的新视图

   python run.py --type visualize --cfg_file configs/zju_mocap_exp/latent_xyzc_313.yaml exp_name xyzc_313 vis_novel_view True
   

   

   • 通过旋转 SMPL 模型可视化单帧的新视图

   python run.py --type visualize --cfg_file configs/zju_mocap_exp/latent_xyzc_313.yaml exp_name xyzc_313 vis_novel_view True num_render_views 100
   

   

   • 使用固定摄像机可视化动态人类的视图

   python run.py --type visualize --cfg_file configs/zju_mocap_exp/latent_xyzc_313.yaml exp_name xyzc_313 vis_novel_pose True num_render_frame 1000 num_render_views 1
   

   

   • 使用旋转相机可视化动态人类的视图

   python run.py --type visualize --cfg_file configs/zju_mocap_exp/latent_xyzc_313.yaml exp_name xyzc_313 vis_novel_pose True num_render_frame 1000
   

   

   • 可视化网格

   # generate meshes
   python run.py --type visualize --cfg_file configs/zju_mocap_exp/latent_xyzc_313.yaml exp_name xyzc_313 vis_mesh True train.num_workers 0
   # visualize a specific mesh
   python tools/render_mesh.py --exp_name xyzc_313 --dataset zju_mocap --mesh_ind 0
   

   

3. 可视化结果位于 和 。$ROOT/data/render/xyzc_313$ROOT/data/perform/xyzc_313

浙江大学-体育部培训

以培训为例。用于训练的命令行以 train.sh 格式记录。sequence 313

1. Train：

   # training
   python train_net.py --cfg_file configs/zju_mocap_exp/latent_xyzc_313.yaml exp_name xyzc_313 resume False
   # distributed training
   python -m torch.distributed.launch --nproc_per_node=4 train_net.py --cfg_file configs/zju_mocap_exp/latent_xyzc_313.yaml exp_name xyzc_313 resume False gpus "0, 1, 2, 3" distributed True
   
2. Train with white background：

   # training
   python train_net.py --cfg_file configs/zju_mocap_exp/latent_xyzc_313.yaml exp_name xyzc_313 resume False white_bkgd True
   

3. Tensorboard：

   tensorboard --logdir data/record/if_nerf