pointlstm gesture recognition：基于点云的手势识别

概述

点云包含丰富的空间信息，为手势识别提供了补充线索。

说明

在本文中，我们将手势识别制定为不规则序列识别问题，旨在捕获点云序列之间的长期空间相关性。提出了一种新颖有效的 PointLSTM 来将信息从过去传播到未来，同时保留空间结构。所提出的 PointLSTM 将过去相邻点的状态信息与当前特征相结合，通过权重共享 LSTM 层更新当前状态。该方法可以集成到许多其他序列学习[rihide]方法中。在手势识别任务中，所提出的 PointLSTM 在两个具有挑战性的数据集（NVGesture 和 SHREC'17）上取得了最先进的结果，并且优于以前的基于骨架的方法。

使用条件

这些代码在 Pytorch (>1.0) 中实现。因此请先安装 Pytorch。

详细步骤

[hidecontent type="logged" desc="隐藏内容：登录后可查看"]

获取代码

使用 git 克隆这个 repo，请使用：

git clone https://github.com/Blueprintf/pointlstm_gesture_recognition_pytorch.git

数据准备

SHREC'17

下载SHREC'17数据集【可视化】并放到HandGestureDataset_SHREC2017目录./dataset/SHREC2017，建议对下载的数据集做一个软链接。
从深度视频生成点云序列，并将处理后的点云保存在./dataset/Processed_SHREC2017. 每个视频生成32*256个点，生成的点云约占2.5G。

cd dataset
python shrec17_process.py

手势

下载NvGesture数据集【可视化】，将NvGesture目录解压到./dataset/Nvidia，建议对下载的数据集做一个软链接。
从深度视频生成点云序列，并将处理后的点云保存在./dataset/Nvidia/Processed. 每个视频生成32*512个点，生成的点云约占11G。

cd dataset
python nvidia_dataset_split.py
python nvidia_process.py

训练

在 SHREC'17 上使用 k=16 训练 PointLSTM-middle：

cd experiments
python main.py --phase=train --work-dir=PATH_TO_SAVE_RESULTS --device=0

我们还在Google Drive或百度云[passwd: trhi] 上提供了经过训练的模型。

推理

cd experiments
python main.py --phase=test --work-dir=PATH_TO_SAVE_RESULTS --device=0 --weights=PATH_TO_WEIGHTS

[/hidecontent]