开源
AlphaPose:是一个实时全身多人姿势估计与跟踪系统
来源:元经纪     阅读:1017
网站管理员
发布于 2023-06-19 09:10
查看主页

概述

AlphaPose是一个基于深度学习的开源项目,可以在图像和视频中实现多人姿势估计,并且支持单人和多人追踪。 AlphaPose也是一个实时全身多人姿势估计与跟踪系统。它是第一个开源系统,在COCO数据集上达到70+ mAP(75 mAP),在MPII数据集上达到80+ mAP(82.1 mAP)。 为了在帧中匹配与同一个人相对应的姿势,还提供了一种称为Pose Flow的高效在线姿势跟踪器。它是第一个在PoseTrack Challenge数据集上达到60+ mAP(66.5 mAP)和50+ MOTA(58.3 MOTA)的开源在线姿势跟踪器。AlphaPose支持Linux和Windows。

结果

姿势估计

[hidecontent type="logged" desc="隐藏内容:登录后可查看"]

COCO 测试开发 2015 的结果:

方法 AP @0.5:0.95 AP @0.5 AP @0.75 美联社媒体 AP大
OpenPose(CMU-姿势) 61.8 84.9 67.5 57.1 68.2
检测器(Mask R-CNN) 67.0 88.0 73.1 62.2 75.6
阿尔法姿势 73.3 89.2 79.1 69.0 78.6

MPII 完整测试集的结果:

方法 肩膀 弯头 手腕 时髦的 膝盖 大道
OpenPose(CMU-姿势) 91.2 87.6 77.7 66.8 75.4 68.9 61.7 75.6
纽厄尔和邓 92.1 89.3 78.9 69.8 76.2 71.6 64.7 77.5
阿尔法姿势 91.3 90.5 84.0 76.4 80.3 79.9 72.4 82.1

docs/MODEL_ZOO.md中提供了更多结果和模型。

姿势追踪

详情请阅读trackers/README.md 。

人群姿势

详情请阅读docs/CrowdPose.md 。

安装

请查看文档/INSTALL.md

MODEL_ZOO

请查看文档/MODEL_ZOO.md

快速开始

  • Colab:我们提供了一个Colab 示例,供您快速入门。

  • 推理:推理演示

./scripts/inference.sh ${CONFIG} ${CHECKPOINT} ${VIDEO_NAME} # ${OUTPUT_DIR}, optional

basicModel_neutral_lbs_10_207_0_v1.0.0.pkl推理 SMPL(从这里下载 SMPL 模型并将其放入model_files/)。

./scripts/inference_3d.sh ./configs/smpl/256x192_adam_lr1e-3-res34_smpl_24_3d_base_2x_mix.yaml ${CHECKPOINT} ${VIDEO_NAME} # ${OUTPUT_DIR}, optional

有关高级 API,请参阅./scripts/demo_api.py。要启用跟踪,请参阅此页面

  • 训练:从头开始训练
./scripts/train.sh ${CONFIG} ${EXP_ID}
  • 验证:在 MSCOCO val2017 上验证您的模型
./scripts/validate.sh ${CONFIG} ${CHECKPOINT}

例子:

演示使用FastPose模型。

./scripts/inference.sh configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml pretrained_models/fast_res50_256x192.pth ${VIDEO_NAME}
#or
python scripts/demo_inference.py --cfg configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml --checkpoint pretrained_models/fast_res50_256x192.pth --indir examples/demo/
#or if you want to use yolox-x as the detector
python scripts/demo_inference.py --detector yolox-x --cfg configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml --checkpoint pretrained_models/fast_res50_256x192.pth --indir examples/demo/

FastPose在 mscoco 数据集上训练。

./scripts/train.sh ./configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml exp_fastpose

更详细的推理选项和示例,请参考GETTING_STARTED.md

引用

如果对您的研究有帮助,请在您的出版物中引用这些论文:

@article{alphapose,
  author = {Fang, Hao-Shu and Li, Jiefeng and Tang, Hongyang and Xu, Chao and Zhu, Haoyi and Xiu, Yuliang and Li, Yong-Lu and Lu, Cewu},
  journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title = {AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time},
  year = {2022}
}

@inproceedings{fang2017rmpe,
  title={{RMPE}: Regional Multi-person Pose Estimation},
  author={Fang, Hao-Shu and Xie, Shuqin and Tai, Yu-Wing and Lu, Cewu},
  booktitle={ICCV},
  year={2017}
}

@inproceedings{li2019crowdpose,
    title={Crowdpose: Efficient crowded scenes pose estimation and a new benchmark},
    author={Li, Jiefeng and Wang, Can and Zhu, Hao and Mao, Yihuan and Fang, Hao-Shu and Lu, Cewu},
    booktitle={Proceedings of the IEEE/CVF conference on computer vision and pattern recognition},
    pages={10863--10872},
    year={2019}
}

如果您使用了 3D 网格重建模块,请同时引用:

@inproceedings{li2021hybrik,
    title={Hybrik: A hybrid analytical-neural inverse kinematics solution for 3d human pose and shape estimation},
    author={Li, Jiefeng and Xu, Chao and Chen, Zhicun and Bian, Siyuan and Yang, Lixin and Lu, Cewu},
    booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
    pages={3383--3393},
    year={2021}
}

如果您使用了 PoseFlow 跟踪模块,请同时引用:

@inproceedings{xiu2018poseflow,
  author = {Xiu, Yuliang and Li, Jiefeng and Wang, Haoyu and Fang, Yinghong and Lu, Cewu},
  title = {{Pose Flow}: Efficient Online Pose Tracking},
  booktitle={BMVC},
  year = {2018}
}

执照

AlphaPose 可免费用于非商业用途,并可在这些条件下重新分发。对于商业查询,请发送电子邮件至 mvig.alphapose[at]gmail[dot]com 和 cc lucewu[[at]sjtu[dot]edu[dot]cn。我们会将详细协议发送给您。

 

[/hidecontent]

 
免责声明:本文为用户发表,不代表网站立场,仅供参考,不构成引导等用途。 开源
徐起:neo系列未来将承载“更懂年轻人的电竞旗舰”使命
携“数”十载丨L4级自动驾驶重卡亮相数博会 开启物流高效安全新时代
山西大学科研团队在连续流动仿生串联催化领域取得创新突破
男子连续驾车11个小时带着全家翻车 交警提醒:切勿疲劳驾驶
枣庄供电公司研发应用配网智能运维可视化系统

首页

分类

定制方案

消息

我的