开源
4d_association:基于多视图视频输入的实时多人运动捕捉算法
来源:元经纪     阅读:1107
网站管理员
发布于 2023-03-09 02:37
查看主页

概述

本文提出了一种基于多视图视频输入的实时多人运动捕捉算法,由于严重的自遮挡,多视图运动相互作用密切,对多视图和多时间帧进行关节点优化是必不可少的,这就对实时性提出了挑战。为此,首次将 逐视图解析、跨视图匹配和时间跟踪 统一到一个单一的优化框架中。即一种4D关联图,可以同时处理图像空间、视角和时间的各个维度。

您可以下载数据集

[hidecontent type="logged" desc="隐藏内容:登录后可查看"]

https://cloud.tsinghua.edu.cn/f/82b5512334344a4187ff/?dl=1

介绍

我们的工作4D Association Graph使用多视图视频输入贡献了一种新颖的实时多人动作捕捉算法。由于每个视图中的严重遮挡和紧密交互的运动,对多视图图像和多个时间帧的联合优化是必不可少的,这带来了实时效率的基本挑战。我们的贡献包括:

  • 4D Association Graph Representation:将每个视图的解析、交叉视图匹配和时间跟踪统一到一个优化框架中,每个维度都可以同时平等对待。现有的关联方法只考虑这些关联的一部分,或者简单地按顺序操作它们,这降低了运动重建的质量和效率。
  • Robust Realtime Motion Capture System:提出一种基于启发式搜索的 4D 肢体束解析求解器,以实现实时重建(30fps)。
  • Multi-person 3D Skeleton Dataset:多视角 RGB 视频,具有来自 optitrack 的对齐的高质量 3D 骨骼,主要关注近距离交互和具有挑战性的动作。

入门

我们的项目在 visual studio 2017(c++ 17) 上运行,需要Eigenjsoncppopencv(4.2)

您可以下载我们预先构建的 bin 文件

 https://pan.baidu.com/s/184RRDghnwiSCmEbxneyamQ  4enh

然后将依赖文件解压到C:\cppmodule其他地方,并检查.props文件以确保编译器可以找到正确的include路径和lib路径。另外,需要将依赖的dll文件复制到exe目录下或者添加到系统环境中。 最后,您将选择平台releasex64编译和运行我们的演示。

[/hidecontent]

免责声明:本文为用户发表,不代表网站立场,仅供参考,不构成引导等用途。 开源
迪士尼《白雪公主》真人版正式杀青:女主曾喊话绝不漂白我的皮肤
3月20日发布!华为全新1610手机来了:姚安娜两个手势暗示全新外观
亚马逊选品策略与实践指南
专家探讨“AI觉醒”:如何应对人工智能带来的挑战?
江西移动成功售出江西首单3C国补手机

首页

分类

定制方案

消息

我的