一种人体姿态数据集的采集方法及数据采集平台技术

技术编号:39644732 阅读:8 留言:0更新日期:2023-12-09 11:12
本发明专利技术公开了一种人体姿态数据集的采集方法及数据采集平台,涉及数据集制作技术领域,其技术方案要点是:包括

【技术实现步骤摘要】
一种人体姿态数据集的采集方法及数据采集平台


[0001]本专利技术涉及数据集制作
,更具体地说,它涉及一种人体姿态数据集的采集方法及数据采集平台


技术介绍

[0002]人体感知与建模是计算机视觉

人机交互

普适计算和计算机图形学等领域的基础技术

人体姿态重建与动作感知在现实生活中有较为广泛的应用,例如游戏

家居自动化

自动驾驶

增强和虚拟现实

动画制作以及康复治疗等

[0003]然而,现有的人体姿态估计方法主要依赖
RGB
相机和可穿戴惯性传感器,在实际场景中存在显著局限性

例如,
RGB
相机具有较为丰富的纹理细节信息,在一些敏感场合下,容易造成使用者隐私的泄露

并且
RGB
相机对光照条件较为敏感,在强光或弱光条件下易发生图像失真

可穿戴惯性传感器虽然成本较低,能够解决视觉传感器受光照影响的问题,但要求用户始终佩戴,对使用者的遵从性要求较高,从而导致使用体验较差

[0004]因此,本专利技术旨在提供一种人体姿态数据集的采集方法及数据采集平台,以解决上述提到的相关问题


技术实现思路

[0005]本专利技术的目的是提供一种人体姿态数据集的采集方法及数据采集平台,以解决上述提到的容易造成使用者隐私的泄露以及图像质量较差导致准确度不高的相关问题

[0006]本专利技术的上述技术目的是通过以下技术方案得以实现的:一种人体姿态数据集的采集方法,包括以下步骤:
[0007]S1
:构建多模态人体姿态估计数据采集平台,所述数据采集平台连接有数据处理系统,所述数据采集平台包括
RGB
相机

毫米波雷达以及红外相机;
[0008]S2
:利用所述数据采集平台,获取一个或多个人体姿态数据;
[0009]S3
:分别记录
RGB
相机

毫米波雷达以及红外相机获取所述人体姿态数据时的时间戳信息,基于所述时间戳信息进行时间校准同步;
[0010]S4
:以
RGB
相机坐标系为空间同步基准,将毫米波雷达与红外相机坐标系进行转换同步,实现
RGB
相机

毫米波雷达以及红外相机的空间同步;
[0011]S5
:以
RGB
相机所采集的数据为基准,对毫米波雷达与红外相机采集到的人体姿态数据进行
2D

3D
的人体关键点信息标注,并基于所述人体关键点标注信息定义动作类别;
[0012]S6
:对步骤
S5
所述人体关键点标注信息以及对应动作类别进行存储,得到人体姿态数据集

[0013]本专利技术进一步设置为:利用所述数据采集平台,获取一个或多个人体姿态数据的具体步骤包括:
[0014]S201
:基于数据处理系统,创建
ROS
数据采集节点以及节点调用文件;
[0015]S202
:利用
ROS
数据采集节点触发所述数据采集平台,分别采集一个或多个的人体
姿态;
[0016]S203
:利用节点调用文件对相关话题的人体姿态进行录制,得到人体姿态数据

[0017]本专利技术进一步设置为:分别记录
RGB
相机

毫米波雷达以及红外相机获取所述人体姿态数据时的时间戳信息,基于所述时间戳信息进行时间校准同步的具体步骤包括:
[0018]S301
:创建
ROS
节点并对数据处理系统进行初始化;
[0019]S302
:以回调的方式分别订阅毫米波雷达的点云
、RGB
相机的图像和深度图像

红外相机图像并输出对应的时间戳信息;
[0020]S303
:多传感器同步数据时间戳,实现多传感器的时间同步

[0021]本专利技术进一步设置为:以
RGB
相机坐标系为空间同步基准,将毫米波雷达与红外相机坐标系进行转换同步,实现
RGB
相机

毫米波雷达以及红外相机的空间同步的具体步骤包括:
[0022]S401
:分别获得
RGB
相机的第一内参矩阵以及红外相机的第二内参矩阵;
[0023]S402
:对毫米波雷达点云进行处理,将雷达坐标系转换为相机坐标系;
[0024]S403
:基于
RGB
相机的第一内参矩阵,将雷达点云从相机坐标系转换为像素坐标系;
[0025]S404
:计算红外相机相对于
RGB
相机的第一外参;
[0026]S405
:将红外图像中的像素点转换到
RGB
相机坐标系下,实现红外相机与
RGB
相机的空间同步校准

[0027]本专利技术进一步设置为:以
RGB
相机所采集的数据为基准,对毫米波雷达与红外相机采集到的人体姿态数据进行
2D

3D
的人体关键点信息标注,并基于所述人体关键点标注信息定义动作类别的具体步骤包括:
[0028]S501
:对一个视角下的
RGB
相机的采集图像进行推理识别,得到第一
2D
人体骨骼关键点信息,作为
2D
的标注信息;
[0029]S502
:对另一个视角下的
RGB
相机的采集图像并推理计算,得到第二
2D
人体骨骼关键点信息;
[0030]S503
:对第一
2D
人体骨骼关键点信息以及第二
2D
人体骨骼关键点信息进行三角化处理,得到
3D
人体骨骼关键点信息,作为
3D
的标注信息

[0031]本专利技术还提供一种人体姿态数据集的采集平台,所述数据采集平台包括
RGB
相机

毫米波雷达

红外相机

固定支架以及控制处理系统,所述
RGB
相机的个数为2,分别为
RGB
‑1相机以及
RGB
‑2相机,所述
RGB
‑1相机以及
RGB
‑2相机间隔设于固定支架的顶部,所述毫米波雷达以及红外相机间隔设于
RGB<本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.
一种人体姿态数据集的采集方法,其特征在于,包括以下步骤:
S1
:构建多模态人体姿态估计数据采集平台,所述数据采集平台连接有数据处理系统,所述数据采集平台包括
RGB
相机

毫米波雷达以及红外相机;
S2
:利用所述数据采集平台,获取一个或多个人体姿态数据;
S3
:分别记录
RGB
相机

毫米波雷达以及红外相机获取所述人体姿态数据时的时间戳信息,基于所述时间戳信息进行时间校准同步;
S4
:以
RGB
相机坐标系为空间同步基准,将毫米波雷达与红外相机坐标系进行转换同步,实现
RGB
相机

毫米波雷达以及红外相机的空间同步;
S5
:以
RGB
相机所采集的数据为基准,对毫米波雷达与红外相机采集到的人体姿态数据进行
2D

3D
的人体关键点信息标注,并基于所述人体关键点标注信息定义动作类别;
S6
:对步骤
S5
所述人体关键点标注信息以及对应动作类别进行存储,得到人体姿态数据集
。2.
根据权利要求1所述的一种人体姿态数据集的采集方法及数据采集平台,其特征在于,利用所述数据采集平台,获取一个或多个人体姿态数据的具体步骤包括:
S201
:基于数据处理系统,创建
ROS
数据采集节点以及节点调用文件;
S202
:利用
ROS
数据采集节点触发所述数据采集平台,分别采集一个或多个的人体姿态;
S203
:利用节点调用文件对相关话题的人体姿态进行录制,得到人体姿态数据
。3.
根据权利要求1所述的数据集采集系统,其特征在于,分别记录
RGB
相机

毫米波雷达以及红外相机获取所述人体姿态数据时的时间戳信息,基于所述时间戳信息进行时间校准同步的具体步骤包括:
S301
:创建
ROS
节点并对数据处理系统进行初始化;
S302
:以回调的方式分别订阅毫米波雷达的点云
、RGB
相机的图像和深度图像

红外相机图像并输出对应的时间戳信息;
S303
:多传感器同步数据时间戳,实现多传感器的时间同步
。4.
根据权利要求1所述的一种人体姿态数据集的采集方法及数据采集平台,其特征在于,以
RGB
相机坐标系为空间同步基准,将毫米波雷达与红外相机坐标系进行转换同步,实现
RGB
相机

毫米波雷达以及红外相机的空间同步的具体步骤包括:
...

【专利技术属性】
技术研发人员:张睿恒孙颢洋余恒徐立新
申请(专利权)人:北京理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1