姿态数据的生成方法、图像采集设备及存储介质技术

技术编号:46062967 阅读:19 留言:0更新日期:2025-08-11 15:49
本申请公开了一种姿态数据的生成方法、图像采集设备及存储介质,涉及姿态检测技术领域,公开了姿态数据的生成方法,包括:获取耳机单元采集的双通道图像,双通道音频以及双通道惯性传感数据;基于所述双通道图像提取异构视觉特征;基于所述双通道音频提取空间听觉注意力掩膜;以及基于所述双通道惯性传感数据确定动作特征;融合所述异构视觉特征,所述空间听觉注意力掩膜以及所述动作特征,得到姿态描述特征;根据所述姿态描述特征,确定检测目标对应的姿态评估指标。通过视觉、听觉及惯性传感数据三模态数据融合处理,从而在不同模态间建立语义对应关系,提供更稳定且上下文感知的行为识别能力,以此提高姿态异常检测的准确率。

【技术实现步骤摘要】

本申请涉及姿态检测,尤其涉及姿态数据的生成方法、图像采集设备及存储介质


技术介绍

1、长期办公和学习场景中,因姿态不当、久坐和疲劳导致的健康问题(如颈椎病、视力下降、注意力不集中)日益普遍。

2、相关的进行疲劳监测和姿态识别的方案中,大多在检测设备如耳机上设置传感器,基于传感器的运动数据进行姿态检测识别。然而,此类检测方式无法准确识别用户姿态的微小变化、面部表情及静态疲劳状态,导致姿态检测准确率低。

3、上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。


技术实现思路

1、本申请的主要目的在于提供一种姿态数据的生成方法、图像采集设备及存储介质,旨在解决姿态检测准确率低的技术问题。

2、为实现上述目的,本申请提出一种姿态数据的生成方法,所述姿态数据的生成方法包括:

3、获取耳机单元采集的双通道图像,双通道音频以及双通道惯性传感数据;

4、基于所述双通道图像提取异构视觉特征;基于所述双通道音频提取空间听觉注意力掩膜;以及基于所述双本文档来自技高网...

【技术保护点】

1.一种姿态数据的生成方法,其特征在于,所述姿态数据的生成方法包括:

2.如权利要求1所述的姿态数据的生成方法,其特征在于,所述融合所述异构视觉特征,所述空间听觉注意力掩膜以及所述动作特征,得到姿态描述特征的步骤之前,所述姿态数据的生成方法还包括:

3.如权利要求1所述的姿态数据的生成方法,其特征在于,所述基于所述双通道图像提取异构视觉特征的步骤包括:

4.如权利要求3所述的姿态数据的生成方法,其特征在于,所述基于所述双通道图像提取异构视觉特征;基于所述双通道音频提取空间听觉注意力掩膜;以及基于所述双通道惯性传感数据确定动作特征的步骤之前,所述姿态数据...

【技术特征摘要】

1.一种姿态数据的生成方法,其特征在于,所述姿态数据的生成方法包括:

2.如权利要求1所述的姿态数据的生成方法,其特征在于,所述融合所述异构视觉特征,所述空间听觉注意力掩膜以及所述动作特征,得到姿态描述特征的步骤之前,所述姿态数据的生成方法还包括:

3.如权利要求1所述的姿态数据的生成方法,其特征在于,所述基于所述双通道图像提取异构视觉特征的步骤包括:

4.如权利要求3所述的姿态数据的生成方法,其特征在于,所述基于所述双通道图像提取异构视觉特征;基于所述双通道音频提取空间听觉注意力掩膜;以及基于所述双通道惯性传感数据确定动作特征的步骤之前,所述姿态数据的生成方法还包括:

5.如权利要求1所述的姿态数据的生成方法,其特征在于,所述基于所述双通道音频提取空间听觉注意力掩膜的步骤包括:

6.如权利要求1所述的姿态数据的生成方法,其特征在于,所述基于所述双通道惯性传...

【专利技术属性】
技术研发人员:相广帅马兰
申请(专利权)人:歌尔科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1