一种多模态数据采集、存储标注系统技术方案

本发明专利技术涉及一种多模态数据采集、存储标注系统，所述系统包括：前端数据采集模块，用于采集多模态数据，所述多模态数据包括动捕、音视频、触觉动力学、眼动注意力以及肌电数据；传感器同步模块，用于对多模态数据进行时间与空间维度上的对齐；数据存储及标注模块，对采集的原始数据的存储，并进行动作分割，行为标定、语义分割、手部动作分类以及感兴趣区域标注；后端管理模块，包括对标注数据进行跨模态统计与分析，分析各模态数据之间的关系。与现有技术相比，本发明专利技术可以完善现有模态数据的采集、存储以及标注方案，可实现多模态可视化，为更多的研究学者展开模仿学习、目标检测、手势分类等技术研究提供了数据支撑。

【技术实现步骤摘要】

本专利技术涉及多模态数据处理领域，尤其是涉及一种基于多模态学习同步融合的采集系统与方法。

技术介绍

1、可穿戴传感器设备的广泛应用为人类行为、具身智能研究提供了新的数据来源。这些设备能够实时监测和记录人类的行为模式、健康状况和生活习惯等方面的数据。通过分析这些数据，以更加全面地了解人类的行为和需求，为机器学习领域的发展提供更多的可能性。通过整合各种传感器设备，为人类行为进行全面数据采集。进一步探索可穿戴传感器设备在人类行为研究中的应用。通过穿戴设备采集到的大量数据，将从不同模态对人类行为进行分析，以深入了解人类的行为模式、生活习惯和健康状况

2、目前市面上缺乏针对机器人复杂操作技能学习的专用数据集。现有的数据集往往数据类型较为单一，覆盖面不够广泛，无法满足多模态机器人模仿学习的需求。研究人员在实际应用中因采集数据系统不够完善难以获取准确、全面的数据，从而影响了模型的性能和泛化能力。

3、需要一种多模态专用同步数据集采集存储标注一体化系统，扩大现有人类复杂操作技能数据集的模态数量，增强数据集在大模型中的可用性，该系统应用范围更广，可在本文档来自技高网...

【技术保护点】

1.一种多模态数据采集、存储标注系统，其特征在于，所述系统包括：

2.根据权利要求1所述的一种多模态数据采集、存储标注系统，其特征在于，所述前端数据采集系统包括由多台深度感知相机构成的可见光相机阵列、红外相机、可穿戴手套、眼动仪、肌电设备和麦克风，所述前端数据采集模块根据不同任务确定应用的设备及不同的采集数据。

3.根据权利要求2所述的一种多模态数据采集、存储标注系统，其特征在于，

4.根据权利要求1所述的一种多模态数据采集、存储标注系统，其特征在于，所述动捕数据的存储及标注具体如下：

5.根据权利要求1所述的一种多模态数据采集、存储标注系...

【技术特征摘要】

1.一种多模态数据采集、存储标注系统，其特征在于，所述系统包括：

2.根据权利要求1所述的一种多模态数据采集、存储标注系统，其特征在于，所述前端数据采集系统包括由多台深度感知相机构成的可见光相机阵列、红外相机、可穿戴手套、眼动仪、肌电设备和麦克风，所述前端数据采集模块根据不同任务确定应用的设备及不同的采集数据。

3.根据权利要求2所述的一种多模态数据采集、存储标注系统，其特征在于，

4.根据权利要求1所述的一种多模态数据采集、存储标注系统，其特征在于，所述动捕数据的存储及标注具体如下：

5.根据权利要求1所述的一种多模态数据采集、存储标注系统，其特征在于，所述音视频数据的存储及标注具体如下：

6.根据权利...

【专利技术属性】
技术研发人员：王志鹏，任若晨，何斌，蒋烁，周艳敏，
申请(专利权)人：同济大学，
类型：发明
国别省市：