一种基于惯性-视觉信号增强与融合的运动分析系统技术方案

本申请公开了一种基于惯性‑视觉信号增强与融合的运动分析系统，涉及智能感知和融合技术领域，该系统中惯性传感器模块用于采集运动对象的惯性信号；视觉传感器模块用于采集人体关键点信息；信号处理模块，用于利用改进后的深度学习模型对惯性信号进行增强处理，并基于KAN对惯性信号中的超量程信号进行重构；惯性‑视觉信息融合模块，用于基于最优输运理论的多模态特征对齐方法以及SInkhorn算法，将人体关键点信息以及信号处理后的惯性信号进行融合处理，得到运动对象的运动轨迹；运动分析模块，用于基于运动轨迹，分析运动对象的运动模式以及姿态变化。本申请能够准确地捕捉运动对象的运动轨迹并对其进行准确的分析。

【技术实现步骤摘要】

本申请涉及智能感知和融合，特别是涉及一种基于惯性-视觉信号增强与融合的运动分析系统。

技术介绍

1、惯性传感器在现代技术应用中起着至关重要的作用，如在汽车、航空航天、机器人和高尔夫运动等领域。惯性传感器是一种能够测量物体加速度、角速度和磁场强度的设备，通常包括加速度计、陀螺仪和磁力计。它们通过捕捉物体在空间中的运动信息，广泛应用于运动捕捉、导航系统和姿态控制等领域。在运动捕捉中，惯性传感器的作用尤为重要，它能够实时跟踪和记录物体的运动轨迹，为分析运动行为和构建运动模型提供关键数据。通过惯性传感器，研究人员和工程师可以获取到精确的运动数据，从而在虚拟现实、动画制作和生物力学研究中实现高度还原的运动捕捉效果。

2、在高动态环境下，惯性传感器常面临信号饱和的问题，这限制了低成本惯性传感器的应用范围。传统的信号处理方法通常将信号视为离散点序列，导致在信号重建过程中信息损失较大，特别是在超量程重建方面表现不佳。此外，深度学习模型在信号重构过程中可能会产生不符合实际情况的“幻觉”现象，影响模型的可靠性。在人体关键点检测等应用中，稀疏特征的检测和记忆也是一个本文档来自技高网...

【技术保护点】

1.一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，包括：惯性传感器模块、视觉传感器模块、信号处理模块、惯性-视觉信息融合模块和运动分析模块；

2.根据权利要求1所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，所述信号处理模块，用于：基于Kolmogorov-Arnold网络对惯性信号中的超量程信号进行重构方面，所述信号处理模块用于：使用1D-ResNet对输入的惯性信号进行特征提取，得到特征向量；对特征向量中的每个特征通过可学习的第一样条参数化函数进行转换，生成第一层中间节点；使用第二样条参数化函数对第一层中间节点进行处理，生成第二层中间节点；...

【技术特征摘要】

1.一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，包括：惯性传感器模块、视觉传感器模块、信号处理模块、惯性-视觉信息融合模块和运动分析模块；

2.根据权利要求1所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，所述信号处理模块，用于：基于kolmogorov-arnold网络对惯性信号中的超量程信号进行重构方面，所述信号处理模块用于：使用1d-resnet对输入的惯性信号进行特征提取，得到特征向量；对特征向量中的每个特征通过可学习的第一样条参数化函数进行转换，生成第一层中间节点；使用第二样条参数化函数对第一层中间节点进行处理，生成第二层中间节点；重复执行生成中间节点的过程，通过多层样条函数变换，生成重构后的信号。

3.根据权利要求2所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，所述信号处理模块中对特征向量中的每个特征通过可学习的第一样条参数化函数进行转换，生成第一层中间节点的公式表达式为：

4.根据权利要求3所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，所述信号处理模块中，使用第二样条参数化函数对第一层中间节点进行处理，生成第二层中间节点的公式表达式为：

5.根据权利要求1所述的一种基于惯性-视觉信号增强与融合的运动分析系统，其特征在于，所述信号处理模块中深度学习模型引入的生成幻觉熵的计算公式为：...

【专利技术属性】
技术研发人员：赵毅，王一峰，师孟笛，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：