一种融合事件和RGB数据潜水员手势识别方法及其系统技术方案

一种融合事件和RGB数据潜水员手势识别方法及其系统，涉及水下计算机视觉的技术领域。解决现有潜水员手势识别方法单独依赖视觉信息会存在局限性，如准确性低和鲁棒性差的问题。采用事件相机采集多样化的潜水员手势视频，转化成事件序列和RGB帧，并构建基准数据集；将事件序列数据映射到三维网格，采用多维特征表示；采用滑动窗口处理所述RGB帧，针对每个窗口内进行局部处理获得RGB特征；采用MLP编码事件和RGB特征，得到多模态融合的信息表达；采用预训练的ResNet3D18和EGRU单元构成手势识别模型对融合后的特征进行训练，最终输出潜水员手势的准确类别。本发明专利技术适用于潜水员工作时的信息交互和信息传递。

【技术实现步骤摘要】

本专利技术涉及水下计算机视觉的。

技术介绍

1、动作识别作为计算机视觉领域的重要研究方向之一，旨在实现对人类动作的智能识别和理解。在许多应用领域，如智能监控、健康跟踪和人机交互等方面，动作识别都具有广泛的应用前景。传统动作识别方法通常使用手工设计 的特征提取器，如形状、颜色、边缘等特征。这些特征提取技术结合机器学习算法，如支持向量机（svm）或隐马尔可夫模型（hmm），用于动作分类和识别。

2、在水下环境中，视觉信息可能受到光线条件、水质和水流等因素的影响而变得模糊或不清晰。因此，单独依赖视觉信息进行潜水员手势识别存在局限性。为了提高识别的准确性和鲁棒性，将事件信息与rgb数据进行融合成为一种新兴的解决方案。

技术实现思路

1、本专利技术提供一种融合事件和rgb数据潜水员手势识别方法，解决现有潜水员手势识别方法单独依赖视觉信息会存在局限性，如准确性低和鲁棒性差的问题，本专利技术提供一种融合事件和rgb数据潜水员手势识别方法，为潜水任务、水下通讯和智能潜水装备等方面提供支持。p>

2、为实现本文档来自技高网...

【技术保护点】

1.一种融合事件和RGB数据潜水员手势识别方法，其特征在于，所述方法为：

2.根据权利要求1所述的一种融合事件和RGB数据潜水员手势识别方法，其特征在于，所述步骤S1具体为：

3.根据权利要求2所述的一种融合事件和RGB数据潜水员手势识别方法，其特征在于，所述步骤S13中的基准数据集包括基准训练集和基准测试集。

4.根据权利要求1所述的一种融合事件和RGB数据潜水员手势识别方法，其特征在于，所述步骤S2具体为：

5.根据权利要求1所述的一种融合事件和RGB数据潜水员手势识别方法，其特征在于，所述步骤S3具体为：

<p>6.根据权利要求...

【技术特征摘要】

1.一种融合事件和rgb数据潜水员手势识别方法，其特征在于，所述方法为：

2.根据权利要求1所述的一种融合事件和rgb数据潜水员手势识别方法，其特征在于，所述步骤s1具体为：

3.根据权利要求2所述的一种融合事件和rgb数据潜水员手势识别方法，其特征在于，所述步骤s13中的基准数据集包括基准训练集和基准测试集。

4.根据权利要求1所述的一种融合事件和rgb数据潜水员手势识别方法，其特征在于，所述步骤s2具体为：

5.根据权利要求1所述的一种融合事件和rgb数据潜水员手势识别方法，其特征在于，所述步骤s3具体为：

6.根据权利要求1所述的一种融合事件和rgb数据潜水员手势识别方法，其特征在于...

【专利技术属性】
技术研发人员：姜宇，宋建军，赵明浩，王跃航，齐红，张永霁，王勇，
申请(专利权)人：吉林大学，
类型：发明
国别省市：