自主水下机器人前景视场三维重建目标特征提取识别方法技术

本发明专利技术公开了一种自主水下机器人前景视场三维重建目标特征提取识别方法，将视频平均分成k段，从每个段中随机抽取帧图和光流图，以代表该段，对每个片段中的帧图和光流图做统一数据转换操作后输入到双流Faster‑RCNN用于提取与识别特征，k个片段对应k个双流Faster‑RCNN；基于帧图的Faster‑RCNN网络提取目标的空间特征，包括类别得分和位置坐标，基于光流图的Faster‑RCNN网络提取目标的时间特征，包括速度得分和速度方向得分；将k个片段的空间特征、时间特征分别在空间域和时间域进行融合，再分别对融合后的时间特征和空间特征运用softmax函数求取特征出现的概率，概率最高的特征即属于视频级别的特征。本发明专利技术对水下目标的类别判断、对目标动作进行检测，提高了三维重建的精度。

【技术实现步骤摘要】
自主水下机器人前景视场三维重建目标特征提取识别方法
本专利技术涉及一种自主水下机器人前景视场的三维重建，尤其涉及自主水下机器人前景视场三维重建目标特征提取识别方法,属于机器人

技术介绍
自主水下机器人(AutonomousUnderwaterVehicle，AUV)是探索与开发海洋资源的有力工具，对其回收对接的研究已成为现在的热点问题，对其回收过程进行有效的前景视场三维重建十分必要。采用双目摄像机实现三维重建。具有双目摄像机的AUV，在AUV回收阶段，对其进行有效的避碰是十分重要的。而在复杂的海洋环境中，有着各种各样的障碍物，主要分为静态障碍物和动态障碍物，所以在AUV的前景视场三维重建中，对这些障碍物进行有效识别，区分动、静障碍物，对各种障碍物的类别进行有效识别以及实现动态障碍物的动作检测是十分必要的。双目视觉水下三维重建一般分为五个步骤：(1)摄像机标定；(2)图像预处理；(3)目标特征提取与识别；(4)立体匹配；(5)三维重建。其中水下目标特征提取与识别是其中关键的步骤。近年来对目标特征提取与识别的方法，常用的主要有基于机器学习和深度学习的方法，基于机器学习的方法，通过提取图像中的目标特征用于检测，常用的算法包括尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)算法、方向梯度直方图(HistogramofOrientedGradient,HOG)特征算法以及类Haar特征算法，常用的目标分类与识别算法如支持向量机(SupportVectorMachine，SVM)、随机森林或Adaboost算法等，但这些算法都难以充分利用图像的信息，并且不易达到较高的准确率。深度学习作为机器学习新的研究方向，具有较高的检测准确率和较低的误检率和漏检率，是当前水下目标特征提取与识别研究的重要方向。动作检测在实现动作分类的基础上还要对动作进行定位。过去许多动作检测方法采用滑动窗口法(slidingwindow)。Tian等人将原先用于图像目标检测任务的可变形部分模型(deformablepartmodels)扩展到视频动作检测任务中，同时在视频空间、时序的三维维度采用滑动窗口方法实现了对动作的定位。Wang等人在对动态poselets之间的相关性进行建模之前先采用基于时间维度的滑动窗口方法实现较准确的动作定位。基于滑动窗口法的动作定位极为耗时，时间效率低，为了加快动作定位的速度，Oneatra等人在动作检测中提出了更有效的分枝与定界(BranchandBound)搜寻算法，并采用逼近的规范FisherVector编码方法，在保证较高动作检测准确率的前提下提升了时间效率。近几年，基于区域的卷积神经网络方法用于动作检测任务中，提升动作检测效果明显，该方法为研究人员提供了新的思路。RossB.Girshick等提出了区域卷积神经网络(RCNN)框架将图像的目标检测问题转化为分类问题，该方法先在图像中生成若干个候选区域，再用卷积神经网络对每个候选区域提取目标特征，接着用支持向量机(SVM)训练分类器，对候选区域进行分类，最后根据每个区域分类得分利用非极大值抑制算法优化出最终的目标位置。RCNN提取特征的卷积神经网络和用于分类的分类器需要要分开训练，这导致训练过程要耗费大量的时间和存储空间；而且分类器的训练与特征提取网络不相关，这影响了目标检测的准确率。因此RossB.Girshick又提出了快速区域卷积神经网络(Fast-RCNN)模型，将特征提取和分类融合进一个分类框架，提高了训练模型的速度和目标检测的准确率。但Fast-RCNN使用选择性搜索(SelectiveSearch)算法单独生成候选区域非常耗时，使该算法无法达到实时。因此，RossB.Girshick在Fast-RCNN上增加区域建议网络(RPN)来生成候选区域，构成一种端到端的加速区域卷积神经网络(Faster-RCNN)模型，大大加快了速度。申请号为“201710237910.5”的专利文献公开了一种“基于卷积神经网络的水下目标特征提取方法”，提供了一种能弥补因全连接层的一维向量化所带来的空间信息丢失问题的基于卷积神经网络的水下目标特征提取方法，从通道和空间两个维度来强化特征图层的空间信息，使得这种空间信息可以输入到最后的全连接层中。但是此专利技术对水下目标特征的提取，未能将目标的速度以及速度方向等动态特征提取出来。
技术实现思路
本专利技术的目的在于提供自主水下机器人前景视场三维重建目标特征提取识别方法，提供一种基于双流Faster-RCNN的TSN网络水下目标特征提取与识别算法，从而实现水下三维重建，应用于全驱动自主水下机器人回收控制过程，提供水下自主机器人回收过程中路径规划所需要的环境信息，为后续的路径规划与避障提供必要的先验知识。本专利技术的目的通过以下技术予以实现：一种自主水下机器人前景视场三维重建目标特征提取识别方法，前景视场三维重建包括以下步骤：(1)对水下摄像机进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵，采集水下视频并进行存储；(2)对视频进行处理得到帧图和光流图，采用图像复原的方法对得到的图像进行预处理，减小或消除水对光成像的影响，得到对应的空气中的图像；(3)采用基于双流Faster-RCNN的TSN(TemporalSegmentNetworks)网络目标特征提取与识别方法，对处理得到的图像进行目标特征提取与识别；(4)对图像进行立体匹配得到深度信息；(5)进行三维重建。本专利技术的目的还可以通过以下技术措施来进一步实现：前述自主水下机器人前景视场三维重建目标特征提取识别方法，其中基于双流Faster-RCNN的TSN网络目标特征提取与识别方法，将视频平均分成k段，从每个段中随机抽取帧图和光流图，用来代表该段，称为片段，对每个片段中的帧图和光流图做统一的数据转换操作后，输入到双流Faster-RCNN用于提取与识别特征，k个片段对应k个双流Faster-RCNN；双流Faster-RCNN即基于帧图的Faster-RCNN网络和基于光流图的Faster-RCNN网络，基于帧图的Faster-RCNN网络提取目标的空间特征，包括类别得分和位置坐标，基于光流图的Faster-RCNN网络提取目标的时间特征，包括速度得分和速度方向得分；k个双流Faster-RCNN将会得到k个片段的空间特征和k个片段的时间特征，将k个片段的空间特征和k个片段的时间特征分别在空间域和时间域进行融合，再分别对融合后的时间特征和空间特征运用softmax函数求取特征出现的概率，概率最高的特征即属于视频级别的特征，实现水下目标特征的提取与识别。前述自主水下机器人前景视场三维重建目标特征提取识别方法，其中基于双流Faster-RCNN的TSN网络目标特征提取与识别方法，双流Faster-RCNN中的Faster-RCNN网络，包括RPN(RegionProposalNetwork)和Fast-RCNN两个深度神经网络，RPN实现获取兴趣区域的任务，Fast-RCNN实现提取与识别区域特征的任务；Faster-RCNN包含卷积层、池化层和全连接层；RPN网络是一个全卷积网络，与Fas本文档来自技高网...

【技术保护点】
1.一种自主水下机器人前景视场三维重建目标特征提取识别方法，其特征在于，前景视场三维重建包括以下步骤：S1对水下摄像机进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵，采集水下视频并进行存储；S2对视频进行处理得到帧图和光流图，采用图像复原的方法对得到的图像进行预处理，减小或消除水对光成像的影响，得到对应的空气中的图像；S3采用基于双流Faster‑RCNN的TSN网络目标特征提取与识别方法，对处理得到的图像进行目标特征提取与识别；S4对图像进行立体匹配得到深度信息；S5进行三维重建。

【技术特征摘要】
1.一种自主水下机器人前景视场三维重建目标特征提取识别方法，其特征在于，前景视场三维重建包括以下步骤：S1对水下摄像机进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵，采集水下视频并进行存储；S2对视频进行处理得到帧图和光流图，采用图像复原的方法对得到的图像进行预处理，减小或消除水对光成像的影响，得到对应的空气中的图像；S3采用基于双流Faster-RCNN的TSN网络目标特征提取与识别方法，对处理得到的图像进行目标特征提取与识别；S4对图像进行立体匹配得到深度信息；S5进行三维重建。2.根据权利要求1所述的自主水下机器人前景视场三维重建目标特征提取识别方法，其特征在于，基于双流Faster-RCNN的TSN网络目标特征提取与识别方法，将视频平均分成k段，从每个段中随机抽取帧图和光流图，用来代表该段，称为片段，对每个片段中的帧图和光流图做统一的数据转换操作后，输入到双流Faster-RCNN用于提取与识别特征，k个片段对应k个双流Faster-RCNN；双流Faster-RCNN即基于帧图的Faster-RCNN网络和基于光流图的Faster-RCNN网络，基于帧图的Faster-RCNN网络提取目标的空间特征，包括类别得分和位置坐标，基于光流图的Faster-RCNN网络提取目标的时间特征，包括速度得分和速度方向得分；k个双流Faster-RCNN将会得到k个片段的空间特征和k个片段的时间特征，将k个片段的空间特征和k个片段的时间特征分别在空间域和时间域进行融合，再分别对融合后的时间特征和空间特征运用softmax函数求取特征出现的概率，概率最高的特征即属于视频级别的特征，实现水下目标特征的提取与识别。3.根据权利要求2所述的自主水下机器人前景视场三维重建目标特征提取识别方法，其中基于双流Faster-RCNN的TSN网络目标特征提取与识别方法，其特征在于，双流Faster-RCNN中的Faster-RCNN，包括RPN和Fast-RCNN两个深度神经网络，RPN实现获取兴趣区域的任务，Fast-RCNN实现提取与识别区域特征的任务；Faster-RCNN包含卷积层、池化层和全连接层；RPN网络是一个全卷积网络，与Fast-RCNN共享卷积层，图片输入共享卷积层后输出卷积特征映射图；RPN也添加了新的卷积层，新添加的卷积层仅属于RPN网络，新添加的卷积层对共享卷积层输出的卷积特征...

【专利技术属性】
技术研发人员：曾庆军，戴文文，刘维亭，朱志宇，戴晓强，赵强，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：江苏,32