一种声纳和双目视觉成像系统的融合成像装置及方法制造方法及图纸

本发明专利技术涉及一种声纳和双目视觉成像系统的融合成像装置及方法，该装置包括以下系统：刚性支架、声纳成像系统、双目视觉成像系统、以及连接并融合处理声纳成像系统和双目视觉成像系统的图像信号的融合成像处理系统。声纳成像系统发出声纳探测目标物体，并在发现目标物体时，将刚性支架靠近目标物体；当刚性支架与目标物体的距离到达设定距离时，启动双目视觉成像系统，由声纳成像系统和双目视觉成像系统同时分别采集图像信号；融合成像处理系统融合所采集的图像信号形成融合图像。本发明专利技术能有效地探测水中物体的具体轮廓、表面信息和深度信息，解决了水下特别是深水下的物体感知困难的问题，为水下特别是深水下的相关工作提供强有力的解决方案。

【技术实现步骤摘要】
一种声纳和双目视觉成像系统的融合成像装置及方法
本专利技术涉及水下成像系统，更具体地说，涉及一种声纳和双目视觉成像系统的融合成像装置及方法。
技术介绍
水下特别是深水下的物体感知一直是难以很好解决的问题。传统上使用声纳进行物体的探测只能扫描一个平面的信息，只能知道物体的大概位置而无法知道物体的具体轮廓和表面信息，而且受扫描物体高度影响出现纵深方向上的干扰、扫描速度慢。而利用普通摄像头所捕抓到的画面又没有物体的深度信息，无法感知物体与自身的远近关系。利用能有实时显示效果的纯被动双目视觉系统探测又因为成像原理，必定带入成像的错误。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的缺陷，提供一种声纳和双目视觉成像系统的融合成像装置及方法。本专利技术解决其技术问题所采用的技术方案是：构造一种声纳和双目视觉成像系统的融合成像装置。在本专利技术所述的声纳和双目视觉成像系统的融合成像装置中，包括刚性支架、声纳成像系统、双目视觉成像系统、以及连接并融合处理所述声纳成像系统和双目视觉成像系统的图像信号的融合成像处理系统；所述声纳成像系统包括固定安装在所述刚性支架上的声纳传感探头、以及与所述声纳传感探头通讯连接的声纳信号处理模块；所述双目视觉成像系统包括固定安装在所述刚性支架上的双目摄像头、以及与所述双目摄像头通讯连接的双目信号处理模块。优选地，所述声纳传感探头为单波束声纳传感探头。优选地，所述刚性支架包括供所述双目摄像头安装于其中的防水腔室；所述防水腔室设有与所述双目摄像头的拍摄镜头对应的透光面板。优选地，所述融合成像处理系统包括FPGA处理模块、解析绘图模块以及融合处理模块；所述FPGA处理模块与所述声纳信号处理模块和双目信号处理模块连接，并将两者采集的数据进行合并处理，传送至所述解析绘图模块；所述解析绘图模块与所述FPGA处理模块通讯连接，并将接收到的、合并后的所述数据进行解析，分别绘制出声纳图像和双目图像；所述融合处理模块与所述解析绘图模块连接，根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。优选地，所述双目摄像头与所述声纳传感探头按设定距离固定安装在所述刚性支架上。在本专利技术所述的声纳和双目视觉成像系统的融合成像装置中，其融合成像的方法包括以下步骤：S1：声纳成像系统发出声纳探测目标物体，并在发现目标物体时，将刚性支架靠近所述目标物体；优选地，在所述步骤S1中，所述声纳成像系统发出单波束声纳进行目标物体探测。S2：当所述刚性支架与所述目标物体的距离到达设定距离时，启动双目视觉成像系统，由所述声纳成像系统和双目视觉成像系统同时分别采集图像信号；优选地，在所述步骤S2中，包括以下步骤：S2-1：所述声纳成像系统的声纳传感探头采集所述目标物体反射的声纳信号，并传送至声纳信号处理模块进行处理，形成声纳图像数据；S2-2：所述双目信号处理模块的双目摄像头采集所述目标物体的光电信号，并传送至双目信号处理模块进行处理，形成双目图像数据。S3：融合成像处理系统融合步骤S2所采集的所述图像信号形成融合图像。优选地，在所述步骤S3中，包括以下步骤：S3-1：所述融合成像处理系统的FPGA处理模块接收所述声纳图像数据和双目图像数据，并进行合并处理，输出至解析绘图模块；S3-2：所述解析绘图模块并将接收到的、合并后的数据进行解析，分别绘制出声纳图像和双目图像，输出至融合处理模块；S3-3：所述融合处理模块根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。优选地，在所述步骤S3-3中，根据所述双目摄像头与所述声纳传感探头的距离位置关系，利用所述目标物体的中心点位置及轮廓信息，调节所述声纳图像和所述双目图像处于大致重叠状态。实施本专利技术具有以下有益效果：本专利技术通过声纳成像系统和双目视觉成像系统的融合，能有效地探测水中物体的具体轮廓、表面信息和深度信息，解决了水下特别是深水下的物体感知困难的问题，为水下特别是深水下的相关工作提供强有力的解决方案。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术声纳和双目视觉成像系统的融合成像装置的结构示意图；图2-1是本专利技术中单波束成像原理中，声波波束在探测面上的俯视图；图2-2是本专利技术中单波束成像原理中，声波波束在探测面上的正视图；图2-3是本专利技术中单波束成像原理中，声纳在发出波束之后等待接收返回的波束，依据接收的时间先后在画面中绘制出远近不同的点云的示意图；图2-4是本专利技术中单波束成像原理中，假设在声纳探测的垂直面上有一根棍子的示意图；图2-5是本专利技术中单波束成像原理中，声波打到棍子得到的声纳图像的示意图；图2-6是本专利技术中单波束成像原理中，由于A、B两点的所处的位置可能不同，纵深反映也有所差别的示意图；图3是本专利技术声纳和双目视觉成像系统的融合成像装置的工作流程图；图4是本专利技术声纳图像与双目视觉图像的融合算法流程图。引用编号列表：1、刚性支架；2、声纳成像系统；3、双目视觉成像系统；4、融合成像处理系统；5、防水腔室；6、水面。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。如图1所示，是本专利技术的声纳和双目视觉成像系统的融合成像装置的一个实施例，包括刚性支架1、声纳成像系统2、双目视觉成像系统3、以及融合成像处理系统4等，可通过声纳成像系统2和双目视觉成像系统3的融合，能有效地探测水中物体的具体轮廓、表面信息和深度信息，解决了水下特别是深水下的物体感知困难的问题，为水下特别是深水下的相关工作提供强有力的解决方案。该刚性支架1作为整个装置的支撑件，可以根据需要做成各种形状。如图1所示，在本实施例中，该刚性支架1为框形，以方便船只或其他装置搭载。声纳成像系统2和双目视觉成像系统3固定安装在该刚性支架1上，从而可以跟随船只或其他装置移动，来搜寻目标物体，并进行融合成像。由于该融合成像装置4需要在水下进行工作，该刚性支架1设置有防水腔室5，以便于供双目视觉成像系统3安装于其中。进一步的，防水腔室5设有与双目视觉成像系统3的双目摄像头的拍摄镜头对应的透光面板，以便于通过光电信号采集目标物体的视觉信号。进一步的，双目视觉成像系统3与声纳成像系统2按设定距离固定安装在刚性支架1上，从而可以为后续图像融合做准备。可以理解的，双目视觉成像系统3与声纳成像系统2的距离可以根据实际需要进行设置，可以为固定设置、也可以根据需要做成可调距离的设置。该声纳成像系统2包括声纳传感探头以及声纳信号处理模块，通过声纳传感探头发出声纳进行目标物体的探测，并由声纳信号处理模块接收反射的声纳信号，进行分析处理得到声纳图像数据。在本实施例中，声纳传感探头以及声纳信号处理模块为一体式，固定安装在刚性支架1下部。可以理解的，该声纳传感探头和声纳信号处理模块也可以为分体式，声纳传感探头固定安装在刚性支架1下部，而声纳信号处理模块则可以安装在船只上或其他装置上，与声纳传感探头通过有线或无线的通讯连接，接收声纳传感探头感测到的声纳信号即可。在本实施例中，该声纳传感探头为单波束声纳传感探头，单波束声纳在一个时刻向一个方向发射出一束声波，如图2所示。从图2-1中可以看到，声波波束在本文档来自技高网...

【技术保护点】
一种声纳和双目视觉成像系统的融合成像装置，其特征在于，包括刚性支架、声纳成像系统、双目视觉成像系统、以及连接并融合处理所述声纳成像系统和双目视觉成像系统的图像信号的融合成像处理系统；所述声纳成像系统包括固定安装在所述刚性支架上的声纳传感探头、以及与所述声纳传感探头通讯连接的声纳信号处理模块；所述双目视觉成像系统包括固定安装在所述刚性支架上的双目摄像头、以及与所述双目摄像头通讯连接的双目信号处理模块。

【技术特征摘要】
1.一种声纳和双目视觉成像系统的融合成像装置，其特征在于，包括刚性支架、声纳成像系统、双目视觉成像系统、以及连接并融合处理所述声纳成像系统和双目视觉成像系统的图像信号的融合成像处理系统；所述声纳成像系统包括固定安装在所述刚性支架上的声纳传感探头、以及与所述声纳传感探头通讯连接的声纳信号处理模块；所述双目视觉成像系统包括固定安装在所述刚性支架上的双目摄像头、以及与所述双目摄像头通讯连接的双目信号处理模块；所述融合成像处理系统包括FPGA处理模块、解析绘图模块以及融合处理模块；所述FPGA处理模块与所述声纳信号处理模块和双目信号处理模块连接，并将两者采集的数据进行合并处理，传送至所述解析绘图模块；所述解析绘图模块与所述FPGA处理模块通讯连接，并将接收到的、合并后的所述数据进行解析，分别绘制出声纳图像和双目图像；所述融合处理模块与所述解析绘图模块连接，根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。2.根据权利要求1所述的声纳和双目视觉成像系统的融合成像装置，其特征在于，所述声纳传感探头为单波束声纳传感探头。3.根据权利要求1所述的声纳和双目视觉成像系统的融合成像装置，其特征在于，所述刚性支架包括供所述双目摄像头安装于其中的防水腔室；所述防水腔室设有与所述双目摄像头的拍摄镜头对应的透光面板。4.根据权利要求1所述的声纳和双目视觉成像系统的融合成像装置，其特征在于，所述双目摄像头与所述声纳传感探头按设定距离固定安装在所述刚性支架上。5.一种使用权利要求1-4任一项的声纳和双目视觉成像系统的融合成像装置融合成像的方...

【专利技术属性】
技术研发人员：徐渊，张志强，黄伟鑫，王亚洲，何凡，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44