一种异构双目的蝠鲼机器人目标识别与测距方法及系统技术方案

本发明专利技术一种异构双目的蝠鲼机器人目标识别与测距方法及系统，属于水下机器人的智能感知领域；方法步骤为：对动态视觉传感器原始事件流数据编码为图像；对动态视觉传感器编码生成的多张图像和工业相机多张图像，进行相机参数的标定，得到两种相机的焦距和两相机之间的位置关系；对动态视觉传感器事件编码生成的图像和工业相机图像通过深度学习算法分别进行目标识别，并标记出目标的图像区域，得到目标区域中心的图像坐标；对于目标特征中心坐标，两相机内部参数和外部参数，利用双目距离估计算法，计算目标蝠鲼机器人与异构双目相机之间的距离。本发明专利技术能够在水下获取更有效的数据，提高了信息传递的效率。提高了信息传递的效率。提高了信息传递的效率。

【技术实现步骤摘要】
一种异构双目的蝠鲼机器人目标识别与测距方法及系统


[0001]本专利技术属于水下机器人的智能感知领域，具体涉及一种异构双目的蝠鲼机器人目标识别与测距方法及系统。

技术介绍

[0002]在水下仿生蝠鲼机器人的集群运动中，一个机器人需要通过视觉感知系统对周围的其他机器人进行目标识别，并且测量自身与其他机器人之间的距离，为多机器人之间的集群运动控制和协同动作提供前端感知信息。现有水下视觉目标识别与测距方法主要依赖水下双目同种工业相机，工业相机基于帧获取图像，存在运动模糊、动态范围低、数据冗余大的问题。在水下环境中运动扰动大、光照微弱、有冗余背景干扰，单凭工业相机感知目标存在一定的困难。
[0003]现有技术中工业相机构成的双目系统，在水下获取的数据不稳定，且信息传递的效率低。同时，水下环境单种工业相机目标识别与测距的效果不稳定，水下视觉目标感知的可靠性低。
[0004]鉴于此，本文专利技术了一种异构双目的水下蝠鲼机器人目标识别与测距方法，异构双目系统由左边的动态视觉传感器和右边的工业相机组成，在工业相机基础上引入动态视觉传感器的优点，改善了水下环境单种工业相机目标识别与测距的效果，提高了水下视觉目标感知的可靠性。

技术实现思路

[0005]要解决的技术问题：
[0006]为了避免现有技术的不足之处，本专利技术提供一种基于动态视觉传感器和工业相机组成的异构双目系统的目标识别与测距方法，用于水下仿生蝠鲼机器人集群运动时对其他机器人目标的视觉感知。本专利技术的目的是使蝠鲼机器人在水下进行集群协同任务时，能够在水下微光照、运动干扰、数据冗余环境中对其他蝠鲼机器人进行有效的识别，并且计算出相对距离，为后续的机器人运动控制提供感知信息。其中，将动态视觉传感器引入双目相机系统，相比水下同种工业相机构成的双目系统，能够在水下获取更有效的数据，提高了信息传递的效率。
[0007]本专利技术的技术方案是：一种异构双目的蝠鲼机器人目标识别与测距方法，其特征在于具体步骤如下：
[0008]步骤1：对动态视觉传感器原始事件流数据编码为图像，用于后续标定和图像识别；
[0009]步骤2：对动态视觉传感器编码生成的多张图像和工业相机多张图像，进行相机参数的标定，得到两种相机的焦距和两相机之间的位置关系；
[0010]步骤3：对动态视觉传感器事件编码生成的图像和工业相机图像通过深度学习算法分别进行目标识别，并标记出目标的图像区域，得到目标区域中心的图像坐标；
[0011]步骤4：对于步骤3双目图像分别得到的目标特征中心坐标，以及步骤2标定得到的两相机内部参数和外部参数，利用双目距离估计算法，计算目标蝠鲼机器人与异构双目相机之间的距离。
[0012]本专利技术的进一步技术方案是：所述步骤1中，使用基于频率的编码方式对动态视觉传感器原始事件流数据编码为图像。
[0013]本专利技术的进一步技术方案是：所述步骤1中，动态视觉传感器事件流数据的每个事件由四个参数(t、x、y、p)组成，包括微秒级的时间戳t、图像中的位置坐标(x、y)和事件变化正负极性p；使用基于事件频率的方法将数据编码为图像，通过以固定的毫秒级时间间隔分割事件流数据，即30毫秒，累计该时间间隔内所有事件，通过事件频率值的高低进行映射并且归一化计算后得到图像的每个像素值；背景中的目标越运动则事件频率越高，频率越高则图像中对应位置的像素点亮度越高；映射并归一化的计算公式为：
[0014][0015]其中，x为一个固定时间间隔内发生在某一个像素点的事件总数，σ(x)为图像某一像素点0
‑
255之间的像素值；
[0016]像素亮度值计算后，用不同颜色代表不同极性事件，绿点代表亮度变亮的正极性事件，而红点代表亮度变暗的负极性事件；通过公式(1)由事件的发生频率得到图像中每个点的像素值，再标记不同极性事件的颜色，从而由事件流编码为一帧彩色图像。
[0017]本专利技术的进一步技术方案是：所述步骤2中，所述工业相机和动态视觉传感器的内部参数和外部参数标定方法为：
[0018]对于工业相机，使用棋盘格标定板，拍摄几十张不同角度和不同大小的标定板图片，采用张氏标定法得到工业相机内部焦距参数；
[0019]对于动态视觉传感器，由于其只能检测运动目标，拍摄期间需要将标定板不停地运动，运动过程中首先使用上一步编码方法不断将事件流累计直至生成几十帧图像，再对帧图像使用张氏标定法标定，去除标定点识别偏差大的图像，使重投影误差下降到可接受范围1以内，得到动态视觉传感器的内部焦距参数；
[0020]内部参数得到之后，计算外部参数，根据双目立体标定原理，从多张同时产生的左右两张图像中得到双目相机之间的位置平移关系，该关系用平移矩阵表示；标定得到的相机内部参数和外部参数用于步骤4的双目测距。
[0021]本专利技术的进一步技术方案是：所述步骤3中，使用异构双目视觉系统拍摄蝠鲼机器人运动形态，分别得到工业相机图像集和DVS图像集；为每张图像的机器人目标进行标注，生成对应标签文件，记录目标在图像X方向和Y方向像素坐标的最小值和最大值、名称类别标签和识别难度，利用图像集和标注信息组合，分别得到关于蝠鲼机器人的工业相机数据集和DVS数据集，把数据集按照9:1比例分割为训练集和测试集，用于深度学习，训练目标的类别为蝠鲼机器人；
[0022]将数据集送入神经网络训练，网络模型为YOLOv3，该框架分为Darknet
‑
53结构、特征层融合结构以及分类检测结构；图像输入Darkenet
‑
53后得到三个分支，进行上采样以及下采样使特征图变成相同尺寸，然后进行堆叠、融合以及相应的卷积操作后，得到最终3个特征图，分别为原图像的1/32、1/16、1/8，然后将3个特征图进行特征融合；
[0023]对DVS数据集和工业相机数据集分别通过该神经网络迭代训练30轮，得到训练好的两种模型；使用这两种模型分别预测DVS和工业相机图像中蝠鲼机器人目标位置区域并用长方形框标记；
[0024]预测的目标区域已经使用长方形框标记，利用方框左上角点坐标和右下角点的X方向和Y方向坐标，计算中值作为目标的特征中心坐标，两种图像目标特征中心分别为P
l
和P
r
，并利用P
l
和P
r
坐标X方向数值作为下一步双目横向视差计算的依据。
[0025]本专利技术的进一步技术方案是：所述异构双目的空间模型为，将左边DVS坐标系和世界坐标系三轴重合，右边为工业相机坐标系，成像面向右为X轴方向，成像面向下为Y轴方向，向前为Z轴方向，构建空间坐标系。
[0026]本专利技术的进一步技术方案是：所述步骤4中，两相机成像平面与世界坐标系的XY平面平行，工业相机成像面与DVS成像面保持共面，两相机坐标系的X、Y、Z三个对应轴平行且主光轴平行，两相机原点位置不同；目标在空间的特征点P(X
p
，Y
p
，Z
p
)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构双目的蝠鲼机器人目标识别与测距方法，其特征在于具体步骤如下：步骤1：对动态视觉传感器原始事件流数据编码为图像，用于后续标定和图像识别；步骤2：对动态视觉传感器编码生成的多张图像和工业相机多张图像，进行相机参数的标定，得到两种相机的焦距和两相机之间的位置关系；步骤3：对动态视觉传感器事件编码生成的图像和工业相机图像通过深度学习算法分别进行目标识别，并标记出目标的图像区域，得到目标区域中心的图像坐标；步骤4：对于步骤3双目图像分别得到的目标特征中心坐标，以及步骤2标定得到的两相机内部参数和外部参数，利用双目距离估计算法，计算目标蝠鲼机器人与异构双目相机之间的距离。2.根据权利要求1所述一种异构双目的蝠鲼机器人目标识别与测距方法，其特征在于：所述步骤1中，使用基于频率的编码方式对动态视觉传感器原始事件流数据编码为图像。3.根据权利要求2所述一种异构双目的蝠鲼机器人目标识别与测距方法，其特征在于：所述步骤1中，动态视觉传感器事件流数据的每个事件由四个参数组成，即t、x、y、p，包括微秒级的时间戳t、图像中的位置坐标(x、y)和事件变化正负极性p；使用基于事件频率的方法将数据编码为图像，通过以固定的毫秒级时间间隔分割事件流数据，即30毫秒，累计该时间间隔内所有事件，通过事件频率值的高低进行映射并且归一化计算后得到图像的每个像素值；背景中的目标越运动则事件频率越高，频率越高则图像中对应位置的像素点亮度越高；映射并归一化的计算公式为：其中，x为一个固定时间间隔内发生在某一个像素点的事件总数，σ(x)为图像某一像素点0
‑
255之间的像素值；像素亮度值计算后，用不同颜色代表不同极性事件，绿点代表亮度变亮的正极性事件，而红点代表亮度变暗的负极性事件；通过公式(1)由事件的发生频率得到图像中每个点的像素值，再标记不同极性事件的颜色，从而由事件流编码为一帧彩色图像。4.根据权利要求3所述一种异构双目的蝠鲼机器人目标识别与测距方法，其特征在于：所述步骤2中，所述工业相机和动态视觉传感器的内部参数和外部参数标定方法为：对于工业相机，使用棋盘格标定板，拍摄几十张不同角度和不同大小的标定板图片，采用张氏标定法得到工业相机内部焦距参数；对于动态视觉传感器，由于其只能检测运动目标，拍摄期间需要将标定板不停地运动，运动过程中首先使用上一步编码方法不断将事件流累计直至生成几十帧图像，再对帧图像使用张氏标定法标定，去除标定点识别偏差大的图像，使重投影误差下降到可接受范围1以内，得到动态视觉传感器的内部焦距参数；内部参数得到之后，计算外部参数，根据双目立体标定原理，从多张同时产生的左右两张图像中得到双目相机之间的位置平移关系，该关系用平移矩阵表示；标定得到的相机内部参数和外部参数用于步骤4的双目测距。5.根据权利要求4所述一种异构双目的蝠鲼机器人目标识别与测距方法，其特征在于：所述步骤3中，使用异构双目视觉系统拍摄蝠鲼机器人运动形态，分别得到工业相机图像集和DVS图像集；为每张图像的机器人目标进行标注，生成对应标签文件，记录目标在图像X方
向和Y方向像素坐标的最小值和最大值、名称类别标签和识别难度，利用图像集和标注信息组合，分别得到关于蝠鲼机器人的工业...

【专利技术属性】
技术研发人员：张飞虎，钟耀辉，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：