一种基于复眼形态视觉的目标运动识别方法及系统技术方案

本发明专利技术提供了一种基于复眼形态视觉的目标运动识别方法及系统，所述方法包括获取子眼图像；对第一子眼与第二子眼进行内参数标定与外参数标定，以得到内参数与外参数；基于内参数与外参数计算校正系数，基于校正系数对子眼图像进行校正，以得到校正图像；计算校正图像之间的重叠区域，基于重叠区域与预设拼接算法对校正图像进行拼接处理，以得到整体图像；对相邻两帧的整体图像进行差分计算，以得到运动目标，计算运动目标在各方向上的偏移模拟值与偏移量，以此确定运动目标的运动方向以及对应的运动量，本发明专利技术在拼接过程中相互重叠的部分不会出现错乱、目标重叠的情况，可在复杂背景条件下高效且可靠的检测出目标的运动方向以及对应的运动量。及对应的运动量。及对应的运动量。

【技术实现步骤摘要】
一种基于复眼形态视觉的目标运动识别方法及系统


[0001]本专利技术属于仿生复眼视觉的
，具体地涉及一种基于复眼形态视觉的目标运动识别方法及系统。

技术介绍

[0002]受自然界果蝇、蜻蜓、蜜蜂等飞行昆虫复眼结构的启发，有别于哺乳动物单孔径形态的单眼睛成像原理设计的常规CCD（Charge
‑
coupled device，电荷耦合器件）或CMOS（Complementary Metal
‑
Oxide
‑
Semiconductor，互补金属氧化物半导体）相机，目前的人工复眼相机是一种模拟自然界昆虫复眼多孔径形态成像原理设计的仿复眼成像系统，人工复眼相机（以下简称为复眼相机）具备多个阵列排布的子眼，使其具有大角度的视野，能够同时聚焦物体的不同深度，人类眼睛和所有相机都是使用单个透镜聚焦光线至一个光敏组织或者材料物质上，这种排列能够制造高分辨率图像，但是复眼却能提供与众不同的优势，它可以产生全景视角，呈现显著的深度感官。
[0003]复眼相机的每个子眼均存在一定的视觉范围，且由于子眼的排列方式会导致相邻的子眼所拍摄的图像之间存在一定的重叠范围，如采用直接拼接的方式，容易导致最终成型的整体图像存在错乱、目标重叠的情况，影响最终整体图像的成像效果，且现有技术中通常模板匹配法识别目标的运动，但如此存在可靠性差以及效率低下的问题。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提供了一种基于复眼形态视觉的目标运动识别方法及系统，用于解决现有技术中的技术问题。
[0005]一方面，该专利技术提供以下技术方案，一种基于复眼形态视觉的目标运动识别方法，包括：获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像，选取其中一子眼作为第一子眼，将与所述第一子眼相邻的子眼作为第二子眼；对所述第一子眼与所述第二子眼进行内参数标定，以得到所述第一子眼与所述第二子眼的内参数，在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像，基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定，以得到所述第一子眼与所述第二子眼的外参数；基于所述内参数与所述外参数计算校正系数，基于所述校正系数对所述子眼图像进行校正，以得到校正图像；计算所述校正图像之间的重叠区域，基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理，以得到整体图像；对相邻两帧的整体图像进行差分计算，以得到运动目标，计算所述运动目标在各方向上的偏移模拟值，基于所述偏移模拟值确定所述运动目标的运动方向，计算所述运动目标的偏移量，基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方
向上的运动距离。
[0006]相比现有技术，本申请的有益效果为：本申请首先获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像，选取其中一子眼作为第一子眼，将与所述第一子眼相邻的子眼作为第二子眼；之后对所述第一子眼与所述第二子眼进行内参数标定，以得到所述第一子眼与所述第二子眼的内参数，在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像，基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定，以得到所述第一子眼与所述第二子眼的外参数；而后基于所述内参数与所述外参数计算校正系数，基于所述校正系数对所述子眼图像进行校正，以得到校正图像；然后计算所述校正图像之间的重叠区域，基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理，以得到整体图像；最后对相邻两帧的整体图像进行差分计算，以得到运动目标，计算所述运动目标在各方向上的偏移模拟值，基于所述偏移模拟值确定所述运动目标的运动方向，计算所述运动目标的偏移量，基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离，本专利技术通过标定得到子眼相机的内外参数，并根据内外参数计算重叠区域，根据重叠区域并采用预设算法进行拼接，使得拼接出来的图像完成，且在拼接过程中相互重叠的部分不会出现错乱、目标重叠的情况，同时本专利技术根据计算得到的偏移模拟值以及偏移量确定目标的运动方向以及运动量，可在复杂背景条件下高效且可靠的检测出目标的运动方向以及对应的运动量。
[0007]较佳的，所述对所述第一子眼与所述第二子眼进行内参数标定，以得到所述第一子眼与所述第二子眼的内参数的步骤包括：在标定坐标系设置一标定点，所述标定点投影在图像像素坐标系中的投影坐标为，基于所述标定点与所述投影坐标建立投影方程：；式中，为第一比例因子，为内参数矩阵，为外参数矩阵；基于所述投影方程确定内参数矩阵：；；；式中，、分别为沿、轴的等效焦距，为第二比例因子，为光轴与像素平面的交点，为焦距替换量，为纵向投影变化量；基于所述内参数矩阵，以得到所述第一子眼与所述第二子眼的内参数：；；；；；
式中，为内参数矩阵中第一行第一列的元素，为内参数矩阵中第一行第二列的元素，为内参数矩阵中第一行第三列的元素，为内参数矩阵中第二行第二列的元素，为内参数矩阵中第二行第三列的元素，为内参数矩阵中第三行第三列的元素。
[0008]较佳的，所述在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像，基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定，以得到所述第一子眼与所述第二子眼的外参数的步骤包括：在所述第一子眼的视觉范围内设置第一标靶并获取第一标靶图像，在所述第二子眼的视觉范围内设置第二标靶并获取第二标靶图像；基于所述第一标靶图像与所述第二标靶图像确定所述第二标靶至所述第一标靶之间的标靶转换矩阵：；式中，为空间坐标系至第一标靶图像旋转矩阵，为空间坐标系至第二标靶图像旋转矩阵，为空间坐标系至第二标靶图像平移矩阵，为空间坐标系至第一标靶图像平移矩阵；基于所述标靶转换矩阵确定所述第二子眼至所述第一子眼的外参数矩阵，基于所述外参数矩阵，以得到所述第一子眼与所述第二子眼的外参数，其中所述外参数矩阵为：；式中，为第一标靶至第一子眼的转换矩阵，为第二标靶至第二子眼的转换矩阵。
[0009]较佳的，所述基于所述内参数与所述外参数计算校正系数，基于所述校正系数对所述子眼图像进行校正，以得到校正图像的步骤包括：在所述子眼图像中确定一点，基于所述内参数与所述外参数确定点对应的理论坐标点以及空间坐标点，基于点、理论坐标点以及空间坐标点建立校正方程：；；式中，为光轴与像素平面的交点，为第一校正系数，为第二校正系数；求解所述校正方程中的第一校正系数、第二校正系数，并基于所述第一校正系数、所述第二校正系数对所述子眼图像中的像素点坐标进行校正，以得到校正图像。
[0010]较佳的，所述计算所述校正图像之间的重叠区域，基于所述重叠区域与预设拼接
算法对所述校正图像进行拼接处理，以得到整体图像的步骤包括：基于所述内参数计算所述校正图像之间的重叠区域：；式中，为图像传感器至目标的距离，为相邻子眼之间的距离，为复眼相机至目标的距离，为校正图像的长度，为子眼直径，为子眼焦距；对所述校正图像进行高斯模糊处理，以得到图像空间，对所述图像空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于复眼形态视觉的目标运动识别方法，其特征在于，包括：获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像，选取其中一子眼作为第一子眼，将与所述第一子眼相邻的子眼作为第二子眼；对所述第一子眼与所述第二子眼进行内参数标定，以得到所述第一子眼与所述第二子眼的内参数，在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像，基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定，以得到所述第一子眼与所述第二子眼的外参数；基于所述内参数与所述外参数计算校正系数，基于所述校正系数对所述子眼图像进行校正，以得到校正图像；计算所述校正图像之间的重叠区域，基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理，以得到整体图像；对相邻两帧的整体图像进行差分计算，以得到运动目标，计算所述运动目标在各方向上的偏移模拟值，基于所述偏移模拟值确定所述运动目标的运动方向，计算所述运动目标的偏移量，基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离。2.根据权利要求1所述的基于复眼形态视觉的目标运动识别方法，其特征在于，所述对所述第一子眼与所述第二子眼进行内参数标定，以得到所述第一子眼与所述第二子眼的内参数的步骤包括：在标定坐标系设置一标定点，所述标定点投影在图像像素坐标系中的投影坐标为，基于所述标定点与所述投影坐标建立投影方程：；式中，为第一比例因子，为内参数矩阵，为外参数矩阵；基于所述投影方程确定内参数矩阵：；；；式中，、分别为沿、轴的等效焦距，为第二比例因子，为光轴与像素平面的交点，为焦距替换量，为纵向投影变化量；基于所述内参数矩阵，以得到所述第一子眼与所述第二子眼的内参数：；；；；；
式中，为内参数矩阵中第一行第一列的元素，为内参数矩阵中第一行第二列的元素，为内参数矩阵中第一行第三列的元素，为内参数矩阵中第二行第二列的元素，为内参数矩阵中第二行第三列的元素，为内参数矩阵中第三行第三列的元素。3.根据权利要求1所述的基于复眼形态视觉的目标运动识别方法，其特征在于，所述在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像，基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定，以得到所述第一子眼与所述第二子眼的外参数的步骤包括：在所述第一子眼的视觉范围内设置第一标靶并获取第一标靶图像，在所述第二子眼的视觉范围内设置第二标靶并获取第二标靶图像；基于所述第一标靶图像与所述第二标靶图像确定所述第二标靶至所述第一标靶之间的标靶转换矩阵：；式中，为空间坐标系至第一标靶图像旋转矩阵，为空间坐标系至第二标靶图像旋转矩阵，为空间坐标系至第二标靶图像平移矩阵，为空间坐标系至第一标靶图像平移矩阵；基于所述标靶转换矩阵确定所述第二子眼至所述第一子眼的外参数矩阵，基于所述外参数矩阵，以得到所述第一子眼与所述第二子眼的外参数，其中所述外参数矩阵为：；式中，为第一标靶至第一子眼的转换矩阵，为第二标靶至第二子眼的转换矩阵。4.根据权利要求1所述的基于复眼形态视觉的目标运动识别方法，其特征在于，所述基于所述内参数与所述外参数计算校正系数，基于所述校正系数对所述子眼图像进行校正，以得到校正图像的步骤包括：在所述子眼图像中确定一点，基于所述内参数与所述外参数确定点对应的理论坐标点以及空间坐标点，基于点、理论坐标点以及空间坐标点建立校正方程：；；式中，为光轴与像素平面的交点，为第一校正系数，为第二校正系数；求解所述校正方程中的第一校正系数、第二校正系数，并基于所述第一校正系数、所述第二校正系数对所述子眼图像中的像素点坐标进行校正，以得到校正图像。5.根据权利要求1所述的基于复眼形态视觉的目标运动识别方法，其特征在于，所述计
算所述校正图像之间的重叠区域，基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理，以得到整体图像的步骤包括：基于所述内参数计算所述校正图像之间的重叠区域：；式中，为图像传感器至目标的距离，为相邻子眼之间的距离，为复眼相机至目标的距离，为校正图像的长度，为子眼直径，为子眼焦距；对所述校正图像进行高斯模糊处理，以得到图像空间，对所述图像空间进行多次采样处理，以得到高斯金字塔，对每组所述高斯金字塔的相邻涂层进行差分处理，以得...

【专利技术属性】
技术研发人员：徐梦溪，樊棠怀，樊飞燕，施建强，吕莉，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：