基于卷积神经网络的运动模糊编码点的身份识别方法技术

本发明专利技术公开了一种基于卷积神经网络的运动模糊编码点的身份识别方法，具体步骤包括：步骤一、标定实拍相机，构造虚拟相机编码点，获取大量运动模糊编码点图像‑编码点身份样本；步骤二、构造卷积神经网络MBCNet；步骤三、将运动模糊编码点图像‑编码点身份样本的集合对卷积神经网络MBCNet进行训练及测试；步骤四、运用训练后的卷积神经网络MBCNet对运动模糊图像进行分割、分类，即可获得对应的编码标记点身份ID；该识别方法能够对实际拍摄的运动模糊图像进行处理，得到对应的编码标记点的身份，对于高速运动物体机器视觉测量可以提供快速可靠的前期数据，扩大机器视觉测量方法的应用领域。

Identification of moving fuzzy coded points based on convolutional neural network

The invention discloses a fuzzy point encoding convolutional neural network based motion identification method, the specific steps include: step one, to construct a virtual camera calibration camera shot, encoding, get a lot of motion blurred image encoding encoding point identity sample; step two, construct the convolutional neural network MBCNet; step three, will set the motion blurred image encoding encoding point identity samples for training and testing of MBCNet convolutional neural network; step four, the use of MBCNet convolution neural network after training of motion blurred image segmentation and classification, can obtain the identity of the corresponding ID encoding marker; this identification method can process the actual shooting motion blur the image obtained marked point corresponding to the encoding status for machine vision measurement of high speed object can provide fast and reliable before Phase data expands the field of application of machine vision measurement methods.

【技术实现步骤摘要】
基于卷积神经网络的运动模糊编码点的身份识别方法
本专利技术属于机器视觉测量领域，具体是一种基于卷积神经网络的运动模糊编码点的身份识别方法。
技术介绍
编码标记点被广泛用于基于机器视觉的工业测量和逆向工程中。编码标记点的身份识别是后续处理的基础。现有的编码标记点身份识别方法都是基于静态拍摄的清晰图像。识别方法大致包括以下步骤1)图像降噪，2)检测边缘，3)从边缘中挑选接近于椭圆的封闭曲线，作为编码点中心的候选者，4)对椭圆周边的局部图像进行几何变换，可以变换为圆或者矩形，5)在变换以后的图像中，根据像素灰度等级判定为0或者1，6)根据上一步确定的二进制串进行解码。现有的身份识别方法也有多种，主要是实现细节上略有区别，例如识别方法中的降噪可以选用不同的算法，边缘检测可以使用不同的算子；图像也可以选择不变换实拍的编码点的图像，而是变换理想的编码点的图像为一个椭圆。但是这些方法基本上都是遵循上述过程。公开的方法中，例如周玲发表的论文《近景摄影测量中标记点的自动检测》(应用科学学报，2007.5,第25卷第3期,288-294)；宋丽梅等发表的《环状编码标记点的检测与识别》(光学精密程,2013.12月,第21卷第12期,3239-3247)。由于边缘检测需要较清晰的图像，图像变换和灰度判断依赖于相机瞬间成像模型保存的结构关系，此类方法适合于处理静态拍摄的清晰图像。但是，当被测量的物体处于高速运动状态时，得到的图像不可避免地出现运动模糊，并且得到清晰的图像往往很困难，因此上述方法即失效。为了减小运动引起的模糊，就需要减少曝光时间，为了得到正确曝光的图像，作为补偿，就需要调高感光度或者增大光圈。然而提高感光度带来的结果是信噪比降低，严重的噪声将导致图像质量降低，不利于后期处理。增大光圈带来的结果是景深变浅，焦外模糊更加严重，而且镜头的光圈范围受制于物理结构和制造成本，一般是非常有限的。因此减少曝光时间以及增大光圈这两种方法并不能解决当被测量的物体处于高速运动状态时，图像的运动模糊问题。因此基于带有运动模糊的图像，识别编码标记点身份的方法一直是本领域技术人员待解决的技术难题。
技术实现思路
为解决现有技术中存在的问题，本专利技术公开了一种基于卷积神经网络的运动模糊编码点的身份识别方法，该方法能够能容忍一定程度的运动模糊和图像噪声并且具有良好的稳健性。本专利技术是这样实现的，一种基于卷积神经网络的运动模糊编码点的身份识别方法，具体步骤如下：步骤一、标定实拍相机，构造虚拟相机编码点，获取大量运动模糊编码点图像-编码点身份样本；步骤二、构造卷积神经网络MBCNet；步骤三、将步骤一中得到的运动模糊编码点图像-编码点身份样本的集合对步骤二中的卷积神经网络MBCNet进行训练及测试；步骤四、运用训练后的卷积神经网络MBCNet对运动模糊图像进行分割、分类，即可获得对应的编码标记点身份ID。进一步，所述的步骤一具体如下：步骤1.1、对实拍所用相机进行标定，确定相机的内参矩阵K，像平面记做π1；步骤1.2、确定在相机坐标系下，被测物体的空间运动区域Ω；步骤1.3、确定编码标记点的边长l；确定需要使用的编码标记点的序号集合M，准备好相应的编码标记点的图形Im，其中m∈M；步骤1.4、构造虚拟场景和虚拟相机：虚拟场景采用虚拟相机的坐标系，虚拟相机的内参矩阵为K；步骤1.5、虚拟的编码点为一个正方形T(m)，边长为l，正方形正面贴有编码标记点图像Im，编码标记点的图像Im恰好填充正方形T(m)；正方形所在平面记做π0；其中，正方形的四个顶点在π0内坐标分别为：在空间的齐次坐标分别为：步骤1.6、在空间运动区域Ω中选取随机的两个点P0以及P1，分别作为编码标记点运动的起点P0和终点P1；步骤1.7、选取两个随机的向量作为起点的方向向量和终点的方向向量步骤1.8、由P0,P1.决定一条三次样条曲线P＝P(t)，t∈[0,1]；步骤1.9、在参数区间[0,1]上取均匀分割的采样点tn，其中，式中，N为静态瞬间的个数；这里可以增加大N的取值范围，一般在100以上，数量越大，效果越好，而且本来就是要生成大量模糊图像，所以要大一些；在计算资源许可的情况下，取值大一些，效果更好。至少保证相邻的两个瞬间，编码点中心在虚拟相机平面上的投影距离不超过2像素。其编码标记点的姿态由函数α、β、γ决定，其中α＝α(t),β＝β(t),γ＝γ(t),t∈[0,1]，这三个函数为线性函数，由α(0),α(1),β(0),β(1),γ(0),γ(1)完全决定，这6个值在[0,2π]随机选取；选择模糊程度参数b,b为在2到N之间的整数；取值小则模糊程度轻，取值大则模糊程度大。对每一个n＝0,1,…,N,计算tn时刻的姿态角αn、βn、γn,其中αn＝α(tn),βn＝β(tn),γn＝γ(tn)，计算tn时刻的变换矩阵其中步骤1.10、计算出tn时刻正方形四个顶点在空间的齐次坐标，表示为列向量Xi＝P(tn)+RnSi(i＝1,2,3,4)；步骤1.11、计算出Xi在像平面的投影ui＝KXi,i＝1,2,3,4；步骤1.12、根据Si和ui的对应关系计算从π0到π1的单应矩阵Hn；步骤1.13、利用Hn和Im(m∈M)计算出虚拟相机在tn时刻的成像结果Jm,n；步骤1.14、计算模糊图像(Bm,k,m)就是一个运动模糊编码点图像-编码点身份样本；Bm,k需要经过适当剪裁，使其符合网络输入图像的尺寸，且剪裁以后的图像，包含有效的模糊编码点，理想的状态为，包含了完整的一个编码点的模糊图像，四周还有少许空白。剪裁后保留有效区域，尺寸适合卷积神经网络的输入；重复步骤1.6至步骤1.14，获取大量运动模糊编码点图像-编码点身份样本；该样本的集合记做D；步骤1.15、将样本的集合D随机分割为两个互不相交的子集D1和D2，分别用于训练和测试；子集D1，D2分配的数据比值在(65～75)：(35～25)之间。进一步，所述的步骤二中卷积神经网络MBCNet的功能层包括输入层，若干个卷积层、池化层、全连接层、输出层；具体地，卷积神经网络MBCNet从输入到输出的层次结构为:输入层，卷积层C1,池化层P2,卷积层C3,池化层P4,卷积层C5,池化层P6,卷积层C7,全连接层F8,输出层；网络的结构和参数可以根据实际需要做相应的调整。当编码标记点的数目多的时候，可以增加卷积层的个数和每个卷积层中核的个数。当输入更大尺寸的图片的时候可以增加核的尺寸和滑动步长。反之，当编码标记点的数目较少时，可以相应地减小这些参数，以降低计算成本。进一步，所述的卷积层C7和全连接层F8使用Dropout，每次更新部分权值；所述的输出层采用Softmax回归模型。进一步，所述的步骤三为：用子集D1训练MBCNet，并用D2进行测试，重复训练；当测试正确率测试数据集的平均损失降到0.05以下训练结束，其中，损失函数可以采用交叉熵，效果更好。进一步，所述的步骤四具体如下：步骤4.1、根据实拍编码标记点的运动模糊图像，其集合记为C1；步骤4.2、对C1中的图片进行分割，使得分割后的图像区域尺寸、且分割以后的图像只有一个，同时包含完整的一个编码点的模糊图像；即符合MBCNet的输入，分割以后的图像集合记为C2；步骤4.3、本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的运动模糊编码点的身份识别方法，其特征在于，具体步骤如下：步骤一、标定实拍相机，构造虚拟相机编码点，获取大量运动模糊编码点图像‑编码点身份样本；步骤二、构造卷积神经网络MBCNet；步骤三、将步骤一中得到的运动模糊编码点图像‑编码点身份样本的集合对步骤二中的卷积神经网络MBCNet进行训练及测试；步骤四、对实际拍摄的运动模糊编码标记点图像进行分割，运用训练后的卷积神经网络MBCNet对分割后的子图进行分类，获得对应的编码标记点身份ID。

【技术特征摘要】
1.一种基于卷积神经网络的运动模糊编码点的身份识别方法，其特征在于，具体步骤如下：步骤一、标定实拍相机，构造虚拟相机编码点，获取大量运动模糊编码点图像-编码点身份样本；步骤二、构造卷积神经网络MBCNet；步骤三、将步骤一中得到的运动模糊编码点图像-编码点身份样本的集合对步骤二中的卷积神经网络MBCNet进行训练及测试；步骤四、对实际拍摄的运动模糊编码标记点图像进行分割，运用训练后的卷积神经网络MBCNet对分割后的子图进行分类，获得对应的编码标记点身份ID。2.根据权利要求1所述的基于卷积神经网络的运动模糊编码点的身份识别方法，其特征在于，所述的步骤一具体如下：步骤1.1、对实拍所用相机进行标定，确定相机的内参矩阵K，像平面记做π1；步骤1.2、确定在相机坐标系下，被测物体的空间运动区域Ω；步骤1.3、确定编码标记点的边长l；确定需要使用的编码标记点的序号集合M，准备好相应的编码标记点的图形Im，其中m∈M；步骤1.4、构造虚拟场景和虚拟相机：虚拟场景采用虚拟相机的坐标系，虚拟相机的内参矩阵为K；步骤1.5、虚拟的编码点为一个正方形T(m)，边长为l，正方形正面贴有编码标记点图像Im，编码标记点的图像Im恰好填充正方形T(m)；正方形所在平面记做π0；步骤1.6、在空间运动区域Ω中选取随机的两个点P0以及P1，分别作为编码标记点运动的起点P0和终点P1；步骤1.7、选取两个随机的向量作为起点的方向向量和终点的方向向量步骤1.8、由P0，P1.决定一条三次样条曲线P＝P(t)，t∈[0,1]；步骤1.9、在参数区间[0,1]上取均匀分割的采样点tn，其中，n＝0,1,…,N式中，N为静态瞬间...

【专利技术属性】
技术研发人员：周含策，张丽艳，陈明军，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32