一种基于深度神经网络的靶心定位方法及系统技术方案

本发明专利技术公开了一种基于深度神经网络的靶心定位方法及系统，包括：建立与预设对象匹配的仿真模型，得到仿真图像数据；采集预处理后的真实图像数据；对仿真图像数据和真实图像数据做数据增强处理，得到数据集；训练深度神经网络；将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果；筛选目标类别判定与目标区域判定结果得到圆孔目标；提取圆孔目标对应的区域内每个像素点的图像坐标；计算圆孔目标区域像素点横纵坐标的平均值，得到预设对象靶心的图像位置坐标。本发明专利技术解决了当前基于传统图像处理技术方法在低清晰度图像难以定位、倾斜角度拍摄图像难以识别的问题。

【技术实现步骤摘要】
一种基于深度神经网络的靶心定位方法及系统
本专利技术涉及计算机视觉应用领域，具体地，涉及一种基于深度神经网络的靶心定位方法及系统。
技术介绍
在实际的生产过程中，存在着大量无法用接触式方式测量的目标。特别是在恶劣的工业环境中，一些运动目标是无法用常规传感器测量的，所以采用非接触式的方式实时测量运动目标是目前研究的热点之一。近年来CCD图像传感器已在航空航天，卫星侦察，遥感遥测，光学图像处理等领域得到广的应用。基于DIM硬件设备基础的靶心识别是当前图像识别领域亟待解决的问题之一。当前识别方法在低清晰度、复杂背景的图像上使用边缘检测算法难以精准地检测出目标的边缘，进而难以定位靶心。其次，由于拍摄角度的不同，目标形状会变化，难以通过单一规则判断。基于以上限制，目前难以做到全自动靶心识别，必须依赖人工处理，效率低且侦察结果一致性较差。随着深度学习技术的迅速发展，在语音识别、图像识别等领域已经有成熟应用案例。实时数字摄影测量的关键技术之一就是二维图像的实时处理。因此利用深度学习技术实现自动图像目标检测与识别成为可能。
技术实现思路
本专利技术针对真实复杂情况下的图像，提供了一种基于深度神经网络的靶心定位方法及系统，旨在解决当前基于传统图像处理技术方法在低清晰度图像难以定位、倾斜角度拍摄图像难以识别的问题。因真实场景下的数据采集难度较大，图像质量较低，直接使用神经网络模型定位靶目标效果较差。本专利技术使用创建仿真图像数据的方式，增大神经网络模型的训练样本量，从而达到提升神经网络模型性能和模型的泛化能力。为实现上述专利技术目的，本专利技术一方面提供了一种基于深度神经网络的靶心定位方法，包括：步骤1采集仿真图像数据：步骤1.1创建3D柱形靶模型，柱形靶模型上下底面均为椭圆形，且上下底面上均有圆孔，而柱身为细长型圆柱；步骤1.2设置光源照向柱形靶模型，光源类型使用点光源或自然光源；使用光源的目的是为了模拟黑暗场景下所观测到的目标形状与特征，光照方向射向目标；步骤1.3设置柱形靶模型材质，使之呈现金属材质质感；步骤1.4设置不同视点观察柱形靶模型，并截取图像得到不同角度的二维图像；步骤1.5为步骤1.4得到的图像分别添加高斯噪声、泊松噪声、椒盐噪声、乘性噪声。步骤2数据预处理与数据增强：步骤2.1对标注后的真实图像数据使用直方图均衡化，通过均匀图像的灰度值分布达到增强对比度的效果；步骤2.2将真实图像数据进行上下翻转、左右翻转、调节图片明暗度等方式进行数据增强，扩充数据集；步骤2.3将仿真图像数据进行上下翻转、左右翻转、调节图片明暗度等方式进行数据增强，扩充数据集。步骤3网络模型学习：步骤3.1使用ResNext网络提取图像的特征，分别提取第一特征向量，第二特征向量，第三特征向量，第四特征向量；步骤3.2分别对第一特征向量，第二特征向量，第三特征向量，第四特征向量执行上采样和卷积操作得到第五特征向量，第六特征向量，第七特征向量，第八特征向量；步骤3.3对第八特征向量执行池化操作得到第九特征向量；步骤3.4将第一特征向量，第二特征向量，第三特征向量，第四特征向量输入区域生成网络(RPN)得到区域提议(Regionproposals)；步骤3.5匹配候选区域与真实标注区域，得到正样本与负样本；候选区域即筛选后的区域提议。步骤3.6将正样本、负样本与第五特征向量，第六特征向量，第七特征向量，第八特征向量，第九特征向量输入分类网络与边框回归网络进行目标类别判定与目标区域判定。步骤4靶心定位：步骤4.1筛选步骤3.6输出的结果得到“圆孔”目标；圆孔目标即柱形模型顶面或者底面上的圆形孔状凹陷区域，根据深度神经网络的识别结果剔除非圆孔目标；步骤4.2提取“圆孔”目标的区域内每个像素点的图像坐标，记作(xi，yi),其中i＝1，2，3…M；M为目标区域像素点个数；步骤4.3计算“圆孔”目标区域像素点横纵坐标的平均值，得到靶心的图像位置坐标(X，Y),公式如下：另一方面，与本方法对应，本专利技术还提供了一种基于深度神经网络的靶心定位系统，所述系统包括：仿真图像数据采集单元，用于建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据；真实图像数据采集单元，用于采集预设对象的图像数据，标注预设对象的图像数据，对标注后的数据做预处理，得到预处理后的真实图像数据；数据增强单元，用于对仿真图像数据和真实图像数据做数据增强处理得到数据集；深度神经网络训练单元，用于基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果；圆孔目标筛选单元，用于筛选目标类别判定与目标区域判定结果得到圆孔目标；圆孔目标即柱形模型顶面或者底面上的圆形孔状凹陷区域，根据深度神经网络的识别结果剔除非圆孔目标；图像坐标提取单元，用于提取圆孔目标对应的区域内每个像素点的图像坐标，记作(xi，yi),其中i＝1，2，3…M；M为圆孔目标对应区域像素点个数；靶心图像位置坐标计算单元，用于计算圆孔目标区域像素点横纵坐标的平均值，得到预设对象靶心的图像位置坐标(X，Y)。本专利技术提供的一个或多个技术方案，至少具有如下技术效果或优点：本方法及系统对于各种复杂条件下所获取的图像有较好的识别准确率，具有一定的抗噪性。对较理想的仿真图像数据能达到8个像素点内99％以上的识别准确率和召回率。对复杂情况下的真实场景图像数据能达到10个像素点内95％以上的识别准确率和召回率。本方法及系统使用深度学神经网络模型对复杂背景条件下的柱形模型进行靶心定位，取得了显著的效果。附图说明此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本专利技术的一部分，并不构成对本专利技术实施例的限定；图1是本专利技术中一种基于深度神经网络的靶心定位方法的流程示意图；图2是本专利技术中一种基于深度神经网络的靶心定位系统的组成示意图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本专利技术的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。实施例图1是根据本专利技术实施例的靶心定位方法的流程图。如图1所示，该靶心定位方法的数据来源包含仿真图像数据与真实图像数据。其具体的步骤如下：步骤1采集仿真图像数据：步骤1.1仿照真实图像数据中的柱形模型，使用OpenGL创建3D柱形靶模型。柱形靶模型上下底面均为椭圆形，且上下底面上均有圆形孔，而柱身为细长型圆柱。本专利技术的一本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的靶心定位方法，其特征在于，所述方法包括：/n建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据；/n采集预设对象的图像数据，标注预设对象的图像数据，对标注后的数据做预处理，得到预处理后的真实图像数据；/n对仿真图像数据和真实图像数据做数据增强处理得到数据集；/n基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果；/n筛选目标类别判定与目标区域判定结果得到圆孔目标；/n提取圆孔目标对应的区域内每个像素点的图像坐标，记作(x

【技术特征摘要】
1.一种基于深度神经网络的靶心定位方法，其特征在于，所述方法包括：
建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据；
采集预设对象的图像数据，标注预设对象的图像数据，对标注后的数据做预处理，得到预处理后的真实图像数据；
对仿真图像数据和真实图像数据做数据增强处理得到数据集；
基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果；
筛选目标类别判定与目标区域判定结果得到圆孔目标；
提取圆孔目标对应的区域内每个像素点的图像坐标，记作(xi，yi)，其中i＝1，2，3…M；M为圆孔目标对应区域像素点个数；
计算圆孔目标区域像素点横纵坐标的平均值，得到预设对象靶心的图像位置坐标(X，Y)。


2.根据权利要求1所述的一种基于深度神经网络的靶心定位方法，其特征在于，所述步骤：建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据，具体包括：
创建仿真模型；
设置光源照向仿真模型；
设置不同视点观察仿真模型，并截取图像得到不同角度的二维图像；
在得到的二维图像中添加噪声，得到仿真图像数据。


3.根据权利要求2所述的一种基于深度神经网络的靶心定位方法，其特征在于，仿真模型为3D柱形靶模型，柱形靶模型上下底面均为椭圆形，且上下底面上均有圆孔，柱形靶模型的材质设置为金属材质。


4.根据权利要求2所述的一种基于深度神经网络的靶心定位方法，其特征在于，设置光源照向柱形靶模型模拟黑暗场景下所观测到的目标形状与特征，光源类型使用点光源或自然光源。


5.根据权利要求2所述的一种基于深度神经网络的靶心定位方法，其特征在于，在得到的二维图像中分别添加高斯噪声或泊松噪声或椒盐噪声或乘性噪声，得到仿真图像数据。


6.根据权利要求1所述的一种基于深度神经网络的靶心定位方法，其特征在于，对标注后的数据做预处理即对标注后的图像数据使用直方图均衡化。


7.根据权利要求1所述的一种基于深度神经网络的靶心定位方法，其特征在于，对仿真图像数据和真实图像数据做数据增强处理即通过将仿真图像数据和真实图像数据翻转及调节图片明暗度扩充数据集。

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：成都数之联科技有限公司，
类型：发明
国别省市：四川;51