基于卷积神经网络的目标位姿测量中训练样本生成方法技术

本发明专利技术涉及一种基于卷积神经网络的目标位姿测量中训练样本生成方法，其特征在于，利用各个维度上独立的运动信息之和来代替六个维度的联合运动信息，通过3Dmax软件模拟实际测量环境，自行制作实际工程所需仿真训练图片，制作仅有单个维度变化信息的图片；将已赋好的目标距离与正对位置偏移值作为训练样本标签，然后将生成的图片进行差和处理和加权叠加，生成六维联合运动变化的图片，从而构成最终的训练集。

Training sample generation method in target pose measurement based on convolution neural network

【技术实现步骤摘要】
基于卷积神经网络的目标位姿测量中训练样本生成方法
本专利技术属于计算机视觉领域，涉及卷积神经网络在测量目标物体位置和姿态过程中训练样本生成的方式。
技术介绍
机器视觉是基于对人类视觉研究的基础上衍生出的学科，它是人工智能领域一个新的研究热点。近年来,大量的研究人员从事着视觉领域各方面技术的研究,希望突破多方面的限制,使机器视觉技术能够更加成熟。机器视觉技术作为重要的检测测量技术已经应用于很多重要的工业、军事领域中,例如生物医学、环境科学、纺织、航天等。机器视觉系统根据获取图像的传感器个数的不同可以分为单目视觉测量系统,双目视觉测量系统和多目视觉测量系统等。其中，单目视觉测量法设备要求简单，在实际工业需求中较易实现，常被广泛用于图像单目视觉就是利用一个视觉传感器来捕捉图像信息,系统结构简单,成本低,对场地环境要求较低,而且视场范围较双目视觉或多目视觉要大得多,不需要进行立体匹配,具有广泛适用性。利用单目视觉来对运动目标进行目标位置和姿态的方法有很多,如几何相似法、几何光学法、特征靶标测量法、激光测距仪辅助测量法等。而这些方法所采用的图片样本均来自于真实图片或利用仿真软件生成的图片。在利用卷积神经网络进行位置与姿态的测量过程中，我们需要使用大量的训练样本来保证网络模型能够学习到足够多的特征。而目前并没有针对样本生成本身进行改进的相关工作，本文提出了一种新的样本生成方案。
技术实现思路
本专利技术的目的在于改进现有的目标训练样本获得方式，提供一种样本生成方法，可以显著扩大范围并且减少训练集样本的数量。技术方案如下：一种基于卷积神经网络的目标位姿测量中训练样本生成方法，其特征在于，利用各个维度上独立的运动信息之和来代替六个维度的联合运动信息，通过3Dmax软件模拟实际测量环境，自行制作实际工程所需仿真训练图片，制作仅有单个维度变化信息的图片；将已赋好的目标距离与正对位置偏移值作为训练样本标签，然后将生成的图片进行差和处理和加权叠加，生成六维联合运动变化的图片，从而构成最终的训练集。进一步地，按照如下步骤执行：第一步：根据实际工程需要，按1:1比例，利用3Dmax软件对实际工程所需的环境和被测目标物进行仿真模拟并生成仿真图片，仿真图片效果应符合实际工程测量环境。第二步：结合实际情况，制作有利于卷积神经网络进行特征提取的模拟特征靶标，在3Dmax软件中将靶标贴放于目标物表面。第三步：利用3Dmax软件的脚本系统批量制作训练集：结合实际需求，目标距离将在0.5米至1米之间，以0.01米为步幅进行样本取材，在目标距离共获取51档样本；目标正对位置偏移将沿Y轴、Z轴两方向在0～0.5米范围内，以0.01米为步幅进行样本取材，在正对位置偏移量上将分别获得51档样本；目标三维姿态角将在0～0.5度范围内，以0.01度为步幅进行样本取材，在三维姿态角上分别获得51档样本；最终一共获得51*6个仅有单维度变化的图片样本，即306个单维度样本。第四步：将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式，对所得到的样本图片进行二值化处理以减少噪声的干扰；第五步：将已赋好的目标距离与正对位置偏移值作为训练样本标签，然后将经过二值化处理生成的图片进行差和处理和加权叠加，生成多张张附加图片，最终形成所需的训练集。本专利技术所采用的基于卷积神经网络的目标位姿测量中训练样本生成方案创建了总数为306的样本图片，在排列组合的基础上生成了5万张附加图片，样本覆盖率在1/20000000左右。该样本通过自行搭建的高精度卷积神经网络不断训练学习，最终能将全局误差控制在0.006度之内，全局平均方差控制在0.0006度的平方之内。同时，利用贴合实际工程的卷积神经网络实现实时测量，每秒钟测量图片数可达到50张及以上(fps>50)，从而即时输出高精度测量结果。最终证明了本文样本生成方案的有效性。附图说明图1差和图生成架构图2自行制作的特征靶标物具体实施方式为使本专利技术的技术方案更加清楚，下面结合附图对本专利技术做进一步阐述。本专利技术按以下步骤具体实现：第一步：根据实际工程需要，按1:1比例，利用3Dmax软件对实际工程所需的环境和被测目标物进行仿真模拟并生成仿真图片。仿真图片效果应符合实际工程测量环境。本文所使用的仿真摄像机为目标摄像机。第二步：结合实际情况，制作有利于卷积神经网络进行特征提取的模拟特征靶标，在3Dmax软件中将靶标贴放于目标物表面。由于本文需要特征靶标拥有鲜明的边缘特征，于是选用了黑白棋盘格。在本次实验过程中，本文选取航天器主体半径为1m，高度为2m，标识物的半径为0.8m。目标摄像机与目标中心的距离设置为6m，即距离特征靶标为5m。第三步：利用3Dmax软件的脚本系统批量制作训练集。结合实际需求，目标距离将在0.5米至1米之间，以0.01米为步幅进行样本取材，在目标距离共获取51档样本；目标正对位置偏移将沿Y轴、Z轴两方向在0～0.5米范围内，以0.01米为步幅进行样本取材，在正对位置偏移量上将分别获得51档样本；目标三维姿态角将在0～0.5度范围内，以0.01度为步幅进行样本取材，在三维姿态角上分别获得51档样本。最终一共获得51*6个仅有单维度变化的图片样本，即306个单维度样本。在该过程中，利用3Dmax自带的脚本语言进行目标位置和姿态的控制。样本的选择要步幅均匀且遍历取样范围，这样保证我们在每一点都有所取材。第四步：将收集好的训练集进行格式转换，使之符合神经网络输入层的数据格式。对所得到的样本图片进行二值化处理以减少噪声的干扰，然后将经过处理后生成的图片进行差和处理和加权叠加，生成六维联合运动变化的图片，生成多张张附加图片，生成5万张附加图片，最终形成所需的训练集。第五步：基于TensorFlow神经网络框架，利用已经成熟的ResNet网络构建本方法的神经网络，结合实际工程环境及需求，减少卷积层数量并调整相关参数，构建高精度卷积神经网络识别系统，提高识别准确率。我们采用了ResNet18网络，并将网络的所有卷积核都改为3*3，去除了layer3和layer4，也就是一共去除了4个BasicBlock，将池化层均改为最大值池化。第六步：基于TensorFlow神经网络框架，进行测试程序构建。与此同时，构建测试用数据集，在实际环境中任意调整实际模型目标距离与正对位置偏移进行拍照截取，投入训练好的卷积神经网络，得到测试结果。本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的目标位姿测量中训练样本生成方法，其特征在于，利用各个维度上独立的运动信息之和来代替六个维度的联合运动信息，通过3Dmax软件模拟实际测量环境，自行制作实际工程所需仿真训练图片，制作仅有单个维度变化信息的图片；将已赋好的目标距离与正对位置偏移值作为训练样本标签，然后将生成的图片进行差和处理和加权叠加，生成六维联合运动变化的图片，从而构成最终的训练集。/n

【技术特征摘要】
1.一种基于卷积神经网络的目标位姿测量中训练样本生成方法，其特征在于，利用各个维度上独立的运动信息之和来代替六个维度的联合运动信息，通过3Dmax软件模拟实际测量环境，自行制作实际工程所需仿真训练图片，制作仅有单个维度变化信息的图片；将已赋好的目标距离与正对位置偏移值作为训练样本标签，然后将生成的图片进行差和处理和加权叠加，生成六维联合运动变化的图片，从而构成最终的训练集。


2.根据权利要求1所述得样本生成方法，其特征在于，按照如下步骤执行：
第一步：根据实际工程需要，按1:1比例，利用3Dmax软件对实际工程所需的环境和被测目标物进行仿真模拟并生成仿真图片，仿真图片效果应符合实际工程测量环境。
第二步：结合实际情况，制作有利于卷积神经网络进行特征提取的模拟特征靶标，在3Dmax软件中将靶标贴放于目标物表面；

【专利技术属性】
技术研发人员：杨嘉琛，雷宇田，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12