一种基于卷积神经网络的虚拟物显示方法及装置制造方法及图纸

本申请公开了一种基于卷积神经网络的虚拟物显示方法及装置，该方法包括：获取摄像机当前时刻所拍摄的每帧画面，针对每帧画面中的任一帧画面，将该帧画面与目标画面输入预先建立的卷积神经网络模型，输出该帧画面与目标画面的四个顶点坐标之间的偏差，当每帧画面与目标画面的四个顶点坐标之间的偏差小于阈值，则显示虚拟物。通过上述方法，可以有效的确定出摄像机的当前时刻的影像是否没有到达指定的位置。

【技术实现步骤摘要】
一种基于卷积神经网络的虚拟物显示方法及装置
本申请涉及计算机
，尤其涉及一种基于卷积神经网络的虚拟物显示方法及装置。
技术介绍
在计算机视觉领域中，包含同一对象的任意两幅图像通过单应性联系在一起，而通过确定两幅图像的单应性矩阵可以广泛的应用到人们的实际生活中，如，图像校正、图像对齐以及相机防抖等。目前，在不同的相机姿态下，同一个对象所产生的图像内容会有所不同，但是仍然存在着局部对应的像素，可以利用局部对应的像素来确定包含同一对象的任意两幅图像对应的单应性矩阵。具体的，在现有技术中，主要使用MS-COCO数据集中的图片来生成实验所需的128*128的图像数据，使用两幅图像相对应的四对顶点(8个横纵坐标)的相对偏移量作为标签，训练基于卷积神经网络的VGG-style网络的部分参数，后续，可利用训练好的VGG-style网络确定包含同一对象的两幅的图像对应的单应性矩阵。但是，现有技术在生成数据时，没有充分考虑图像内部发生的变化，包括亮度变化以及内部扰动的常见的情况，使得在使用VGG-style网络确定包含同一对象的两幅的图像对应的单应性矩阵的精度较低。
技术实现思路
本申请实施例提供一种基于卷积神经网络的虚拟物显示方法及装置，能够有效的确定出摄像机的当前时刻的影像是否没有到达指定的位置。本申请实施例提供的一种基于卷积神经网络的虚拟物显示方法，包括：获取摄像机当前时刻所拍摄的每帧画面；针对每帧画面中的任一帧画面，将该帧画面与目标画面输入预先建立的卷积神经网络模型，输出该帧画面与目标画面的四个顶点坐标之间的偏差；当每帧画面与目标画面的四个顶点坐标之间的偏差小于阈值，则显示虚拟物。优选地，在将该帧画面与目标画面输入预先建立的卷积神经网络模型之前，所述方法还包括：制作训练图像集，其中，所述训练图像集包括至少一对存在单应性对应关系的矩形图像，初始化待训练的卷积神经网络模型内的各权重参数，将所述至少一对存在单应性对应关系的矩形图像输入待训练的卷积神经网络模型，根据待训练的卷积神经网络模型输出的所述至少一对存在单应性对应关系的矩形图像的顶点坐标的偏差以及所述至少一对存在单应性对应关系的矩形图像的顶点坐标训练所述待训练的卷积神经网络模型内的各权重参数，得到卷积神经网络模型。优选地，所述至少一对存在单应性对应关系的矩形图像均为灰度图像，和/或所述至少一对存在单应性对应关系的矩形图像包括图像的中心点且尺寸相同。优选地，该方法包括：对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的亮度、模糊度、噪声和子图像位置中的至少一者进行扰动。优选地，所述卷积神经网络模型内的最后一个池化层的核大小为4x4，所述卷积层的卷积核的通道数为64。优选地，按照随机梯度下降法将所述训练图像集中的存在单应性对应关系的矩形图像输入所述待训练的卷积神经网络模型，根据待训练的卷积神经网络模型输出的所述训练图像集中的存在单应性对应关系的矩形图像的顶点坐标的偏差，以及所述训练图像集中的存在单应性对应关系的矩形图像的顶点坐标的顶点坐标之间的差值，构建损失函数，直至损失函数符合预先设定的模型精度值。优选地，对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的亮度进行扰动的方式为：针对待扰动的一幅矩形图像，生成随机数r，根据所生成的随机数r，通过公式p′＝p×(1.0+r)确定该幅矩形图像中每个像素点的新灰度值，其中，p′表示新灰度值，P表示原始灰度值，r表示随机数；对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的模糊度进行扰动的方式为：针对待扰动的一幅矩形图像，生成随机数a，以随机数a为模糊半径，对该幅矩形图像进行高斯模糊；对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的噪声进行扰动的方式为：针对待扰动的一幅矩形图像，生成密度随机数以及强度随机数，根据密度随机数以及强度随机数，在该幅矩形图像内生成椒盐噪声；对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的子图像位置进行扰动的方式为：针对待扰动的一幅矩形图像，在该幅图像内随机选择两个不同位置且相同尺寸的子图像，交换两个子图像内的所有像素。优选地，其中随机梯度下降法使用的下降策略为：其中，lr为当前学习率，iter为当前迭代次数，max_iter为最大迭代次数，power为控制学习率下降快慢的参数，base_lr为基础学习率；和/或，模型精度按照如下公式计算：si＝pi-ri，其中，M为测试样本集的数量，pi为一对矩形图像i的顶点坐标的预测偏差，ri为一对矩形图像i的顶点坐标的真实偏差。优选地，当每帧画面与目标画面的四个顶点坐标之间的偏差满足误差公式则显示虚拟物，其中，m指的是当前时刻所获取的帧画面的数量，T为预设的第一阈值，S为预设的第二阈值，V为每帧画面与目标画面的四个顶点坐标之间的偏差。优选地，当每帧画面与目标画面的四个顶点坐标之间的偏差满足误差公式‖V‖＜S，则显示虚拟物，其中，‖·‖为0范数、1范数或2范数的距离公式，S是预设的第三阈值，V为每帧画面与目标画面的四个顶点坐标之间的偏差构成的偏差矩阵。本申请实施例提供的一种基于卷积神经网络的虚拟物显示装置，包括：获取模块，用于获取摄像机当前时刻所拍摄的每帧画面；输出模块，用于针对每帧画面中的任一帧画面，将该帧画面与目标画面输入预先建立的卷积神经网络模型，输出该帧画面与目标画面的四个顶点坐标之间的偏差；显示模块，用于当每帧画面与目标画面的四个顶点坐标之间的偏差小于阈值，则显示虚拟物。优选地，所述装置还包括：模型训练模块，用于在输入模块将该帧画面与目标画面输入预先建立的卷积神经网络模型之前，制作训练图像集，其中，所述训练图像集包括至少一对存在单应性对应关系的矩形图像，初始化待训练的卷积神经网络模型内的各权重参数，将所述至少一对存在单应性对应关系的矩形图像输入待训练的卷积神经网络模型，根据待训练的卷积神经网络模型输出的所述至少一对存在单应性对应关系的矩形图像的顶点坐标的偏差以及所述至少一对存在单应性对应关系的矩形图像的顶点坐标训练所述待训练的卷积神经网络模型内的各权重参数，得到卷积神经网络模型。优选地，所述至少一对存在单应性对应关系的矩形图像均为灰度图像，和/或所述至少一对存在单应性对应关系的矩形图像包括图像的中心点且尺寸相同。优选地，该装置还包括：扰动模块，用于对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的亮度、模糊度、噪声和子图像位置中的至少一者进行扰动。优选地，所述卷积神经网络模型内的最后一个池化层的核大小为4x4，所述卷积层的卷积核的通道数为64。优选地，所述模型训练模块，还用于按照随机梯度下降法将所述训练图像集中的存在单应性对应关系的矩形图像输入所述待训练的卷积神经网络模型，根据待训练的卷积神经网络模型输出的所述训练图像集中的存在单应性对应关系的矩形图像的顶点坐标的偏差，以及所述训练图像集中的存在单应性对应关系的矩形图像的顶点坐标的顶点坐标之间的差值，构建损失函数，直至损失函数符合预先设定的模型精度值。优选地，所述扰动模块具体用于，对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的亮度进行扰动的方式为：针对待扰动的一幅矩形图像，生成随机数r，根据所生成的随机数r，通过本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的虚拟物显示方法，其特征在于，包括：获取摄像机当前时刻所拍摄的每帧画面；针对每帧画面中的任一帧画面，将该帧画面与目标画面输入预先建立的卷积神经网络模型，输出该帧画面与目标画面的四个顶点坐标之间的偏差；当每帧画面与目标画面的四个顶点坐标之间的偏差小于阈值，则显示虚拟物。

【技术特征摘要】
1.一种基于卷积神经网络的虚拟物显示方法，其特征在于，包括：获取摄像机当前时刻所拍摄的每帧画面；针对每帧画面中的任一帧画面，将该帧画面与目标画面输入预先建立的卷积神经网络模型，输出该帧画面与目标画面的四个顶点坐标之间的偏差；当每帧画面与目标画面的四个顶点坐标之间的偏差小于阈值，则显示虚拟物。2.如权利要求1所述的方法，其特征在于，在将该帧画面与目标画面输入预先建立的卷积神经网络模型之前，所述方法还包括：制作训练图像集，其中，所述训练图像集包括至少一对存在单应性对应关系的矩形图像；初始化待训练的卷积神经网络模型内的各权重参数；将所述至少一对存在单应性对应关系的矩形图像输入待训练的卷积神经网络模型；根据待训练的卷积神经网络模型输出的所述至少一对存在单应性对应关系的矩形图像的顶点坐标的偏差以及所述至少一对存在单应性对应关系的矩形图像的顶点坐标训练所述待训练的卷积神经网络模型内的各权重参数，得到卷积神经网络模型。3.如权利要求2所述的方法，其特征在于，所述至少一对存在单应性对应关系的矩形图像均为灰度图像，和/或所述至少一对存在单应性对应关系的矩形图像包括图像的中心点且尺寸相同。4.如权利要求2所述的方法，其特征在于，该方法包括：对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的亮度、模糊度、噪声和子图像位置中的至少一者进行扰动。5.如权利要求1-4任意一项所述的方法，其特征在于，所述卷积神经网络模型内的最后一个池化层的核大小为4x4，所述卷积层的卷积核的通道数为64。6.如权利要求2所述的方法，其特征在于，所述训练所述待训练的卷积神经网络模型内的各权重参数包括：按照随机梯度下降法将所述训练图像集中的存在单应性对应关系的矩形图像输入所述待训练的卷积神经网络模型；根据待训练的卷积神经网络模型输出的所述训练图像集中的存在单应性对应关系的矩形图像的顶点坐标的偏差，以及所述训练图像集中的存在单应性对应关系的矩形图像的顶点坐标的顶点坐标之间的差值，构建损失函数，直至损失函数符合预先设定的模型精度值。7.如权利要求4所述的方法，其特征在于，对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的亮度进行扰动的方式为：针对待扰动的一幅矩形图像，生成随机数r，根据所生成的随机数r，通过公式p′＝p×(1.0+r)确定该幅矩形图像中每个像素点的新灰度值，其中，p′表示新灰度值，P表示原始灰度值，r表示随机数；对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的模糊度进行扰动的方式为：针对待扰动的一幅矩形图像，生成随机数a，以随机数a为模糊半径，对该幅矩形图像进行高斯模糊；对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的噪声进行扰动的方式为：针对待扰动的一幅矩形图像，生成密度随机数以及强度随机数，根据密度随机数以及强度随机数，在该幅矩形图像内生成椒盐噪声；对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的子图像位置进行扰动的方式为：针对待扰动的一幅矩形图像，在该幅图像内随机选择两个不同位置且相同尺寸的子图像，交换两个子图像内的所有像素。8.如权利要求6所述的方法，其特征在于，其中随机梯度下降法使用的下降策略为：其中，lr为当前学习率，iter为当前迭代次数，max_iter为最大迭代次数，power为控制学习率下降快慢的参数，base_lr为基础学习率；和/或模型精度按照如下公式计算：si＝pi-ri，其中，M为测试样本集的数量，pi为一对矩形图像i的顶点坐标的预测偏差，ri为一对矩形图像i的顶点坐标的真实偏差。9.如权利要求1所述的方法，其特征在于，当每帧画面与目标画面的四个顶点坐标之间的偏差小于阈值，则显示虚拟物，具体包括：当每帧画面与目标画面的四个顶点坐标之间的偏差满足误差公式则显示虚拟物，其中，m指的是当前时刻所获取的帧画面的数量，T为预设的第一阈值，S为预设的第二阈值，V为每帧画面与目标画面的四个顶点坐标之间的偏差。10.如权利要求1所述的方法，其特征在于，当每帧画面与目标画面的四个顶点坐标之间的偏差小于阈值，则显示虚拟物，具体包括：当每帧画面与目标画面的四个顶点坐标之间的偏差满足误差公式‖V‖＜S，则显示虚拟物，其中，‖·‖为0范数、1范数或2范数的距离公式，S是预设的第三阈值，V为每帧画面与目标画面的四个顶点坐标之间的偏差构成的偏差矩阵。...

【专利技术属性】
技术研发人员：庄晓滨，周俊明，戴长军，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：广东,44