一种增强现实图像处理方法及系统技术方案

技术编号:15640378 阅读:352 留言:0更新日期:2017-06-16 05:32
本发明专利技术公开了一种增强现实图像处理方法及系统,其中该方法包括获取若干连续帧的增强现实图像样本并分别对其进行归一化和去噪预处理;以标签形式标注出每个预处理后图像样本中目标的实际位置信息及标签类别;利用标签化的样本分别训练用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络;将待处理的增强现实图像进行归一化和去噪预处理之后,再输入至训练完成的第一卷积神经网络和第二卷积神经网络中,分别得到待处理的增强现实图像的目标位置信息与标签分类信息。本发明专利技术提高了检测精度和速度。

【技术实现步骤摘要】
一种增强现实图像处理方法及系统
本专利技术属于图像处理领域,尤其涉及一种增强现实图像处理方法及系统。
技术介绍
增强现实(AugmentedReality,简称AR)是通过计算机系统提供的信息增加用户对现实世界感知的技术,将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,从而实现对现实的增强。本专利技术提供一种基于深度学习的目标检测技术,为增强现实提供技术基础。从增强现实系统的硬件来看,大致可分为两类:基于计算机视觉算法的增强现实;基于传感器的增强现实。基于传感器的跟踪包括GPS(GlobalPositioningSystem全球定位系统),地磁,声音,惯性,光影或者力学感受器等。例如ARToolkit是基于标识识别的开源库,它使用C/C++语言编写,通过它可以让我们很容易的编写增强现实应用程序。这个库首先记录了很多易于标示的标识图片,并以此为交互对象,实现了标识的跟踪与交互,编程人员只要使用ARToolkit库就可以编写渲染方式。现在己经有非常多的基于该库的应用出现,也因此证明了该库的稳定性和实用性。与其他AR技术相对来说已经比较成熟。然而,此技术需要专门绘制固定纹路的标识,使得其应用场景大大受限。对于标识识别主要有一类方法,目标检测方法。目标检测方法要解决的主要问题是处于复杂光照、复杂背景、多尺度、多视角、遮挡等条件下目标的识别定位问题。在解决这些基本问题的同时,为使目标识别定位方法可以应用于实际场景中,目标检测算法需要满足实时性及鲁棒性。目标检测方法分为全局方法和局部方法两类。全局方法使用统计学分类技术,来比较输入图像与目标物体训练图集的相似程度,具体方法PCA、KNN、Adaboost等。这类方法用来解决检测一类目标物体的实例。而对于目标检测的常见问题,例如复杂的遮挡关系、光照和背景灯,并没有进行针对性解决。综上所述,传统AR在目标检测过程中,存在不能鲁棒性识别的问题。
技术实现思路
为了解决传统AR目标检测不能鲁棒性识别的问题,本专利技术的第一目的是提供了一种增强现实图像处理方法。本专利技术的一种增强现实图像处理方法,包括:获取若干连续帧的增强现实图像样本并分别对其进行归一化和去噪预处理;以标签形式标注出每个预处理后图像样本中目标的实际位置信息及标签类别;利用标签化的样本分别训练用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络;将待处理的增强现实图像进行归一化和去噪预处理之后,再输入至训练完成的第一卷积神经网络和第二卷积神经网络中,分别得到待处理的增强现实图像的目标位置信息与标签分类信息。进一步的,利用标签化的样本分别训练用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络的过程包括:标签化的样本分别输入至用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络,输出的目标位置信息与标签分类信息,直至第一卷积神经网络和第二卷积神经网络分别输出的目标位置信息与标签分类信息与目标的实际位置信息与标签分类信息一致,得到训练完成的第一卷积神经网络和第二卷积神经网络。本专利技术通过对图像的提取和数据的预处理,能加速神经网络的训练速度。进一步的,所述第一卷积神经网络为RPN卷积神经网络。在目标检测中,fast-RCNN卷积神经网络已经减少了检测步骤的执行时间,只有在提取regionproposal(候选区域)方面没有提高,而RPN卷积神经网络用来提取检测区域,并且和整个检测网络共享卷积部分的特征。进一步的,所述第二卷积神经网络为fast-RCNN卷积神经网络。fast-RCNN卷积神经网络在检测部分减少了卷积的次数,减少了整个过程所需的时间。专利技术的第二目的是提供了一种增强现实图像处理系统。本专利技术的实施例一的增强现实图像处理系统,包括:样本集获取模块,其用于获取若干连续帧的增强现实图像样本;预处理模块,其用于对每个样本分别进行归一化和去噪预处理;标签化模块,其用于以标签形式标注出每个预处理后图像样本中目标的实际位置信息及标签类别;卷积神经网络训练模块,其用于利用标签化的样本分别训练用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络;图像目标信息获取模块,其用于将待处理的增强现实图像进行归一化和去噪预处理之后,再输入至训练完成的第一卷积神经网络和第二卷积神经网络中,分别得到待处理的增强现实图像的目标位置信息与标签分类信息。进一步的,在所述卷积神经网络训练模块中,标签化的样本分别输入至用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络,输出的目标位置信息与标签分类信息,直至第一卷积神经网络和第二卷积神经网络分别输出的目标位置信息与标签分类信息与目标的实际位置信息与标签分类信息一致,得到训练完成的第一卷积神经网络和第二卷积神经网络。进一步的,所述第一卷积神经网络为RPN卷积神经网络;或所述第二卷积神经网络为fast-RCNN卷积神经网络。本专利技术的实施例二的增强现实图像处理系统,包括:图像采集装置,其被配置为:采集若干连续帧的增强现实图像以及待处理的增强图像并传送至处理器;所述处理器,其被配置为:对获取的若干连续帧的增强现实图像样本分别进行归一化和去噪预处理,并将预处理后的图像样本传送至服务器;所述处理器还被配置为:将待处理的增强图像进行归一化和去噪预处理并传送至服务器;所述服务器,其被配置为:以标签形式标注出每个预处理后图像样本中目标的实际位置信息及标签类别;利用标签化的样本分别训练用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络,得到训练完成的第一卷积神经网络和第二卷积神经网络;以及将预处理后的待处理的增强图像输入至训练完成的第一卷积神经网络和第二卷积神经网络中,分别得到待处理的增强现实图像的目标位置信息与标签分类信息。进一步的,所述服务器还被配置为:标签化的样本分别输入至用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络,输出的目标位置信息与标签分类信息,直至第一卷积神经网络和第二卷积神经网络分别输出的目标位置信息与标签分类信息与目标的实际位置信息与标签分类信息一致,得到训练完成的第一卷积神经网络和第二卷积神经网络。进一步的,该系统还包括显示装置,其用于显示待处理的增强现实图像的目标位置信息与标签分类信息。本专利技术的实施例三的增强现实图像处理系统,包括:图像采集装置,其被配置为:采集若干连续帧的增强现实图像以及待处理的增强图像并传送至服务器;所述服务器,其被配置为:对获取的若干连续帧的增强现实图像样本分别进行归一化和去噪预处理;以标签形式标注出每个预处理后图像样本中目标的实际位置信息及标签类别;利用标签化的样本分别训练用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络,得到训练完成的第一卷积神经网络和第二卷积神经网络;以及将待处理的增强图像进行归一化和去噪预处理,之后再输入至训练完成的第一卷积神经网络和第二卷积神经网络中,分别得到待处理的增强现实图像的目标位置信息与标签分类信息。进一步的,所述服务器还被配置为:标签化的样本分别输入至用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络,输出的目标位置信息与标签分类信息,直至第一卷积神经网络和第二卷积神经网络分别输出的目标位置信息与标签分类信息与目标的实际位置信本文档来自技高网
...
一种增强现实图像处理方法及系统

【技术保护点】
一种增强现实图像处理方法,其特征在于,包括:获取若干连续帧的增强现实图像样本并分别对其进行归一化和去噪预处理;以标签形式标注出每个预处理后图像样本中目标的实际位置信息及标签类别;利用标签化的样本分别训练用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络;将待处理的增强现实图像进行归一化和去噪预处理之后,再输入至训练完成的第一卷积神经网络和第二卷积神经网络中,分别得到待处理的增强现实图像的目标位置信息与标签分类信息。

【技术特征摘要】
1.一种增强现实图像处理方法,其特征在于,包括:获取若干连续帧的增强现实图像样本并分别对其进行归一化和去噪预处理;以标签形式标注出每个预处理后图像样本中目标的实际位置信息及标签类别;利用标签化的样本分别训练用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络;将待处理的增强现实图像进行归一化和去噪预处理之后,再输入至训练完成的第一卷积神经网络和第二卷积神经网络中,分别得到待处理的增强现实图像的目标位置信息与标签分类信息。2.如权利要求1所述的一种增强现实图像处理方法,其特征在于,利用标签化的样本分别训练用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络的过程包括:标签化的样本分别输入至用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络,输出的目标位置信息与标签分类信息,直至第一卷积神经网络和第二卷积神经网络分别输出的目标位置信息与标签分类信息与目标的实际位置信息与标签分类信息一致,得到训练完成的第一卷积神经网络和第二卷积神经网络。3.如权利要求1所述的一种增强现实图像处理方法,其特征在于,所述第一卷积神经网络为RPN卷积神经网络。4.如权利要求1所述的一种增强现实图像处理方法,其特征在于,所述第二卷积神经网络为fast-RCNN卷积神经网络。5.一种增强现实图像处理系统,其特征在于,包括:样本集获取模块,其用于获取若干连续帧的增强现实图像样本;预处理模块,其用于对每个样本分别进行归一化和去噪预处理;标签化模块,其用于以标签形式标注出每个预处理后图像样本中目标的实际位置信息及标签类别;卷积神经网络训练模块,其用于利用标签化的样本分别训练用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络;图像目标信息获取模块,其用于将待处理的增强现实图像进行归一化和去噪预处理之后,再输入至训练完成的第一卷积神经网络和第二卷积神经网络中,分别得到待处理的增强现实图像的目标位置信息与标签分类信息。6.如权利要求5所述的一种增强现实图像处理系统,其特征在于,在所述卷积神经网络训练模块中,标签化的样本分别输入至用于目标定位的第一卷积神经网络和目标标签分类的第二卷积神经网络,输出的目标位置信息与标签分类信息,直至第一卷积神经网络和第二卷积神经网络分别输出的目标位置信息与标签分类信息与目标的实际位置信息与标签分类信息一致,得...

【专利技术属性】
技术研发人员:张镇刘宇张国栋梁波
申请(专利权)人:山东万腾电子科技有限公司
类型:发明
国别省市:山东,37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1