基于异构孪生网络的AR观景互动方法及系统技术方案

本发明专利技术公开了基于异构孪生网络的AR观景互动方法及系统，将模板图集合和待匹配图输入到已训练好的图像匹配网络中，图像匹配网络包括孪生网络模块、区域选取网络模块和匹配模块；孪生网络模块对输入的模板图集合和待匹配图进行相关卷积运算以及多特征融合，输出两种底层特征图；区域选取网络模块对输入的两种底层特征图进行不同参数的卷积运算，分别生成目标类别特征图和目标位置特征图；匹配模块对输入的目标类别特征图和目标位置特征图进行匹配，输出目标位置下目标类别的三维图，以供AR观景展示；该AR观景互动方法能够高精度、低延时地匹配并定位模板图在待匹配图中的位置，提高了AR观景类互动的实时性和准确性，增强互动的真实性和体验感。的真实性和体验感。的真实性和体验感。

【技术实现步骤摘要】
基于异构孪生网络的AR观景互动方法及系统


[0001]本专利技术涉及AR观景
，尤其涉及基于异构孪生网络的AR观景互动方法及系统。

技术介绍

[0002]图像匹配，是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。
[0003]孪生网络，是图像匹配中应用鲁棒性较好的一种深度神经网络，是基于两个人工神经网络建立的耦合构架。孪生网络以两个样本为输入，输出其嵌入高维度空间的表征，以比较两个样本的相似程度。
[0004]目前AR观景互动系统，一般应用传统的模板匹配算法，该算法往往获取的是图像像素的灰度信息，该方法有着很大的局限性，只适用于特定的场景，对于角度、形状、遮挡等特征变化较大的目标，提取的浅层人工特征往往会失效，为了保证算法有效，往往需要耗费的大量时间进行规划，确定匹配区域并选择合适的模板。

技术实现思路

[0005]基于
技术介绍
存在的技术问题，本专利技术提出了基于异构孪生网络的AR观景互动方法及系统，能够高精度、低延时地匹配并定位模板图在待匹配图中的位置，提高了AR观景类互动的实时性和准确性，增强互动的真实性和体验感。
[0006]本专利技术提出的基于异构孪生网络的AR观景互动方法，包括：
[0007]将模板图集合和待匹配图输入到已训练好的图像匹配网络中，图像匹配网络包括孪生网络模块、区域选取网络模块和匹配模块；
[0008]孪生网络模块对输入的模板图集合和待匹配图进行相关卷积运算以及多特征融合，输出两种底层特征图；
[0009]区域选取网络模块对输入的两种底层特征图进行不同参数的卷积运算，分别生成目标类别特征图和目标位置特征图；
[0010]匹配模块对输入的目标类别特征图和目标位置特征图进行匹配，输出目标位置下目标类别的三维图，以供AR观景展示。
[0011]进一步地，所述孪生网络模块包括多特征融合网络和两个残差网络，两个残差网络的结构相同、网络不对称，多特征融合网络的输入端分别与残差网络的输出端连接、输出端与区域选取网络模块的输入端连接，残差网络的输入端输入模板图集合和待匹配图。
[0012]进一步地，残差网络包括卷积层Conv3_4、卷积层Conv4_4、卷积层Conv5_4，卷积层Conv3_4、卷积层Conv4_4、卷积层Conv5_4并联设置；其中一个残差网络中的卷积层Conv3_4与另一个残差网络中的卷积层Conv3_4进行深度卷积型相关卷积，输出第一相关性特征图，
其中一个残差网络中的卷积层Conv4_4与另一个残差网络中的卷积层Conv4_4进行深度卷积型相关卷积，输出第二相关性特征图，其中一个残差网络中的卷积层Conv5_4与另一个残差网络中的卷积层Conv5_4进行深度卷积型相关卷积，输出第三相关性特征图，并将第一相关性特征图、第二相关性特征图、第三相关性特征图分别输入到多特征融合网络中。
[0013]进一步地，所述多特征融合网络包括卷积层ConvF1、卷积层ConvF2和卷积层ConvF3和融合层；卷积层ConvF1的输入端输入第一相关性特征图，并对第一相关性特征图进行卷积计算输出第一顶层特征图，卷积层ConvF2的输入端输入第二相关性特征图，并对第二相关性特征图进行卷积计算输出第二顶层特征图，卷积层ConvF3的输入端输入第三相关性特征图，并对第三相关性特征图进行卷积计算输出第三顶层特征图，第一顶层特征图、第二相关性特征图、第三相关性特征图输入到融合层进行特征融合，输出两种底层特征图。
[0014]进一步地，所述区域选取网络模块包括卷积层ConvFN_cls和卷积层ConvFN_reg，ConvFN_cls的输入端输入其中一个底层特征图，通过卷积计算输出目标类别特征图，卷积层ConvFN_reg的输入端输入另一个底层特征图，通过卷积计算输出目标位置特征图。
[0015]进一步地，卷积层ConvFN_cls包括卷积层ConvCls_t和卷积层Reg_t，卷积层ConvFN_reg包括卷积层ConvCls_d和卷积层Reg_d，卷积层ConvCls_t与卷积层ConvCls_d进行深度卷积型相关卷积，输出目标类别特征图，卷积层Reg_t和卷积层Reg_d进行深度卷积型相关卷积，输出目标位置特征图。
[0016]进一步地，多特征融合网络中的融合层是指将三个参数相同的第一顶层特征图、第二相关性特征图和第三相关性特征图，分别通过两种不同参数的卷积运算得到两种底层特征图，两种底层特征图分别为特征信息弱、位置信息强的底层特征图以及特征信息强、位置信息强的底层特征图；
[0017]具体公式：
[0018][0019]其中，w1＝2，w2＝4，w3＝6。
[0020]进一步地，对已构建好的图像匹配网络进行训练，训练步骤如下：
[0021]构建图像样本集和设置初始模型参数，图像样本集包括训练样本集和测试样本集；
[0022]通过训练样本集对图像匹配网络进行训练，更新图像匹配网络中的模型参数，所述图像匹配网络的激活函数是PReLu函数；
[0023][0024]所述网络的损失函数为交叉熵损失函数，对ConvF1、ConvF2、ConvF3分别计算损失函数L1、L2、L3以及总损失函数L
vltotal
；
[0025][0026][0027][0028]总损失函数为：
[0029]L
v1total
(p
i
，t
i
)＝L1(p
i
，t
i
)+L2(p
i
，t
i
)+L3(p
i
，t
i
)
[0030]其中，p*表示标签，值为0或1，p表示预测的概率，t为回归分支的输出结果，即输出预测中心坐标偏移量(dx,dy)以及输出预测目标框长宽偏移量(dw,dh)，t*则为目标真实的中心偏移量与长宽偏移量，L
cls
()表示卷积层ConvFN_cls的损失函数，L
reg
()表示卷积层ConvFN_reg的损失函数，L
lip
表示正则化项，N
cls1
、N
cls2
、N
cls3
、N
reg1
、N
reg2
、N
reg3
、λ、λ2分别为固定参数。
[0031]通过测试样本集对训练过的图像匹配网络进行测试，计算图像匹配网络的准确率和实时性，若性能提升，则迭代通过训练样本集对图像匹配网络进行训练，若性能未提升，则停止迭代，输出已训练好的图像匹配网络。
[0032]基于异构孪生网络的AR观景互动系统，包括图像输入模块、孪生网络模块、区域选取网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于异构孪生网络的AR观景互动方法，其特征在于，包括：将模板图集合和待匹配图输入到已训练好的图像匹配网络中，图像匹配网络包括孪生网络模块、区域选取网络模块和匹配模块；孪生网络模块对输入的模板图集合和待匹配图进行相关卷积运算以及多特征融合，输出两种底层特征图；区域选取网络模块对输入的两种底层特征图进行不同参数的卷积运算，分别生成目标类别特征图和目标位置特征图；匹配模块对输入的目标类别特征图和目标位置特征图进行匹配，输出目标位置下目标类别的三维图，以供AR观景展示。2.根据权利要求1所述的基于异构孪生网络的AR观景互动方法，其特征在于，所述孪生网络模块包括多特征融合网络和两个残差网络，两个残差网络的结构相同、网络不对称，多特征融合网络的输入端分别与残差网络的输出端连接、输出端与区域选取网络模块的输入端连接，残差网络的输入端输入模板图集合和待匹配图。3.根据权利要求2所述的基于异构孪生网络的AR观景互动方法，其特征在于，残差网络包括卷积层Conv3_4、卷积层Conv4_4、卷积层Conv5_4，卷积层Conv3_4、卷积层Conv4_4、卷积层Conv5_4并联设置；其中一个残差网络中的卷积层Conv3_4与另一个残差网络中的卷积层Conv3_4进行深度卷积型相关卷积，输出第一相关性特征图，其中一个残差网络中的卷积层Conv4_4与另一个残差网络中的卷积层Conv4_4进行深度卷积型相关卷积，输出第二相关性特征图，其中一个残差网络中的卷积层Conv5_4与另一个残差网络中的卷积层Conv5_4进行深度卷积型相关卷积，输出第三相关性特征图，并将第一相关性特征图、第二相关性特征图、第三相关性特征图分别输入到多特征融合网络中。4.根据权利要求3所述的基于异构孪生网络的AR观景互动方法，其特征在于，所述多特征融合网络包括卷积层ConvF1、卷积层ConvF2和卷积层ConvF3和融合层；卷积层ConvF1的输入端输入第一相关性特征图，并对第一相关性特征图进行卷积计算输出第一顶层特征图，卷积层ConvF2的输入端输入第二相关性特征图，并对第二相关性特征图进行卷积计算输出第二顶层特征图，卷积层ConvF3的输入端输入第三相关性特征图，并对第三相关性特征图进行卷积计算输出第三顶层特征图，第一顶层特征图、第二相关性特征图、第三相关性特征图输入到融合层进行特征融合，输出两种底层特征图。5.根据权利要求4所述的基于异构孪生网络的AR观景互动方法，其特征在于，所述区域选取网络模块包括卷积层ConvFN_cls和卷积层ConvFN_reg，ConvFN_cls的输入端输入其中一个底层特征图，通过卷积计算输出目标类别特征图，卷积层ConvFN_reg的输入端输入另一个底层特征图，通过卷积计算输出目标位置特征图。6.根据权利要求4所述的基于异构孪生网络的AR观景互动方法，其特征在于，卷积层ConvFN_cls包括卷积层ConvCls_t和卷积层Reg_t，卷积层ConvFN_reg包括卷积层ConvCls_d和卷积层Reg_d，卷积层ConvCls_t与卷积层ConvCls_d进行深度卷积型相关卷积，输出目标类别特征图，卷积层Reg_t和卷积层Reg_d进行深度卷积型相关卷积，输出目标位置特征图。...

【专利技术属性】
技术研发人员：王家伟，李颖，徐朦，邹颂扬，杜亚飞，
申请(专利权)人：合肥安达创展科技股份有限公司，
类型：发明
国别省市：