一种基于几何重构和语义融合的视点追踪方法技术

本发明专利技术公开了一种基于几何重构和语义融合的视点追踪方法，其特征是按如下步骤进行：1、构建子图的视觉特征集合；2、融合语义特征；3、主动学习算法；4、优化更新；5、排序并依次链接子图，获得视点追踪路径。本发明专利技术能快速准确地检测出图像的各显著区域，并提高视点追踪的准确性，从而提高视点转移路线的预测能力。

【技术实现步骤摘要】

本专利技术属于图像认知重构、图像增强、图像分类
，主要涉及一种基于几何 重构和语义融合的视点追踪方法。
技术介绍
视点追踪是一种智能图像分析方法，其目的就是通过模仿人类视觉转移快速的找 到用户最感兴趣的视觉信息以及解释复杂的场景，是计算机视觉领域热门研究课题之一。 视点追踪可应用于图像理解、图像压缩、图像分类、图像的重定向、信息检索等方面。 随着现代传感技术和信息处理技术的发展，视点追踪技术也得到了巨大的发展， 但是仍然面临以下几点问题： 一：视点在追踪的过程中经常面临的提取的图像局部和全局的信息不全。 例如2010年，Jia Li等作者在顶级国际期刊International Journal of Computer Vision 上发表的文章 〈〈Probabilistic Multi-Task Learning for Visual Saliency Estimation in Video》中提出的一种视觉显著性预测方法，该方法采用多任务框 架来估计视觉显著性，其中的多任务是基于低维的视觉特征和任务相关因素而实现的，然 而该方法中的视觉特征只考虑到低维的视觉特征，缺乏对目标图像中各显著区域之间语义 相关性描述，使得显著性模型不能恢复图像的全局和局部信息，从而导致丢失提取的图像 局部或全局的信息； 二：很多的视点追踪技术缺少图像之间的几何结构，导致了追踪不够精确。 例如 2011 年，Feng Lud 等作者在顶级国际会议 IEEE International Conference on Computer Vision(ICCV 2011)上发表的〈〈Inferring Human Gaze from Appearance via Adaptive Linear Regression》。这篇文章里提出用自适应线性回归方法预测视点转移，利 用自适应线性回归方法学习一种从高维的特征到目标特征空间的低维特征的映射函数，但 是该方法在预测视点转移的过程因为缺少关注图像显著区域的几何结构，使得视点的预测 只能估计固定的视点，应用范围有一定的局限性，从工程角度来看，这些方法实用性不高； 因此，到目前为止，依然没有出现一种追踪精度高的并且可以工程应用的视点追 踪方法。
技术实现思路
本专利技术为解决上述现有技术存在的不足之处，提出一种基于几何重构和语义融合 的视点追踪方法，以期快速准确地检测出图像的各显著区域，并提高视点追踪的准确性，从 而提高视点转移路线的预测能力。 本专利技术为解决方法问题采用如下方法方案： 本专利技术的特点是按如下步骤进 行： 步骤1、构建子图的视觉特征集合： 步骤I. 1、采用聚类方法将源图像划分成1个子区域，将每个子区域作为一个节 点，构建包含若干个节点的子图，从而获得子图集合G = {Gp G2，…，Gn，…，GJ，N表示子图 的总数；Gn表示所述子图集合G中第n个子图，并有G = f %￡ ；)，I 0表示第n 个子图中包含、个节点；并有，…，，…，v,Un); vfl,.表示Gn中第&个节点；匕表 示所述tn个节点之间的几何连接边集合；I < tn < 1 ; 步骤1.2、采用经典图像颜色特征提取方法获得第n个子图Gn的颜色特征 ，…，mc,,，.._，m〇B]，，mc,;表示第 n 个子图 Gn 中第 & 个节点 ％ 的颜色矢量，d。表示颜色特征M〖的维度，i < ti < tn ; 采用经典图像纹理特征提取方法获得第n个子图Gn的纹理特征 ^te - [mTE,q，mTE，?2，…，mTE，?，…，ni TE，^ ]，M;E e 表示第n个子图Gn中第心个 节点vM的纹理矢量，dTE表示纹理特征M〖e的维度； 利用式⑴提取所述第n个子图Gn的几何结构特征Mh efA: 本文档来自技高网...

【技术保护点】
一种基于几何重构和语义融合的视点追踪方法，其特征是按如下步骤进行：步骤1、构建子图的视觉特征集合：步骤1.1、采用聚类方法将源图像划分成l个子区域，将每个子区域作为一个节点，构建包含若干个节点的子图，从而获得子图集合G＝{G1,G2,…,Gn,…,GN}，N表示子图的总数；Gn表示所述子图集合G中第n个子图，并有1≤n≤N；表示第n个子图中包含tn个节点；并有表示Gn中第ti个节点；En表示所述tn个节点之间的几何连接边集合；1≤tn≤l；步骤1.2、采用经典图像颜色特征提取方法获得第n个子图Gn的颜色特征MCn=[mC,t1,mC,t2,...,mC,ti,...,mC,tn],MCn∈RdC×tn,]]>表示第n个子图Gn中第ti个节点的颜色矢量，dC表示颜色特征的维度，1≤ti≤tn；采用经典图像纹理特征提取方法获得第n个子图Gn的纹理特征MTEn=[mTE,t1,mTE,t2,...,mTE,ti,...,mTE,tn],MTEn∈RdTE×tn,]]>表示第n个子图Gn中第ti个节点的纹理矢量，dTE表示纹理特征的维度；利用式(1)提取所述第n个子图Gn的几何结构特征式(1)中，表示所述几何结构特征的第ti行第tj列元素，表示从第n个子图Gn中第ti个节点的区域中心到第tj个节点的区域中心的矢量的水平角度；1≤ti,tj≤tn；步骤1.3、将所述第n个子图Gn的颜色特征纹理特征和几何结构特征分别进行矩阵转置后依次相连，获得视觉特征矩阵采用特征融合方法将所述视觉特征矩阵转化成视觉特征矢量yn，dY表示所述视觉特征矢量yn的矢量维度；步骤1.4、重复步骤1.2和步骤1.3，依次获得所有子图的视觉特征集合Y=[y1,y2,···,yn,···,yN]∈RdY×N;]]>步骤2、融合语义特征：步骤2.1、利用式(2)计算第i个子图Gi和第j个子图Gj的视觉特征距离dGW(Gi,Gj)：dGW(Gi,Gj)=||Mio-Mjo||2---(2)]]>式(2)中，表示第i个子图Gi的视觉特征矩阵的标准正交基，表示第j个子图Gj的视觉特征矩阵的标准正交基，1≤i,j≤N；步骤2.2、从网络资源中获得源图像的语义标签集合Tag＝{tag1,tag2,…,tagc,…,tagC}，tagc表示第c个标签，c∈[1,C]，C表示标签总个数；定义Nc表示利用第c个标签检索到的图像个数；定义第n个子图Gn的标签矢量bn＝[bn,1,bn,2,...,bn,c,...,bn,C]∈R1×C，并有bn,c＝1表示第n个子图Gn含有第c个标签tagc，bn,c＝0则表示第n个子图Gn不含有第c个标签tagc；步骤2.3、构建第i个子图Gi和第j个子图Gj的语义相似矢量[bi∩bj]∈R1×C，并有bi,c∩bj,c表示第i个子图Gi标签矢量bi的第c个元素bi,c和第j个子图Gj标签矢量bj的第c个元素bj,c的逻辑“与”运算；利用式(3)计算第i个子图Gi和第j个子图Gj的语义相似性距离ls(i,j)：ls(i,j)=[bi∩bj]N→ΣcNc·dGW(Gi,Gj)---(3)]]>式(3)中，N→=[N1,···,NC]T;]]>步骤2.4、构建第i个子图Gi和第j个子图Gj的语义差异矢量并有表示第i个子图Gi标签矢量bi的第c个元素bi,c和第j个子图Gj标签矢量bj的第c个元素bj,c的异或；利用式(4)计算所述第i个子图Gi和第j个子图Gj的语义差异性距离ld(i,j)：ld(i,j)=[bi⊕bj]N→ΣcNc·dGW(Gi,Gj)---(4)]]>步骤2.5、利用式(5)依次获得融合变换矩阵En的第i行第j列元素从而获得所述融合变换矩阵En，En∈RN×N,1≤n≤N：eijn=1if(j=n)-1elseif(i=j)0else---(5)]]>利用式(6)构建源图像的语义融合特征矩阵R，R∈RN×N：R＝E1W1E1+,…,+EnWnEn+,…,+ENWNEN   (6)式(6)中，Wn表示第n个子图Gn的语义融合矩阵，且为对角矩阵，Wn∈RN×N；所述语义融合矩阵Wn的第h个对角元素1≤h≤N；步骤2.6、采用拉格朗日数乘法求解式(7)，获得线性投影矩阵U的线性近似最优解：U=argminUtr(UTLU)s....

【技术特征摘要】
1. 一种基于几何重构和语义融合的视点追踪方法，其特征是按如下步骤进行： 步骤1、构建子图的视觉特征集合： 步骤1.1、采用聚类方法将源图像划分成1个子区域，将每个子区域作为一个节点，构 建包含若干个节点的子图，从而获得子图集合G= {Gi，G2，…，Gn，…，Gn}，N表示子图的总数； Gn表示所述子图集合G中第n个子图，并有，1彡n彡N ; 0表示第n个子图 中包含、个节点；并有〇=0,,1，^，?、，\); 1^表示(^中第&个节点；4表示所述 tn个节点之间的几何连接边集合；1 <tn < 1 ; 步骤1.2、采用经典图像颜色特征提取方法获得第n个子图Gn的颜色特征表示第n个子图Gn中第个节点 的颜色矢量，d。表示颜色特征的维度，i<ti <tn ; 采用经典图像纹理特征提取方法获得第n个子图Gn的纹理特征表示第n个子图Gn中第心个 节点1V,的纹理矢量，dTE表示纹理特征M〖E的维度； 利用式（1)提取所述第n个子图Gn的几何结构特征式⑴中，表示所述几何结构特征M纟的第&行第\列元素，表 示从第n个子图Gn中第&个节点1的区域中心到第\个节点v?a的区域中心的矢量的水 平角度；1彡ti，tj彡tn; 步骤1. 3、将所述第n个子图Gn的颜色特征M[、纹理特征M〗E和几何结构特征MJ分 别进行矩阵转置后依次相连，获得视觉特征矩阵；采用特征融合方法将所 述视觉特征矩阵I转化成视觉特征矢量yn，ye，dY表示所述视觉特 征矢量yn的矢量维度； 步骤1. 4、重复步骤1. 2和步骤1. 3,依次获得所有子图的视觉特征集合步骤2、融合语义特征： 步骤2. 1、利用式⑵计算第i个子图匕和第j个子图的视觉特征距离'枳，Gp:式（2)中，表示第i个子图匕的视觉特征矩阵的标准正交基，M: 表示第j个子图h的视觉特征矩阵的标准正交基，1 <i，j<N; 步骤2. 2、从网络资源中获得源图像的语义标签集合Tag= {tagptag2，…，tag。,… ，tag。}，tag。表示第c个标签，cG[1，C]，C表示标签总个数；定义W表示利用第c个标签 检索到的图像个数；定义第n个子图Gn的标签矢量bn = [bn;1，bn，2, . ? .，bn，。，. . .，bn，c]GR1X e，并有bn，。= 1表示第n个子图Gn含有第c个标签tag。，bn，。= 0则表示第n个子图6不 含有第c个标签tag。； 步骤2. 3、构建第i个子图匕和第j个子图的语义相似矢量％nbjeRlxe，并有nbj，。表不第i个子图Gi标签矢量bi的第c个兀素bi;。和第j个子图Gj标签矢量bj 的第c个元素的逻辑与运算；利用式（3)计算第i个子图Gi和第j个子图h的语 义相似性距离ls(i，j):步骤2. 4、构建第i个子图&和第j个子图的语义差异矢量，并有 ~ 表示第i个子图h标签矢量h的第c个元素和第j个子图标签矢量bj的 第c个元素1^。的异或；利用式（4)计算所述第i个子图匕和第j...

【专利技术属性】
技术研发人员：汪萌，张鹿鸣，郭丹，田绪婷，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34