本发明专利技术涉及用于三维城市模型检索的图像特征提取和相似性度量方法。多数图像和三维模型检索方法提取的特征缺乏或忽略对模型细节的描述，导致三维模型检索精度不高。本发明专利技术提出了一种基于图像的三维城市模型检索框架。首先分割出图像上的检索目标，同时利用光场对三维城市模型进行二维变换，然后提取查询目标和检索模型图像的特征，最后用相似度距离度量它们之间的相似性，实现三维城市模型检索。1)提出了一种图像特征提取和相似性度量的三层框架，在该框架中，设计了带空间约束的多层多尺度卷积神经网络模型，获得了位移、尺度、形变不变性的具有判别性的特征；2)提出了一种新的相似性度量方法，更好的实现了目标间的相似性匹配。与已有方法相比，本发明专利技术方法在三维城市模型检索的效率和精度有了很大提高。
【技术实现步骤摘要】
一、
本专利技术涉及，属于空间 信息
。 二、
技术介绍
随着空间数据采集技术的革新及互联网的发展，城市三维模型的种类和数量越来 越丰富，很多网站（如Google 3D Warehouse)和平台也提供了三维模型共享功能，供用户 免费下载，基于图像的检索成为高效获取三维模型的一种重要技术手段。由于拍摄条件和 拍摄角度的不同，图片往往含有复杂背景，并且三维模型存放的方向以及光照条件不同会 引起模型表面纹理和颜色差异变化很大，这都为基于图像的三维模型检索带来了挑战。传 统的关键字匹配方法受制于模型的人工标注，相比之下，无需人工标注的基于模型特征的 匹配方法更适合模型仓库背景下的搜索。基于模型特征的检索有利于在场景中直接定位待 检索的模型，但多数图像和三维模型检索方法提取的特征缺乏或忽略对模型细节的描述， 导致图像/三维模型检索精度不高，很大程度上限制了建筑模型搜索应用的发展。本专利技术 提出了一种基于图像特征和相似性度量方法的三维城市模型检索技术。与已有方法相比， 本专利技术在三维城市模型检索的效率和精度有了很大提高。 三、
技术实现思路
1、目的：三维城市模型在军事、城市导航、旅游等方面有重要的应用。本专利技术提出 了一种基于图像特征和相似性度量方法的三维城市模型检索技术。创新性主要体现在：1) 提出了一种图像特征提取和相似性度量的三层框架，在该框架中，设计了带空间约束的多 层多尺度卷积神经网络模型，获得了位移、尺度、形变不变性的具有判别性的特征；2)提出 了一种新的相似性度量方法，更好的实现了目标间的相似性匹配。本专利可以应用于基于 空间位置服务、场景快速定位和图像分类分割中。 2、技术方案 ，其特征在于，包括如 下步骤（如图1): 步骤一：查询目标和城市三维模型影像的特征提取 从输入图像上用智能剪刀和图割方法分割出查询目标，用水平光场算法将每个待 检索的三维城市模型进行投影转换生成10张影像，建立待检索模型图像库。接下去，提取 查询目标图像与模型图像库中图像的特征，从而检索出与查询目标相匹配的模型图像对应 的三维城市模型。 本专利设计了带空间约束卷积神经网络模型提取图像目标特征。基于该模型的 特征提取包含三个层次。为了实现从粗到精的检索，在第一层次中，用卷积神经网络模型 CNN提取查询目标和模型图像的特征，通过图像度量方法预检索出k个三维城市模型；在第 二层次，对这k个检索结果进行显著性检测，去除模型图像的背景，建立空间相似性约束， 使查询目标和模型图像姿态保持一致；在第三层次，对建立相似性约束的模型图像再次用 CNN提取特征后，通过图像度量方法实现模型的精确检索。 (1)第一层次 用CNN提取查询目标Q和模型图像的特征。CNN是多层的神经网络，每层由多个二 维平面组成，而每个平面由多个独立神经元构成。为了强化表达图像的特征，用拉普拉斯金 字塔技术提取多尺度图像，作为对应图像的子图像来进行特征提取。 CNN输入的是查询目标的图像矩阵IhXwXn :h表示图像高度，w表示图像宽度，η表 示图像数量。查询目标通过可训练的滤波器和可加偏置进行卷积（式1)， X1 = sigmOVlH+b1) (1) X14表不隐含层1的输入，X1表不隐含层的输出，X° = I。矩阵W1表不隐含层1的 卷积核， b1表示隐含层1的偏置项。卷积层神经元的激活函数为Sigmod函数，其定义为 卷积后在C1层产生特征映射图，特征映射图中像素再通过式（3)进行Pooling运 算，得到S1层的特征映射图。 X1 = pool (X1-1) (3) ⑶式中，X14表不隐含层1的输入，X1表不隐含层的输出。本文档来自技高网...
【技术保护点】
用于三维城市模型检索的图像特征提取和相似性度量方法，其特征在于，包括如下步骤：步骤一：查询目标和三维城市模型影像的特征提取从输入图像上用智能剪刀和图割方法分割出查询目标，用水平光场算法将每个待检索的三维城市模型进行投影转换生成10张影像，建立待检索模型图像库，接下去，提取查询目标图像与模型图像库中的图像的特征；本专利设计了带空间约束卷积神经网络模型提取图像目标特征；基于该模型的特征提取包含三个层次；为了实现从粗到精的检索，在第一层次中，用卷积神经网络(CNN)提取查询目标和模型图像的特征，通过图像度量方法预检索出k个三维城市模型；在第二层次，对这k个检索结果进行显著性检测，去除模型图像的背景，建立空间相似性约束，使查询目标和模型图像姿态保持一致；在第三层次，对建立相似性约束的模型图像再次用CNN提取特征后，通过图像度量方法实现模型的精确检索；(1)第一层次用CNN提取查询目标Q和模型图像的特征；为了强化表达图像的特征，用拉普拉斯金字塔技术提取多尺度图像，作为对应图像的子图像来进行特征提取；CNN输入的是查询目标的图像矩阵Ih×w×n：h表示图像高度，w表示图像宽度，n表示图像数量；查询目标通过可训练的滤波器和可加偏置进行卷积(式1)，Xl＝sigm(WlXl‑1+bl) (1)Xl‑1表示隐含层l的输入，Xl表示隐含层的输出，X0＝I；矩阵Wl表示隐含层l的卷积核，bl表示隐含层l的偏置项；卷积层神经元的激活函数为Sigmod函数，其定义为f(x)=11+e-x---(2)]]>卷积后在C1层产生特征映射图，特征映射图中像素再通过式(3)进行Pooling运算，得到S1层的特征映射图；Xl＝pool(Xl‑1) (3)(3)式中，Xl‑1表示隐含层l的输入，Xl表示隐含层的输出；为了准确描述图像的特征，还要训练CNN中的参数Wl和bl；在实际计算中，网络的实际输出和目标存在一定误差，所以建立全局优化目标：{Wl*,bl*}=argminWl,bl12Σn=1NΣk=1c(tkn-ykn)2---(4)]]>(4)式中，N代表训练样本的个数，c代表样本的类别数，l代表层数；是第n模式对应标注的第k维，是对应第n输入模式的第k维输出层单元的值；使用(4)对参数Wl和bl进行训练，网络参数训练好后，利用CNN提取查询目标的特征向量；(2)第二层次用Q对模型图像进行空间约束，使Q和模型图像在相同空间状态下进行特征提取；假设Q中任意一点的坐标为(xQ，yQ)，模型库中一图像的坐标(xM，yM)通过空间变换T(r，s，t)使得模型库中图像的空间坐标和Q大致保持一致；(xM,yM)→T(r,s,t)(xQ,yQ)---(5)]]>(5)式中，r表示旋转变换，s表示尺度变换，t表示平移变换；提取图像本身最外围形状轮廓，基于边界轮廓对模型图像进行空间约束，基本思想是：1)在Q的边界上取样得N个点的坐标X1，X2，...，XN；2)在模型图像的形状样本边界上取N个点的坐标X′1，X′2，...，X′N；3)极小化能量泛函E(T)=Σi=1N(Xi-T(Xi′))2,]]>求得变换T；假定T为刚体变化(旋转，平移，放缩)，所以，T(x,y)=αcos(θ)sin(θ)-sin(θ)cos(θ)xy+t1t2---(6)]]>(6)式中，(x，y)为任一图像坐标，θ表示旋转角度，α表示缩放尺度，(t1，t2)表示分别沿x、y轴平移坐标大小；能量泛函E变为：E(α,θ,t1,t2)=Σi=1N(xi-α(xi′cos(θ)+yi′sin(θ))-t1)2+Σi=1N(yi-α(-xi′sin(θ)+yi′cos(θ))-t2)2---(7)]]>解出配准中的参数θ，α，t1，t2；以此参数对模型图像进行空间变换实现空间约束；(3)第三层次对模型图像进行空间约束之后，使用CNN对约束后的模型图像再一次提取特征；步骤二：设计用于匹配的图像度量方法假设两幅图像的特征向量分别为Fa＝[fa1，fa2，...，fan]和fb＝[fb1，fb2，...，fbn]，通过式(8)计算两幅图像的相似程度ISS；ISS＝fIM(Fa‑Fb) (8)fIM是相似性度量因子，用式(9)计算fIM：fIM=argminfΣi=1n||f(xi)-RSi||2---(9)]]>其中，xi代表两条特征向量之差，RSi表示查询目标与检索图像的相关程度，n表示参与fIM...
【技术特征摘要】
1.用于三维城市模型检索的图像特征提取和相似性度量方法，其特征在于，包括如下 步骤： 步骤一：查询目标和三维城市模型影像的特征提取 从输入图像上用智能剪刀和图割方法分割出查询目标，用水平光场算法将每个待检索 的三维城市模型进行投影转换生成10张影像，建立待检索模型图像库，接下去，提取查询 目标图像与模型图像库中的图像的特征； 本专利设计了带空间约束卷积神经网络模型提取图像目标特征；基于该模型的特征提 取包含三个层次；为了实现从粗到精的检索，在第一层次中，用卷积神经网络（CNN)提取查 询目标和模型图像的特征，通过图像度量方法预检索出k个三维城市模型；在第二层次，对 这k个检索结果进行显著性检测，去除模型图像的背景，建立空间相似性约束，使查询目标 和模型图像姿态保持一致；在第三层次，对建立相似性约束的模型图像再次用CNN提取特 征后，通过图像度量方法实现模型的精确检...
【专利技术属性】
技术研发人员：张立强，王跃宾，张良，
申请(专利权)人：北京师范大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。