本发明专利技术公开了一种目标局部点与全局结构化匹配方法及装置，该方法为：获取侦察图像序列；基于第一特征提取网络对侦察图像序列内的每一帧包含的地面建筑目标进行特征提取后得到多个第一特征矩阵，第一特征矩阵为该第一特征矩阵对应的地面建筑目标包含的所有局部关键点的特征；根据每一帧内地面建筑目标所包含的各个局部关键点之间的连接关系生成多个邻接矩阵；构建时空图神经网络模型；将第一特征矩阵和邻接矩阵输入时空图神经网络模型，得到局部关键点的预测特征值；获取侦察图像序列内的所有地面建筑目标所包含的全局关键点的真实特征值；构建全连接网络；全连接网络将局部关键点的预测特征值与全局关键点的真实特征值作匹配。值作匹配。值作匹配。
【技术实现步骤摘要】
一种目标局部点与全局结构化匹配方法及装置
[0001]本专利技术属于目标搜索与匹配
，具体涉及一种目标局部点与全局结构化匹配方法及装置。
技术介绍
[0002]随着城市化不断推进，现代城市建筑的地形占比越来越大，城市建筑的类型也越来越丰富，例如：建筑与建筑之间的连通区域、内部布局各异的居民小区、办公楼高低不一的商业区、低矮类房屋以及占地面积广阔的工业园区等。上述多样化的建筑场景给地面建筑搜索工作带来了不同程度的困难。同时，从治理的角度而言，高度城市化带来的建筑物众多、密集化、空间结构立体、电磁环境复杂等特点都不利于日常侦察，给城市管理带来了不小的挑战。因此，强有力的地面建筑搜索方案的研究和实现显得尤为重要，它将很好地帮助未来城市的建立与管理。
[0003]目前常用于地面建筑目标侦察的图像主要有可见光图像、红外图像，SAR雷达图像等，可以使用相应的遥感卫星或无人机等设备来捕获这些侦察图像数据。其中，可见光图像主要包含目标的颜色和纹理信息，分辨率较高，具有较多的细节和明暗对比，对目标的描述更加具体，更贴近于人眼所看到的目标信息，但是可见光在成像过程中受光照和天气条件的影响较大；红外图像捕获目标的热辐射，穿透力较强，对目标的轮廓捕获性较强，但通常分辨率较低且质地较差；SAR图像属于雷达图像，它具有全天候、全天时、不受天气影响的特点，它的成像分辨率较高，幅宽大，可以记录相位、振幅、强度等信息，通过一定的聚焦处理等方式，可以获得清晰高分辨率的灰度图。
[0004]此外，全方位的地面建筑的感知平台包括天基、空基、岸基、海基等，这些平台通过各类传感器采集地面建筑、环境及地理等图像信息。然而这些平台拍摄的地面建筑目标都存在较大的角度和尺度变化，因此在进行地面建筑目标的识别和预测中必须考虑非欧式数据。因为传统的深度神经网络具有平移不变性、局部性和组合性等，适用于处理欧式结构图像数据，例如深度卷积神经网络等，同时现有的深度神经网络也只能处理欧式结构图像数据，可见，目前基于深度学习网络进行地面建筑目标的预测和匹配面临极大的困难。
技术实现思路
[0005]本专利技术的目的在于克服现有技术的一项或多项不足，提供一种目标局部点与全局结构化匹配方法及装置。
[0006]本专利技术的目的是通过以下技术方案来实现的：第一方面本专利技术的第一方面提供了一种目标局部点与全局结构化匹配方法，包括如下步骤：获取侦察图像序列，所述侦察图像序列表征地面建筑目标随时间变化的情况；基于第一特征提取网络对侦察图像序列内的每一帧包含的地面建筑目标进行特
征提取，得到多个第一特征矩阵，各个第一特征矩阵与各个地面建筑目标一一对应，且第一特征矩阵为该第一特征矩阵对应的地面建筑目标包含的所有局部关键点自身的特征；根据每一帧内地面建筑目标所包含的各个局部关键点之间的连接关系生成多个邻接矩阵，各个邻接矩阵与各个地面建筑目标一一对应；构建时空图神经网络模型；将所有第一特征矩阵和所有邻接矩阵均输入所述时空图神经网络模型，得到各个地面建筑目标所包含的局部关键点的预测特征值；获取所述侦察图像序列内的所有地面建筑目标所包含的全局关键点的真实特征值；构建全连接网络，并将各个地面建筑目标所包含的局部关键点的预测特征值输入所述全连接网络；全连接网络将各个地面建筑目标所包含的局部关键点的预测特征值与各个地面建筑目标所包含的全局关键点的真实特征值进行匹配，若预测特征值与真实特征值匹配成功，则生成该预测特征值对应的局部关键点与该真实特征值对应的全局关键点之间的映射。
[0007]优选地，所述第一特征提取网络为第一深度神经网络。
[0008]优选地，所述时空图神经网络模型包括图卷积层和第二特征提取网络。
[0009]优选地，所述将所有第一特征矩阵和所有邻接矩阵均输入所述时空图神经网络模型，得到各个地面建筑目标所包含的局部关键点的预测特征值，具体包括如下子步骤：将所有第一特征矩阵和所有邻接矩阵均输入图卷积层；图卷积层根据预设的随机游走采样算法生成第二特征矩阵，并将生成的第二特征矩阵输入所述第二特征提取网络；第二特征提取网络对第二特征矩阵进行特征提取，得到各个地面建筑目标所包含的局部关键点的预测特征值。
[0010]优选地，所述全连接网络包括全连接层。
[0011]优选地，所述全连接网络将各个地面建筑目标所包含的局部关键点的预测特征值与各个地面建筑目标所包含的全局关键点的真实特征值进行匹配，若预测特征值与真实特征值匹配成功，则生成该预测特征值对应的局部关键点与该真实特征值对应的全局关键点之间的映射，具体包括如下子步骤：将各个地面建筑目标所包含的局部关键点的预测特征值输入所述全连接层；全连接层将各个地面建筑目标所包含的局部关键点的预测特征值与各个地面建筑目标所包含的全局关键点的真实特征值进行匹配，匹配后生成概率矩阵；其中，M为所述侦察图像序列内每一帧所包含的局部关键点数量，N为所述侦察图像序列内每一帧所包含的全局关键点数量，表示编号的局部关键点为编号的全局关键点的概率值，表示编号的局部关键点为编号的全局
关键点的概率值，依次类推，表示编号的局部关键点为编号的全局关键点的概率值；分别选取所述概率矩阵每行中的最大概率值所对应的全局关键点编号，并建立每行对应的局部关键点编号和该行根据最大概率值选取得到的全局关键点编号之间的映射关系。
[0012]优选地，所述根据每一帧内地面建筑目标所包含的各个局部关键点之间的连接关系生成多个邻接矩阵，各个邻接矩阵与各个地面建筑目标一一对应，具体包括如下子步骤：根据地面建筑目标的各个局部关键点和该地面建筑目标对应的第一特征矩阵生成一个无向图，其中，，表示该地面建筑目标包含的所有局部关键点构成的集合，表示该地面建筑目标的局部关键点之间的所有连接边构成的集合，表示第一特征矩阵；基于第一预设规则和所述无向图生成该地面建筑目标对应的邻接矩阵，所述邻接矩阵为的对称矩阵，其中，n表示该地面建筑目标的局部关键点数量；所述第一预设规则为：若该地面建筑目标内的两个局部关键点之间的连接边，则将1作为邻接矩阵内第i行第j列元素的值，否则将0作为邻接矩阵内第i行第j列元素的值，其中，表示该两个局部关键点中的其中一个，表示该两个局部关键点中的另外一个，，1≤ i≤n，1≤ j≤n。
[0013]优选地，所述第二特征提取网络为卷积神经网络CNN或Transformer网络。
[0014]本专利技术的第一方面具有的有益效果为：（1）、在侦察图像序列中的各个地面建筑目标为扩展目标类型，通过第一特征提取网络、时空图神经网络模型和全连接网络的构建，检测出地面建筑目标的局部关键点的预测特征值，并将检测出的局部关键点的预测特征值与已知的全局关键点（体现地面建筑目标全局结构的关键点）的真实特征值进行精准匹配，从而实现了多模态、大视觉变化、大角度变化和大尺度变化的侦察图像中地面建筑目标的识别，在进行未来城市管理时可结合本专利技术第一方面实现的一种目标局部点与全局结构化匹配方法设计出强有力的地面建筑搜索方案。
[0015]第二方面本专利技术的第二方面提供了本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种目标局部点与全局结构化匹配方法，其特征在于，包括如下步骤：获取侦察图像序列，所述侦察图像序列表征地面建筑目标随时间变化的情况；基于第一特征提取网络对侦察图像序列内的每一帧包含的地面建筑目标进行特征提取，得到多个第一特征矩阵，各个第一特征矩阵与各个地面建筑目标一一对应，且第一特征矩阵为该第一特征矩阵对应的地面建筑目标包含的所有局部关键点自身的特征；根据每一帧内地面建筑目标所包含的各个局部关键点之间的连接关系生成多个邻接矩阵，各个邻接矩阵与各个地面建筑目标一一对应；构建时空图神经网络模型；将所有第一特征矩阵和所有邻接矩阵均输入所述时空图神经网络模型，得到各个地面建筑目标所包含的局部关键点的预测特征值；获取所述侦察图像序列内的所有地面建筑目标所包含的全局关键点的真实特征值；构建全连接网络，并将各个地面建筑目标所包含的局部关键点的预测特征值输入所述全连接网络；全连接网络将各个地面建筑目标所包含的局部关键点的预测特征值与各个地面建筑目标所包含的全局关键点的真实特征值进行匹配，若预测特征值与真实特征值匹配成功，则生成该预测特征值对应的局部关键点与该真实特征值对应的全局关键点之间的映射。2.根据权利要求1所述的一种目标局部点与全局结构化匹配方法，其特征在于，所述第一特征提取网络为第一深度神经网络。3.根据权利要求1所述的一种目标局部点与全局结构化匹配方法，其特征在于，所述时空图神经网络模型包括图卷积层和第二特征提取网络。4.根据权利要求3所述的一种目标局部点与全局结构化匹配方法，其特征在于，所述将所有第一特征矩阵和所有邻接矩阵均输入所述时空图神经网络模型，得到各个地面建筑目标所包含的局部关键点的预测特征值，具体包括如下子步骤：将所有第一特征矩阵和所有邻接矩阵均输入图卷积层；图卷积层根据预设的随机游走采样算法生成第二特征矩阵，并将生成的第二特征矩阵输入所述第二特征提取网络；第二特征提取网络对第二特征矩阵进行特征提取，得到各个地面建筑目标所包含的局部关键点的预测特征值。5.根据权利要求1所述的一种目标局部点与全局结构化匹配方法，其特征在于，所述全连接网络包括全连接层。6.根据权利要求5所述的一种目标局部点与全局结构化匹配方法，其特征在于，所述全连接网络将各个地面建筑目标所包含的局部关键点的预测特征值与各个地面建筑目标所包含的全局关键点的真实特征值进行匹配，若...
【专利技术属性】
技术研发人员：瞿锐恒，蒙顺开，李叶雨，
申请(专利权)人：海豚乐智科技成都有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。