图像匹配的方法及装置制造方法及图纸

本公开是关于一种图像匹配的方法及装置，用以提高图像匹配的准确度。所述方法包括：对至少两幅图像分别进行分割处理，得到至少两幅图像中的每一幅图像对应的多个图像区块；将每一幅图像对应的多个图像区块输入至已训练的深度学习协议网络；已训练的深度学习协议网络的分类器参数用于表示已训练的图像特征匹配条件；通过已训练的深度学习协议网络提取每一幅图像相对应的多个图像区块中的图像特征；基于每一幅图像相对应的多个图像区块的图像特征，通过已训练的深度学习协议网络查找至少两幅图像之间符合图像特征匹配条件的图像区块；基于符合图像特征匹配条件的图像区块计算至少两幅图像之间的对应关系。本公开技术方案可以提高图像匹配的准确度。

Method and device for image matching

The present invention relates to a method and a device for image matching to improve the accuracy of image matching. The method comprises: at least two images are segmentation, get multiple image blocks in each image corresponding to at least two in the image; a plurality of image block input to the trained deep learning protocol network corresponding to each image; training has deep learning network classifier parameters used to represent the image feature matching training conditions; by the trained deep learning protocol network image feature extraction of a plurality of image blocks in each image corresponding to the image features; a plurality of image blocks in each image corresponding based on deep learning by the trained network to find agreement between at least two pieces the image with the image block image feature matching condition; calculating the corresponding relationship between at least two images of the image block with image feature matching based on conditions. The technical proposal of the invention can improve the accuracy of image matching.

【技术实现步骤摘要】
图像匹配的方法及装置
本公开涉及图像识别
，尤其涉及一种图像匹配的方法及装置。
技术介绍
随着科技的快速发展，室内机器人和无人机的技术也日趋成熟和热门。在室内机器人和无人机的领域里面，很关键的一项技术是定位和构图。也就是说，机器人在行进过程中必须对自身所处的位置能够进行准确的定位。一般机器人在行进过程中除了位置传感器之外，还需要利用摄像机看见的图像画面对自身进行定位。譬如，可以根据前一帧相机拍摄的画面和后一帧相机拍摄的画面，找到对应的匹配点，然后进行两个图像之间的转换关系计算。相关技术中，图像匹配方案是基于SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)特征点来进行的。然而，基于SIFT特征点的图像匹配容易存在较大的误差。
技术实现思路
为克服相关技术中存在的问题，本公开实施例提供一种图像匹配的方法及装置，用以提高图像匹配的准确度。根据本公开实施例的第一方面，提供一种图像匹配的方法，包括：对图像采集模块采集到的至少两幅图像分别进行分割处理，得到所述至少两幅图像中的每一幅图像对应的多个图像区块；将所述每一幅图像对应的多个图像区块输入至已训练的深度学习协议网络中；所述已训练的深度学习协议网络的分类器参数用于表示已训练的图像特征匹配条件；通过所述已训练的深度学习协议网络提取所述每一幅图像相对应的多个图像区块中的图像特征；基于所述每一幅图像相对应的多个图像区块的图像特征，通过所述已训练的深度学习协议网络查找所述至少两幅图像之间符合所述图像特征匹配条件的图像区块；基于符合所述图像特征匹配条件的图像区块，计算所述至少两幅图像之间的对应关系。在一实施例中，所述方法还可包括：将设定数量的分别来自两幅图像样本的图像区块以及来自所述图像样本的每一图像区块的标记信息输入至未训练的深度学习协议网络，对所述未训练的深度学习协议网络的分类器进行训练；标记信息相同的所述图像区块分别来自所述至少两幅图像样本，且符合所述图像特征匹配条件；确定所述分类器参数是否符合预设条件；在确定所述分类器参数符合所述预设条件时，停止训练所述深度学习协议网络，得到所述已训练的深度学习协议网络。在一实施例中，所述确定所述分类器参数符合所述预设条件，包括：确定每一对标记信息相同的所述图像区块的图像特征之间的距离是否小于预设的类内距离阈值；当所述每一对标记信息相同的所述图像区块的图像特征之间的距离小于所述预设的类内距离阈值时，确定所述分类器参数符合所述预设条件。在一实施例中，所述方法还可包括：确定标记信息不同的所述图像区块的图像特征之间的距离是否大于预设的类间距离阈值；当标记信息不同的所述图像区块的图像特征之间的距离大于预设的类间距离阈值时，确定所述分类器参数符合所述预设条件。在一实施例中，所述方法还可包括：对所述已训练的深度学习协议网络的分类器参数进行更新。在一实施例中，所述对所述已训练的深度学习协议网络的分类器参数进行更新，包括：确定所述至少两幅图像之间的参考对应关系；计算所述参考对应关系与计算得到的所述至少两幅图像之间的对应关系之间的误差；根据所述误差确定是否需要对所述已训练的深度学习协议网络的分类器参数进行更新；当需要对所述已训练的深度学习协议网络的分类器参数进行更新时，向提供所述已训练的深度学习协议网络的服务器获取更新后的深度学习协议网络的分类器参数。根据本公开实施例的第二方面，提供一种图像匹配的装置，包括：预处理模块，被配置为对图像采集模块采集到的至少两幅图像分别进行分割处理，得到所述至少两幅图像中的每一幅图像对应的多个图像区块；输入模块，被配置为将所述每一幅图像对应的多个图像区块输入至已训练的深度学习协议网络中；所述已训练的深度学习协议网络的分类器参数用于表示已训练的图像特征匹配条件；特征提取模块，被配置为通过所述已训练的深度学习协议网络提取所述每一幅图像相对应的多个图像区块中的图像特征；查找模块，被配置为基于所述每一幅图像相对应的多个图像区块的图像特征，通过所述已训练的深度学习协议网络查找所述至少两幅图像之间符合所述图像特征匹配条件的图像区块；计算模块，被配置为基于符合所述图像特征匹配条件的图像区块，计算所述至少两幅图像之间的对应关系。在一实施例中，所述装置还可包括：训练模块，被配置为将设定数量的分别来自两幅图像样本的图像区块以及来自所述图像样本的每一图像区块的标记信息输入至未训练的深度学习协议网络，对所述未训练的深度学习协议网络的分类器进行训练；标记信息相同的所述图像区块分别来自所述至少两幅图像样本，且符合所述图像特征匹配条件；第一确定模块，被配置为确定所述分类器参数是否符合预设条件；第一控制模块，被配置为在确定所述分类器参数符合所述预设条件时，停止训练所述深度学习协议网络，得到所述已训练的深度学习协议网络。在一实施例中，所述第一确定模块包括：第一确定子模块，被配置为确定每一对标记信息相同的所述图像区块的图像特征之间的距离是否小于预设的类内距离阈值；第二确定子模块，被配置为当所述每一对标记信息相同的所述图像区块的图像特征之间的距离小于所述预设的类内距离阈值时，确定所述分类器参数符合所述预设条件。在一实施例中，所述装置还包括：第二确定模块，被配置为确定标记信息不同的所述图像区块的图像特征之间的距离是否大于预设的类间距离阈值；第三确定模块，被配置为当标记信息不同的所述图像区块的图像特征之间的距离大于预设的类间距离阈值时，确定所述分类器参数符合所述预设条件。在一实施例中，所述装置还包括：更新模块，被配置为对所述已训练的深度学习协议网络的分类器参数进行更新。在一实施例中，所述更新模块包括：第三确定子模块，被配置为确定所述至少两幅图像之间的参考对应关系；误差计算子模块，被配置为计算所述参考对应关系与计算得到的所述至少两幅图像之间的对应关系之间的误差；第四确定子模块，被配置为根据所述误差确定是否需要对所述已训练的深度学习协议网络的分类器参数进行更新；获取子模块，被配置为当需要对所述已训练的深度学习协议网络的分类器参数进行更新时，向提供所述已训练的深度学习协议网络的服务器获取更新后的深度学习协议网络的分类器参数。根据本公开实施例的第三方面，提供一种图像匹配的装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：对图像采集模块采集到的至少两幅图像分别进行分割处理，得到所述至少两幅图像中的每一幅图像对应的多个图像区块；将所述每一幅图像对应的多个图像区块输入至已训练的深度学习协议网络中；所述已训练的深度学习协议网络的分类器参数用于表示已训练的图像特征匹配条件；通过所述已训练的深度学习协议网络提取所述每一幅图像相对应的多个图像区块中的图像特征；基于所述每一幅图像相对应的多个图像区块的图像特征，通过所述已训练的深度学习协议网络查找所述至少两幅图像之间符合所述图像特征匹配条件的图像区块；基于符合所述图像特征匹配条件的图像区块，计算所述至少两幅图像之间的对应关系。本公开的实施例提供的技术方案可以包括以下有益效果：通过将至少两幅图像分别分割为多个图像区块，并每一幅图像对应的多个图像区块输入至已训练的深度学习协议网络中，通过已训练的深度学习协议网络提取每一幅图像相对应的多个图像区块中的图本文档来自技高网...

【技术保护点】
一种图像匹配的方法，其特征在于，所述方法包括：对图像采集模块采集到的至少两幅图像分别进行分割处理，得到所述至少两幅图像中的每一幅图像对应的多个图像区块；将所述每一幅图像对应的多个图像区块输入至已训练的深度学习协议网络中；所述已训练的深度学习协议网络的分类器参数用于表示已训练的图像特征匹配条件；通过所述已训练的深度学习协议网络提取所述每一幅图像相对应的多个图像区块中的图像特征；基于所述每一幅图像相对应的多个图像区块的图像特征，通过所述已训练的深度学习协议网络查找所述至少两幅图像之间符合所述图像特征匹配条件的图像区块；基于符合所述图像特征匹配条件的图像区块，计算所述至少两幅图像之间的对应关系。

【技术特征摘要】
1.一种图像匹配的方法，其特征在于，所述方法包括：对图像采集模块采集到的至少两幅图像分别进行分割处理，得到所述至少两幅图像中的每一幅图像对应的多个图像区块；将所述每一幅图像对应的多个图像区块输入至已训练的深度学习协议网络中；所述已训练的深度学习协议网络的分类器参数用于表示已训练的图像特征匹配条件；通过所述已训练的深度学习协议网络提取所述每一幅图像相对应的多个图像区块中的图像特征；基于所述每一幅图像相对应的多个图像区块的图像特征，通过所述已训练的深度学习协议网络查找所述至少两幅图像之间符合所述图像特征匹配条件的图像区块；基于符合所述图像特征匹配条件的图像区块，计算所述至少两幅图像之间的对应关系。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将设定数量的分别来自两幅图像样本的图像区块以及来自所述图像样本的每一图像区块的标记信息输入至未训练的深度学习协议网络，对所述未训练的深度学习协议网络的分类器进行训练；标记信息相同的所述图像区块分别来自所述至少两幅图像样本，且符合所述图像特征匹配条件；确定所述分类器参数是否符合预设条件；在确定所述分类器参数符合所述预设条件时，停止训练所述深度学习协议网络，得到所述已训练的深度学习协议网络。3.根据权利要求2所述的方法，其特征在于，所述确定所述分类器参数符合所述预设条件，包括：确定每一对标记信息相同的所述图像区块的图像特征之间的距离是否小于预设的类内距离阈值；当所述每一对标记信息相同的所述图像区块的图像特征之间的距离小于所述预设的类内距离阈值时，确定所述分类器参数符合所述预设条件。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：确定标记信息不同的所述图像区块的图像特征之间的距离是否大于预设的类间距离阈值；当标记信息不同的所述图像区块的图像特征之间的距离大于预设的类间距离阈值时，确定所述分类器参数符合所述预设条件。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述已训练的深度学习协议网络的分类器参数进行更新。6.根据权利要求5所述的方法，其特征在于，所述对所述已训练的深度学习协议网络的分类器参数进行更新，包括：确定所述至少两幅图像之间的参考对应关系；计算所述参考对应关系与计算得到的所述至少两幅图像之间的对应关系之间的误差；根据所述误差确定是否需要对所述已训练的深度学习协议网络的分类器参数进行更新；当需要对所述已训练的深度学习协议网络的分类器参数进行更新时，向提供所述已训练的深度学习协议网络的服务器获取更新后的深度学习协议网络的分类器参数。7.一种图像匹配的装置，其特征在于，所述装置包括：预处理模块，被配置为对图像采集模块采集到的至少两幅图像分别进行分割处理，得到所述至少两幅图像中的每一幅图像对应的多个图像区块；输入模块，被配置为将所述每一幅图像对应的多个图像区块输入至已训练的深度学习协议网络中；所述已训练的深度学习协议网络的分类器参数用于表示已训练的图像特征匹配条件；特征提取模块，被配置为通过所述已训练的深度学习协议网络提取所述每一幅图像相对应的多个图像区块中的图像特征；查找模块，被配置为基于所述每一幅图像相对应...

【专利技术属性】
技术研发人员：张涛，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京,11