影像对应判断方法及装置制造方法及图纸

一种影像对应判断方法，包括：串接第一影像以及第二影像，以产生具有全域信息的串接影像；自串接影像获取多个特征，以产生多个特征图并将特征图分为多个第一特征图以及多个第二特征图；自第一特征图中获取对应第一区域的多个第一影像区块以及自第二特征图中获取对应第二区域的多个第二影像区块；串接第一影像区块以及第二影像区块，以产生多个串接影像区块；以及根据串接影像区块计算相似度度量，以判断第一区域以及第二区域间的相似度。本发明专利技术的影像对应判断方法及装置简化神经网络系统的结构，并将全域信息纳入考量。

【技术实现步骤摘要】
影像对应判断方法及装置
本专利技术涉及影像处理技术，且特别涉及一种影像对应判断方法及装置。
技术介绍
影像对应判断技术可在两个影像中辨识对应的区域。虽然现在的技术对于固定且具纹理的物体可具有良好的判断表现，但是对于影像中非固定以及较不具纹理的区域来说，则很难进行辨识。学习的特征描述子(featuredescriptor)对于例如，但不限于视角、亮度、变形或是较差的纹理来说，较不具有识别性。因此，如何设计一个新的影像对应判断方法及装置，以解决上述的缺失，乃为此一业界亟待解决的问题。
技术实现思路
本专利技术的目的在于通过影像对应判断方法及装置，达到简化神经网络系统的结构，并将全域信息纳入考量的技术效果。因此，本专利技术的一实施方式是在提供一种影像对应(imagecorrespondence)判断方法，用以通过由影像对应判断装置实现的神经网络(neuralnetwork)系统执行影像对应判断，影像对应判断方法包括：由神经网络系统的第一串接(concatenating)单元串接第一影像以及第二影像，以产生具有全域信息的串接影像；由神经网络系统的卷积神经网络(convolutionalneuralnetwork；CNN)单元自串接影像获取多个特征，以产生多个特征图(featuremap)并将特征图分为多个第一特征图以及多个第二特征图；由神经网络系统的影像区块获取单元自第一特征图中获取对应第一区域的多个第一影像区块以及自第二特征图中获取对应第二区域的多个第二影像区块；由神经网络系统的第二串接单元串接第一影像区块以及第二影像区块，以产生多个串接影像区块；以及由神经网络系统的度量学习(metriclearning)网络单元根据串接影像区块计算相似度度量，以判断第一区域以及第二区域间的相似度。在本专利技术的一实施例中，卷积神经网络单元包含多个卷积神经网络层，配置以根据多个学习权重运行。在本专利技术的一实施例中，第一影像、第二影像、第一特征图以及第二特征图具有相同的宽度以及相同的高度。在本专利技术的一实施例中，第一影像以及第二影像具有相同的深度，且串接影像的总深度相当于第一影像以及第二影像的深度的总和。在本专利技术的一实施例中，第一特征图、第二特征图、第一影像区块以及所述多个第二影像区块具有相同的一深度，且所述多个串接影像区块的一总深度相当于所述多个第一影像区块以及所述多个第二影像区块的一深度的总和。在本专利技术的一实施例中，全域信息包含跨越第一影像以及第二影像的信息。本专利技术的另一实施方式是在提供一种影像对应判断装置，包括：存储单元以及处理单元。存储单元配置以存储多个电脑可执行指令。处理单元电性耦接于存储单元，并配置以获取并执行电脑可执行指令，以执行影像对应判断方法，影像对应判断方法用以通过由处理单元执行电脑可执行指令时实现的神经网络系统执行影像对应判断，影像对应判断方法包括：由神经网络系统的第一串接单元串接第一影像以及第二影像，以产生具有全域信息的串接影像；由神经网络系统的卷积神经网络单元自串接影像获取多个特征，以产生多个特征图并将特征图分为多个第一特征图以及多个第二特征图；由神经网络系统的影像区块获取单元自第一特征图中获取对应第一区域的多个第一影像区块以及自第二特征图中获取对应第二区域的多个第二影像区块；由神经网络系统的第二串接单元串接第一影像区块以及第二影像区块，以产生多个串接影像区块；以及由神经网络系统的度量学习网络单元根据串接影像区块计算相似度度量，以判断第一区域以及第二区域间的相似度。在本专利技术的一实施例中，卷积神经网络单元包含多个卷积神经网络层，配置以根据多个学习权重运行。在本专利技术的一实施例中，第一影像、第二影像、第一特征图以及第二特征图具有相同的宽度以及相同的高度。在本专利技术的一实施例中，第一影像以及第二影像具有相同的深度，且串接影像的总深度相当于第一影像以及第二影像的深度的总和。在本专利技术的一实施例中，第一特征图、第二特征图、第一影像区块以及所述多个第二影像区块具有相同的一深度，且所述多个串接影像区块的一总深度相当于所述多个第一影像区块以及所述多个第二影像区块的一深度的总和。在本专利技术的一实施例中，全域信息包含跨越第一影像以及第二影像的信息。本专利技术的影像对应判断装及影像对应判断方法可通过串接第一影像及第二影像进行影像对应判断。不仅因为仅使用一个卷积神经网络单元而简化影像对应判断装置所实现的神经网络系统的结构，达到降低存储器的成本以及较快的推论时间，并且亦能将全域信息，例如跨越第一影像和第二影像的信息纳入考量。附图说明图1为本专利技术一实施例中，一种影像对应判断装置的方框图；图2为本专利技术一实施例中，影像对应判断方法的流程图；以及图3为本专利技术一实施例中，由影像对应判断装置实现的神经网络系统的方框图。附图标记说明：1：影像对应判断装置10：存储单元12：处理单元100：电脑可执行指令200：影像切割方法201-205：步骤3：神经网络300：第一串接单元302：卷积神经网络单元304：影像区块获取单元306：第二串接单元308：度量学习网络单元A：第一影像B：第二影像C：串接影像FA：第一特征图FB：第二特征图PA：第一影像区块PB：第二影像区块PC：串接影像区块SM：相似度度量具体实施方式请参照图1。图1为本专利技术一实施例中，一种影像对应判断装置1的方框图。影像对应判断装置1包含存储单元10以及处理单元12。于一实施例中，存储单元10可为例如，但不限于光盘、随机存取存储器(randomaccessmemory；RAM)、只读存储器(readonlymemory；ROM)、软盘、硬盘或光学磁盘片。存储单元10配置以存储多个电脑可执行指令100。处理单元12电性耦接于存储单元10。于一实施例中，处理单元12配置以获取并执行电脑可执行指令100，并据以执行影像对应判断装置1的功能。更详细地说，处理单元12接收第一影像A及第二影像B，以进行影像对应判断，从而辨识第一影像A的第一区块及第二影像B的第二区块间的相似度。在不同的实施例中，第一区块及第二区块可为相同或不同。于一实施例中，处理单元12接收存储于存储单元10中的第一影像A及第二影像B，如图1所示。于其他实施例中，处理单元12可利用例如，但不限于通信单元(未示出)，通过有线或是无线的方式自远端服务器(未示出)接收第一影像A及第二影像B。请同时参照图2及图3。影像对应判断装置1的详细功能将在后续段落搭配图2及图3进行说明。图2为本专利技术一实施例中，影像对应判断方法200的流程图。影像对应判断方法200可应用于图1的影像对应判断装置1中。图3为本专利技术一实施例中，由影像对应判断装置1实现的神经网络系统3的方框图。其中当电脑可执行指令100由处理单元12执行时，将运行为神经网络系统3以执行影像对应判断方法200。于一实施例中，神经网络系统3包含第一串接单元300、卷积神经网络单元302、影像区块获取单元304、第二串接单元306以及度量学习网络单元308。影像对应判断方法200包含下列步骤(应了解到，在本实施方式中所提及的步骤，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行)。于步骤201，由第一串接单元300串接第一影像A以及第二影像B，以产生具有全域信息的串接影像C。于一本文档来自技高网...

【技术保护点】
1.一种影像对应判断方法，用以通过由一影像对应判断装置实现的一神经网络系统执行影像对应判断，其特征在于，该影像对应判断方法包括：由该神经网络系统的一第一串接单元串接一第一影像以及一第二影像，以产生具有一全域信息的一串接影像；由该神经网络系统的一卷积神经网络单元自该串接影像获取多个特征，以产生多个特征图并将所述多个特征图分为多个第一特征图以及多个第二特征图；由该神经网络系统的一影像区块获取单元自所述多个第一特征图中获取对应一第一区域的多个第一影像区块以及自所述多个第二特征图中获取对应一第二区域的多个第二影像区块；由该神经网络系统的一第二串接单元串接该第一影像区块以及该第二影像区块，以产生多个串接影像区块；以及由该神经网络系统的一度量学习网络单元根据所述多个串接影像区块计算一相似度度量，以判断该第一区域以及该第二区域间的一相似度。

【技术特征摘要】
2017.06.02 US 62/514,026;2018.05.10 US 15/975,7921.一种影像对应判断方法，用以通过由一影像对应判断装置实现的一神经网络系统执行影像对应判断，其特征在于，该影像对应判断方法包括：由该神经网络系统的一第一串接单元串接一第一影像以及一第二影像，以产生具有一全域信息的一串接影像；由该神经网络系统的一卷积神经网络单元自该串接影像获取多个特征，以产生多个特征图并将所述多个特征图分为多个第一特征图以及多个第二特征图；由该神经网络系统的一影像区块获取单元自所述多个第一特征图中获取对应一第一区域的多个第一影像区块以及自所述多个第二特征图中获取对应一第二区域的多个第二影像区块；由该神经网络系统的一第二串接单元串接该第一影像区块以及该第二影像区块，以产生多个串接影像区块；以及由该神经网络系统的一度量学习网络单元根据所述多个串接影像区块计算一相似度度量，以判断该第一区域以及该第二区域间的一相似度。2.如权利要求1所述的影像对应判断方法，其特征在于，该卷积神经网络单元包含多个卷积神经网络层，配置以根据多个学习权重运行。3.如权利要求1所述的影像对应判断方法，其特征在于，该第一影像、该第二影像、所述多个第一特征图以及所述多个第二特征图具有相同的一宽度以及相同的一高度。4.如权利要求1所述的影像对应判断方法，其特征在于，该第一影像以及该第二影像具有相同的一深度，且该串接影像的一总深度相当于该第一影像以及该第二影像的一深度的总和。5.如权利要求1所述的影像对应判断方法，其特征在于，所述多个第一特征图、所述多个第二特征图、所述多个第一影像区块以及所述多个第二影像区块具有相同的一深度，且所述多个串接影...

【专利技术属性】
技术研发人员：林政宪，卓柏全，杨宏毅，
申请(专利权)人：宏达国际电子股份有限公司，
类型：发明
国别省市：中国台湾,71