【技术实现步骤摘要】
本申请实施例涉及图像处理领域，并且，更具体地，涉及一种视差图检验方法和装置。
技术介绍
1、近年来，随着深度学习的蓬勃发展，基于深度卷积网络的立体匹配算法受到广泛关注。利用立体匹配算法，可以在无人机的场景中进行视差估计，从而构建出三维模型和地图。
2、然而，尽管深度卷积神经网络具有的强大学习能力，但训练一个立体匹配算法模型通常需要大量的数据，对于雷达或结构光设备，由于难以收集大量的数据，并且难以进行真实场景的标注，这样将导致训练出的模型在真实的场景下预测的精准度和可靠性难以保证。
技术实现思路
1、本申请实施例提供一种视差图检验方法和装置，能够输出准确性高的第一视差图，并且，该视差图检验方法具有良好的泛化性，可以适用于不同的应用场景中。
2、第一方面，提供了一种视差图检验方法，该方法包括：获取目标域图片对和源域图片对；将所述目标域图片对和所述源域图片对输入到第一神经网络中，得到处理结果，所述处理结果包括所述源域图片对基于目标域生成的风格迁移图；将所述目标域图片对和所述处理结果输入到第二神经网络中，得到所述目标域对应的第一视差图和源域对应的第二视差图；将所述第一视差图和所述第二视差图进行投影处理，得到所述目标域视差重构生成的左图和所述源域视差重构生成的左图；确定所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性，以及确定所述源域图片对中的左图与所述源域视差重构生成的左图的一致性。
3、可选地，目标域图片对可以是通过双目相机获取的，该双目
4、可选地，第一神经网络可以是循环一致性生成对抗网络(cycle-consistentgenerative adversarial networks，cycle-gan)，第二神经网络可以是立体匹配网络。
5、本申请实施例中，由于第二神经网络的输入包括了基于生成网络的风格迁移的处理结果，使得第二神经网络能够输出准确性高的第一视差图。并且，该视差图检验方法具有良好的泛化性，可以适用于不同的应用场景中。
6、结合第一方面，在第一方面的某些实现方式中，所述确定所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性，包括：将所述目标域图片对中的左图和所述目标域视差重构生成的左图输入到第三神经网络中，得到第一特征向量和第二特征向量，所述第二特征向量为所述目标域右图经过视差重构生成的左图的特征向量；将所述第一特性向量和所述第二特性向量，输入到第四神经网络中，得到第一推理结果，所述第一推理结果用于指示所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性。
7、可选地，该第一推理结果可以指示目标域图片对中的左图和目标域右图根据第一视差图重构的左图是否一致，或者该第一推理结果可以指示目标域图片对中的左图和目标域右图根据第一视差图重构的左图一致的概率值是否满足预设概率值。
8、可选地，第三神经网络可以是卷积神经网络(visual geometry group，vgg)
9、本申请实施例中，通过第三神经网络和第四神经网络的应用，可以快速地判断出目标域图片对中的左图和目标域右图根据第一视差图重构的左图是否一致，从而便于确定是否应用该第一视差图，有利于快速获取准确度高的第一视差图。
10、结合第一方面，在第一方面的某些实现方式中，所述确定所述源域图片对中的左图与所述源域视差重构生成的左图的一致性，包括：将所述源域图片对中的左图和所述源域视差重构生成的左图输入到第三神经网络中，得到第三特征向量和第四特征向量，所述第四特征向量为所述源域右图经过视差重构生成的左图的特征向量；将所述第三特征向量和所述第四特征向量，输入到所述第四神经网络中，得到第二推理结果，所述第二推理结果用于指示所述源域图片对中的左图与所述源域视差重构生成的左图的一致性。
11、可选地，该第二推理结果可以指示源域图片对中的左图和源域右图根据第二视差图重构的左图是否一致，或者该第二推理结果可以指示源域图片对中的左图和源域右图根据第二视差图重构的左图一致的概率值是否满足预设概率值。
12、本申请实施例中，通过第三神经网络和第四神经网络的应用，可以快速地判断出源域图片对中的左图和源域右图根据第二视差图重构的左图是否一致，从而便于确定是否应用该第二视差图，有利于快速获取准确度高的第二视差图。
13、结合第一方面，在第一方面的某些实现方式中，所述第一特征向量至所述第四特征向量为n层特征向量，所述第四神经网络训练时对应的损失函数具体通过如下公式确定：
14、
15、其中，n为特征向量的层数，a为第一特征向量，b为第二特征向量，或者a为第三特征向量，b为第四特征向量，‖a‖为第一特征向量或第三特征向量的模，‖b‖为第二特征向量或第四特征向量的模。
16、结合第一方面，在第一方面的某些实现方式中，所述第二神经网络训练时对应的损失函数包括以下内容至少一项：视差图回归损失函数、图像重构损失函数、差异平滑度损失函数、引导置信损失函数。
17、本申请实施例中，基于视差图回归损失函数、图像重构损失函数、差异平滑度损失函数、或引导置信损失函数提供监督信息训练第二神经网络，能够为第二神经网络提供更丰富、更全面的指导，有助于第二神经网络更快速地完成训练，并提高第二神经网络的性能和鲁棒性。
18、第二方面，提供了一种视差图检验装置，所述装置包括：获取单元和处理单元；所述获取单元，获取目标域图片对和源域图片对；所述处理单元，用于：将所述目标域图片对和所述源域图片对输入到第一神经网络中，得到处理结果，所述处理结果包括所述源域图片对基于目标域生成的风格迁移图；将所述目标域图片对和所述处理结果输入到第二神经网络中，得到所述目标域对应的第一视差图和源域对应的第二视差图；将所述第一视差图和所述第二视差图进行投影处理，得到所述目标域视差重构生成的左图和所述源域视差重构生成的左图；确定所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性，以及确定所述源域图片对中的左图与所述源域视差重构生成的左图的一致性。
19、结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于：将所述目标域图片对中的左图和所述目标域视差重构生成的左图输入到第三神经网络中，得到第一特征向量和第二特征向量，所述第二特征向量为所述目标域右图经过视差重构生成的左图的特征向量；将所述第一特性向量和所述第二特性向量，输入到第四神经网络中，得到第一推理结果，所述第一推理结果用于指示所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性。
20、结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于：将所述源域图片对中的左图和所述源域视差重构生成的左图输入到第三神经网络中，得到第三特征向量和第四特征向量，所述第四特征向量为所述源域右图经过本文档来自技高网...
【技术保护点】
1.一种视差图检验方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述确定所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性，包括：
3.如权利要求1或2所述的方法，其特征在于，所述确定所述源域图片对中的左图与所述源域视差重构生成的左图的一致性，包括：
4.如权利要求3所述的方法，其特征在于，所述第一特征向量至所述第四特征向量为N层特征向量，所述第四神经网络训练时对应的损失函数具体通过如下公式确定：
5.如权利要求1至4任一项所述的方法，其特性在于，所述第二神经网络训练时对应的损失函数包括以下内容至少一项：视差图回归损失函数、图像重建损失函数、差异平滑度损失函数、引导置信损失函数。
6.一种视差图检验装置，其特征在于，包括执行如权利要求1至5中任一项所述的方法的单元或模块。
7.一种是视差图检验装置，其特征在于，包括处理器和存储器，所述处理器与所述存储器耦合，所述存储器用于存储计算机程序或指令，所述处理器用于执行所述存储器中的所述计算机程序或指令，使得权利要求1至5中任一
8.一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行如权利要求1至5中任一项所述的方法。
9.一种芯片，所述芯片包括电路，所述电路用于执行如权利要求1至5中任一项所述的方法。
10.一种无人机，其特征在于，所述无人机包括：如权利要求6或7任一项所述的装置。
...【技术特征摘要】
1.一种视差图检验方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述确定所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性，包括：
3.如权利要求1或2所述的方法，其特征在于，所述确定所述源域图片对中的左图与所述源域视差重构生成的左图的一致性，包括：
4.如权利要求3所述的方法，其特征在于，所述第一特征向量至所述第四特征向量为n层特征向量，所述第四神经网络训练时对应的损失函数具体通过如下公式确定：
5.如权利要求1至4任一项所述的方法，其特性在于，所述第二神经网络训练时对应的损失函数包括以下内容至少一项：视差图回归损失函数、图像重建损失函数、差异平滑度损失函数、引导置信损失函数。
...
【专利技术属性】
技术研发人员：常志中，王香珊，
申请(专利权)人：黑龙江惠达科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。