视差图获取方法、装置、训练方法、电子设备和介质制造方法及图纸

本申请实施例提供了一种视差图获取方法、装置、训练方法、电子设备和介质，涉及图像处理技术领域。该方法包括：获得目标左图像及目标右图像；将该目标左图像及目标右图像输入训练好的双目视差匹配网络中，得到目标左视差图和目标右视差图，其中，训练好的双目视差匹配网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，第一左特征图与第一右特征图获取方式相同。如此，可通过基于左右图像及其对应的特征图训练得到的双目视差匹配网络，获得目标左图像与目标右图像对应的目标左视差图和目标右视差图，从而提高得到的视差图的准确性。从而提高得到的视差图的准确性。从而提高得到的视差图的准确性。

【技术实现步骤摘要】
视差图获取方法、装置、训练方法、电子设备和介质


[0001]本申请涉及图像处理
，具体而言，涉及一种视差图获取方法、装置、训练方法、电子设备和介质。

技术介绍

[0002]目前会通过无监督学习方法，训练得到双目视差匹配网络，然后利用双目视差匹配网络获得左、右图像的左、右视差图。然而，由于目前在训练双目视差匹配网络时，仅仅考虑了图像像素层面的约束，也即只是将作为样本的左、右图像的像素值作为约束条件，而像素层面会有噪音，并且单个像素比较片面，由此导致基于该方式训练出来的双目视差匹配网络获取的视差图的准确性不佳。

技术实现思路

[0003]本申请实施例提供了一种视差图获取方法、装置、训练方法、电子设备和介质，其能够获得准确性高的左、右视差图。
[0004]本申请的实施例可以这样实现：
[0005]第一方面，本申请实施例提供一种视差图获取方法，包括：
[0006]获得目标左图像及目标右图像；
[0007]将所述目标左图像及目标右图像输入训练好的双目视差匹配网络中，得到目标左视差图和目标右视差图，其中，训练好的双目视差匹配网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，所述第一左特征图与第一右特征图获取方式相同。
[0008]第二方面，本申请实施例提供一种训练方法，所述方法包括：
[0009]对作为训练样本的左图像进行特征提取，得到所述左图像对应的至少一个层次的第一左特征图；/>[0010]对作为训练样本的右图像进行特征提取，得到所述右图像对应的至少一个层次的第一右特征图，其中，所述第一左特征图与第一右特征图获取方式相同；
[0011]将所述左图像及右图像输入未训练好的双目视差匹配网络中，获得左视差图及右视差图，并根据所述左视差图及右视差图得到至少一个层次的第一左视差图及至少一个层次的第一右视差图，其中，一个层次的视差图中包括该视差图对应的同一层次的特征图中各点的视差；
[0012]根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，并根据预设损失及当前损失对未训练好的双目视差匹配网络进行训练，直到得到训练好的双目视差匹配网络。
[0013]第三方面，本申请实施例提供一种视差图获取装置，包括：
[0014]第一获得模块，用于获得目标左图像及目标右图像；
[0015]第二获得模块，用于将所述目标左图像及目标右图像输入训练好的双目视差匹配
网络中，得到目标左视差图和目标右视差图，其中，训练好的双目视差匹配网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，所述第一左特征图与第一右特征图获取方式相同。
[0016]第四方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任意一项所述的方法。
[0017]第五方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任意一项所述的方法。
[0018]本申请实施例提供了一种视差图获取方法、装置、训练方法、电子设备和介质，通过将目标左图像及目标图像图像输入训练好的双目视差匹配网络，可获得该目标左图像及目标右图像的目标左视差图和目标右视差图。其中，该双目视差网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，第一左特征图与第一右特征图获取方式相同。由于使用的双目视差匹配网络是基于左右图像及其对应的特征图训练得到的，并不是仅根据左右图像训练得到的，因此可减少左右图像像素层面的噪音影响，以及左右图像中单个像素的片面性影响，从而使得通过该双目视差匹配网络可获得准确性高的左右视差图；并且，时效性相较于传统算法的特征点匹配，速度较快且视差信息稠密。
附图说明
[0019]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0020]图1为本申请实施例提供的电子设备的方框示意图；
[0021]图2为本申请实施例提供的视差图获取方法的流程示意图之一；
[0022]图3为本申请实施例提供的视差图获取方法的流程示意图之二；
[0023]图4为本申请实施例提供的训练方法的流程示意图；
[0024]图5为本申请实施例提供的视差图获取装置的方框示意图；
[0025]图6为本申请实施例提供的训练装置的方框示意图。
[0026]图标：100
‑
电子设备；110
‑
存储器；120
‑
处理器；130
‑
通信单元；200
‑
视差图获取装置；210
‑
第一获得模块；220
‑
第二获得模块；300
‑
训练装置；310
‑
特征提取模块；320
‑
视差图获取模块；330
‑
训练模块。
具体实施方式
[0027]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0028]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护
的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0029]需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0030]目前通过无监督学习方法训练双目视差匹配网络时，如Digging into Self
‑
Super本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视差图获取方法，其特征在于，包括：获得目标左图像及目标右图像；将所述目标左图像及目标右图像输入训练好的双目视差匹配网络中，得到目标左视差图和目标右视差图，其中，训练好的双目视差匹配网络根据作为训练样本的左图像、右图像、左图像对应的至少一个层次的第一左特征图、右图像对应的至少一个层次的第一右特征图训练得到，所述第一左特征图与第一右特征图获取方式相同。2.根据权利要求1所述的方法，其特征在于，训练好的双目视差匹配网络通过如下方式训练得到：对作为训练样本的左图像进行特征提取，得到所述左图像对应的至少一个层次的第一左特征图；对作为训练样本的右图像进行特征提取，得到所述右图像对应的至少一个层次的第一右特征图；将所述左图像及右图像输入未训练好的双目视差匹配网络中，获得左视差图及右视差图，并根据所述左视差图及右视差图得到至少一个层次的第一左视差图及至少一个层次的第一右视差图，其中，一个层次的视差图中包括该视差图对应的同一层次的特征图中各点的视差；根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，并根据预设损失及当前损失对未训练好的双目视差匹配网络进行训练，直到得到训练好的双目视差匹配网络。3.根据权利要求2所述的方法，其特征在于，所述当前损失包括第一光度损失及第二光度损失，所述根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，包括：分别根据各层次的第一右特征图及第一左视差图，进行特征图重建，得到各层次对应的第二左特征图；分别根据各层次的第一左特征图及第一右视差图，进行特征图重建，得到各层次对应的第二右特征图；根据各层次的第一左特征图及第二左特征图中各点的像素值，计算得到所述第一光度损失；根据各层次的第一右特征图及第二右特征图中各点的像素值，计算得到所述第二光度损失。4.根据权利要求3所述的方法，其特征在于，所述当前损失还包括最小化损失，所述根据所述第一左特征图、第一右特征图、第一左视差图及第一右视差图，计算当前损失，还包括：根据各层次的第一左视差图及第一右视差图中各点的像素值，计算得到各层次的第一左视差图的像素值总和及各层次的第一右视差图的像素值总和，并根据所述像素值总和计算得到所述最小化损失。5.根据权利要求3或4所述的方法，其特征在于，所述当前损失还包括第一风格损失及第二风格损失，所述根据所述第一左特征图、第一右特征图、第一左视差图及第...

【专利技术属性】
技术研发人员：孙士捷，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：