本公开提供了一种图像特征处理方法、深度图像生成方法、图像特征处理装置、深度图像生成装置、计算机可读存储介质和电子设备，涉及图像处理技术领域。该图像特征处理方法包括：获取待处理的图像特征图；从待处理的图像特征图中提取位置编码信息；利用位置编码信息对待处理的图像特征图进行特征转换，得到处理后的图像特征图。本公开可以准确地得到与待处理的图像特征图对应的位置编码，输出精确度高的特征图，有助于提升模型预测结果的准确度。有助于提升模型预测结果的准确度。有助于提升模型预测结果的准确度。
【技术实现步骤摘要】
图像特征处理、深度图像生成方法及装置、介质和设备
[0001]本公开涉及图像处理
，具体而言，涉及一种图像特征处理方法、深度图像生成方法、图像特征处理装置、深度图像生成装置、计算机可读存储介质和电子设备。
技术介绍
[0002]与全卷积网络(Fully Convolution Network，FCN)相比，Transformer(变换器)能够更好地建模长距离依赖关系，这就使得Transformer在一些应用场景中更具优势。
[0003]位置编码(Positional Embedding，PE)为视觉Transformer中的可学习参数，可用作坐标索引，在空间信息建模中起着重要的作用，有助于Transformer正确地学习到要素之间的关系。
[0004]然而，目前应用Transformer的方案，仍会存在预测结果准确度不高的问题。
技术实现思路
[0005]本公开提供一种图像特征处理方法、深度图像生成方法、图像特征处理装置、深度图像生成装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服模型处理结果准确度不高的问题。
[0006]根据本公开的第一方面，提供了一种图像特征处理方法，包括：获取待处理的图像特征图；从待处理的图像特征图中提取位置编码信息；利用位置编码信息对待处理的图像特征图进行特征转换，得到处理后的图像特征图。
[0007]根据本公开的第二方面，提供了一种深度图像生成方法，包括：获取彩色图以及与彩色图对应的稀疏深度图，并将彩色图与稀疏深度图进行合并，生成待处理图像；对待处理图像进行下采样，得到待处理的图像特征图，并利用上述图像特征处理方法对待处理的图像特征图进行处理，生成处理后的图像特征图；对处理后的图像特征图进行上采样，得到深度估计信息；利用深度估计信息，生成与彩色图对应的稠密深度图。
[0008]根据本公开的第三方面，提供了一种图像特征处理装置，包括：特征获取模块，用于获取待处理的图像特征图；信息提取模块，用于从待处理的图像特征图中提取位置编码信息；特征转换模块，用于利用位置编码信息对待处理的图像特征图进行特征转换，得到处理后的图像特征图。
[0009]根据本公开的第四方面，提供了一种深度图像生成装置，包括：图像获取模块，用于获取彩色图以及与彩色图对应的稀疏深度图，并将彩色图与稀疏深度图进行合并，生成待处理图像；特征处理模块，用于对待处理图像进行下采样，得到待处理的图像特征图，并利用上述图像特征处理方法，对待处理的图像特征图进行处理，生成处理后的图像特征图；上采样模块，用于对处理后的图像特征图进行上采样，得到深度估计信息；深度图生成模块，用于利用深度估计信息，生成与彩色图对应的稠密深度图。
[0010]根据本公开的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像特征处理方法或深度图像生成方法。
[0011]根据本公开的第六方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的图像特征处理方法或深度图像生成方法。
[0012]在本公开的一些实施例所提供的技术方案中，从待处理的图像特征图中提取位置编码信息，并利用位置编码信息对待处理的图像特征图进行特征转换，得到处理后的图像特征图。一方面，相比于通过数据集训练得到位置编码的方案，本公开方案的位置编码从待处理的图像特征图中提取出，能够准确反映出当前输入的特征图的位置编码属性，应用于模型时，有助于模型泛化能力的提升，可以提高模型预测结果的准确度；另一方面，本公开的图像特征处理方案针对的是特征图的处理过程，该过程可以嵌入各类模型架构中，使用的灵活度高，在将图像特征处理方案应用于深度估计的场景中时，可以提高深度估计的完整度和准确度。
[0013]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0014]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0015]图1示出了本公开实施方式的图像处理方案的场景示意图；
[0016]图2示出了适于用来实现本公开实施例的电子设备的结构示意图；
[0017]图3示意性示出了根据本公开示例性实施方式的图像特征处理方法的流程图；
[0018]图4示出了本公开轴向注意力机制的示意图；
[0019]图5示意性示出了本公开实施方式的利用位置编码信息得到处理后图像特征图的流程图；
[0020]图6示出了本公开实施例的确定特征转换结果的过程的示意图；
[0021]图7示出了本公开实施例的得到处理后的图像特征图的示意图；
[0022]图8示出了本公开另一实施例的得到处理后的图像特征图的示意图；
[0023]图9示意性示出了根据本公开示例性实施方式的深度图像生成方法的流程图；
[0024]图10示出了本公开实施例的深度图像生成方案的处理过程的示意图；
[0025]图11示意性示出了本公开深度图像生成方案与其他方案的效果对比图；
[0026]图12示意性示出了根据本公开示例性实施方式的图像特征处理装置的方框图；
[0027]图13示意性示出了根据本公开示例性实施方式的深度图像生成装置的方框图。
具体实施方式
[0028]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许
多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
[0029]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0030]附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像特征处理方法，其特征在于，包括；获取待处理的图像特征图；从所述待处理的图像特征图中提取位置编码信息；利用所述位置编码信息对所述待处理的图像特征图进行特征转换，得到处理后的图像特征图。2.根据权利要求1所述的图像特征处理方法，其特征在于，从所述待处理的图像特征图中提取位置编码信息包括：将所述待处理的图像特征图输入位置编码提取模型，由所述位置编码提取模型对所述待处理的图像特征图进行处理，以得到所述位置编码信息。3.根据权利要求2所述的图像特征处理方法，其特征在于，所述位置编码提取模型包括1
×
1的卷积核。4.根据权利要求1所述的图像特征处理方法，其特征在于，所述位置编码信息的尺寸与所述待处理的图像特征图的尺寸一致。5.根据权利要求1至4中任一项所述的图像特征处理方法，其特征在于，利用所述位置编码信息对所述待处理的图像特征图进行特征转换，得到处理后的图像特征图，包括：利用所述位置编码信息，对所述待处理的图像特征图执行第一方向上的特征转换操作，得到中间特征图；利用所述位置编码信息，对所述中间特征图执行第二方向上的特征转换操作，得到所述处理后的图像特征图；其中，所述第一方向为特征图的宽度方向且所述第二方向为特征图的高度方向，或者所述第一方向为特征图的高度方向且所述第二方向为特征图的宽度方向。6.根据权利要求5所述的图像特征处理方法，其特征在于，利用所述位置编码信息，对所述待处理的图像特征图执行第一方向上的特征转换操作，得到中间特征图，包括：从所述待处理的图像特征图中提取键特征、值特征和查询特征；利用所述键特征、所述值特征、所述查询特征以及所述键特征的位置编码、所述值特征的位置编码、所述查询特征的位置编码，执行所述第一方向上的特征转换过程，得到所述中间特征图；其中，所述键特征的位置编码、所述值特征的位置编码、所述查询特征的位置编码包含于所述位置编码信息中。7.根据权利要求6所述的图像特征处理方法，其特征在于，从所述待处理的图像特征图中提取键特征包括：将所述待处理的图像特征图输入键特征提取模型，由所述键特征提取模型对所述待处理的图像特征图进行处理，以得到所述键特征。8.根据权利要求7所述的图像特征处理方法，其特征在于，所述键特征提取模型包括1
×
1的卷积核。9.根据权利要求6所述的图像特征处理方法，其特征在于，利用所述键特征、所述值特征、所述查询特征以及所述键特征的位置编码、所述值特征的位置编码、所述查询特征的位置编码，执行所述第一方向上的特征转换过程，得到所述中间特征图，包括：分别对所述键特征、所述值特征、所述查询特征以及所述键特征的位置编码、所述值特
征的位置编码、所述查询特征的位置编码进行与所述第一方向对应的尺寸调整；利用尺寸调整后的特征以及对应的位置编码，执行特征转换过程，得到...
【专利技术属性】
技术研发人员：宫振飞，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。