图像处理方法和装置制造方法及图纸

本公开涉及一种图像处理方法和装置。该方法包括：获取待处理图像的可见区域的掩码，其中，待处理图像包含目标对象，目标对象的部分区域被遮挡物遮挡，可见区域为目标对象未被遮挡物遮挡的区域，或者，可见区域为待处理图像中除了目标对象被遮挡物遮挡的区域之外的区域；根据待处理图像和可见区域的掩码，获取待处理图像的可见区域与目标对象的不可见区域的相关关系；根据待处理图像和相关关系，补全目标对象的不可见区域的内容。从而，基于处理图像的可见区域与目标对象的不可见区域的相关关系，准确推断出目标对象的不可见区域的内容，完成了目标追踪、目标检测、图像分割等任务。

【技术实现步骤摘要】
图像处理方法和装置
本公开涉及图像处理
，尤其涉及一种图像处理方法和装置。
技术介绍
在图像的采集过程中，受到光照、设备、算法等因素的影响，图像容易受损或者受到噪声干扰，导致图像无法正确表达内容。因此，图像修复(inpainting)已成为计算机视觉任务预处理的重要步骤之一，且与目标追踪、目标检测、图像分割等任务结果具有直接关联。目前，图像的修复过程常常采用神经网络模型来补全图像。神经网络模型通常直接套用注意力机制，并未考虑到具体任务中图像需要补全的内容，导致无法成功捕捉到图像需要补全的区域，也无法准确推断出图像需要补全的内容，降低了神经网络模型的处理性能，且不利于实现目标追踪、目标检测、图像分割等任务。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像处理方法和装置。第一方面，本公开提供了一种图像处理方法，包括：获取待处理图像的可见区域的掩码，其中，待处理图像包含目标对象，目标对象的部分区域被遮挡物遮挡，可见区域为目标对象未被遮挡物遮挡的区域，或者，可见区域为待处理图像中除了目标对象被遮挡物遮挡的区域之外的区域；根据待处理图像和可见区域的掩码，获取待处理图像的可见区域与目标对象的不可见区域的相关关系，目标对象的不可见区域为目标对象被遮挡物遮挡区域；根据待处理图像和相关关系，补全目标对象的不可见区域的内容。通过第一方面提供的方法，充分考虑到目标对象的不可见区域与待处理图像的可见区域之间具备相关关系，以及目标对象的不可见区域与待处理图像中的背景区域之间不具备相关关系的因素，可在注意力机制中引入待处理图像的可见区域的掩码，使得注意力机制能够基于待处理图像的可见区域的掩码，确定出待处理图像的可见区域与目标对象的不可见区域的相关关系，以便基于处理图像的可见区域与目标对象的不可见区域的相关关系，准确推断出目标对象的不可见区域的内容，实现了待处理图像中目标对象的不可见区域的内容的补全，提高了补齐目标对象的不可见区域的内容的准确率和及时性，有利于可靠地完成目标追踪、目标检测、图像分割等任务。在一种可能的设计中，根据待处理图像和可见区域的掩码，获取待处理图像的可见区域与目标对象的不可见区域的相关关系，包括：获取待处理图像对应的第一特征图；根据第一特征图对应的第一特征向量、可见区域的掩码对应的第一掩码特征向量、第一特征图对应的第二特征向量、可见区域的掩码对应的第二掩码特征向量，得到第一特征向量对应的可见区域的第一特征和第二特征向量对应的可见区域的第二特征，第一特征向量与第二特征向量的语义信息不同，第一掩码特征向量与第二掩码特征向量的维度顺序不同；根据第一特征和第二特征，得到相关矩阵图，相关矩阵图用于表示待处理图像的可见区域与目标对象的不可见区域的相关关系。在一种可能的设计中，根据第一特征图对应的第一特征向量、可见区域的掩码对应的第一掩码特征向量、第一特征图对应的第二特征向量、可见区域的掩码对应的第二掩码特征向量，得到第一特征向量对应的可见区域的第一特征和第二特征向量对应的可见区域的第二特征，包括：将第一特征图对应的第一特征向量和可见区域的掩码对应的第一掩码特征向量进行点乘，得到用于表示所述第一特征的第一点乘结果；将第一特征图对应的第二特征向量和可见区域的掩码对应的第二掩码特征向量进行点乘，得到用于表示所述第二特征的第二点乘结果；根据第一特征和第二特征，得到相关矩阵图，包括：将第一点乘结果与第二点乘结果进行矩阵相乘运算，得到相关矩阵图。在一种可能的设计中，该方法还包括：获取待处理图像的目标对象的不可见区域的掩码；根据待处理图像和可见区域的掩码，获取待处理图像的可见区域与目标对象的不可见区域的相关关系，包括：获取待处理图像对应的第一特征图；根据第一特征图对应的第四特征向量、可见区域的掩码对应的第三掩码特征向量、第一特征图对应的第五特征向量、不可见区域的掩码对应的第四掩码特征向量，得到第四特征向量对应的可见区域的第三特征和第五特征向量对应的不可见区域的第四特征，第四特征向量与第五特征向量的语义信息不同，第三掩码特征向量与第四掩码特征向量的维度顺序不同；根据第三特征和第四特征，得到相关矩阵图，相关矩阵图用于表示待处理图像的可见区域与目标对象的不可见区域的相关关系。在一种可能的设计中，根据第一特征图对应的第四特征向量、可见区域的掩码对应的第三掩码特征向量、第一特征图对应的第五特征向量、不可见区域的掩码对应的第四掩码特征向量，得到第四特征向量对应的可见区域的第三特征和第五特征向量对应的不可见区域的第四特征，包括：将第一特征图对应的第四特征向量和可见区域的掩码对应的第三掩码特征向量进行点乘，得到用于表示第三特征的第三点乘结果；将第一特征图对应的第五特征向量和不可见区域的掩码对应的第四掩码特征向量进行点乘，得到用于表示第四特征的第四点乘结果；根据第三特征和第四特征，得到相关矩阵图，包括：将第三点乘结果与第四点乘结果进行矩阵相乘运算，得到相关矩阵图。在一种可能的设计中，根据待处理图像和相关关系，补全目标对象的不可见区域的内容，包括：根据相关矩阵图和第一特征图对应的第三特征向量，得到待处理图像对应的第二特征图；根据第二特征图补全目标对象的不可见区域的内容。在一种可能的设计中，根据相关矩阵图和第一特征图对应的第三特征向量，得到待处理图像对应的第二特征图，包括：对相关矩阵图和第一特征图对应的第三特征向量进行矩阵相乘和归一化处理，得到第二处理后的特征向量，第二处理后的特征向量用于增强目标对象的不可见区域的内容对应的特征；对第二处理后的特征向量进行维度变换处理，得到第二特征图。在一种可能的设计中，该方法还包括：采用卷积操作对第一特征图进行卷积处理，对卷积处理后的第一特征图进行向量化处理，得到第三特征向量；或者，对第一特征图进行向量化处理，得到第三特征向量；其中，第三特征向量的通道数与第一特征图的通道数相同。在一种可能的设计中，方法还包括：采用卷积操作对第一特征图进行通道数降维处理，对降维处理后的第一特征图进行向量化处理，得到第一特征图对应的第一特征向量、第二特征向量、第四特征向量或第五特征向量；其中，第二特征向量和第一特征向量的通道数相同，第四特征向量和第五特征向量的通道数相同。第二方面，本公开提供了一种图像处理装置，包括：获取模块，用于获取待处理图像的可见区域的掩码，其中，待处理图像包含目标对象，目标对象的部分区域被遮挡物遮挡，可见区域为目标对象未被遮挡物遮挡的区域，或者，可见区域为待处理图像中除了目标对象被遮挡物遮挡的区域之外的区域；获取模块，还用于根据待处理图像和可见区域的掩码，获取待处理图像的可见区域与目标对象的不可见区域的相关关系，目标对象的不可见区域为目标对象被遮挡物遮挡区域；处理模块，用于根据待处理图像和相关关系，补全目标对象的不可见区域的内容。在一种可能的设计中，获取模块，具体用于获取待处理图像对应的第一特征图；根据第一特征图对应的第一特征向量、可见区域的掩码对应的第一掩码本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取待处理图像的可见区域的掩码，其中，所述待处理图像包含目标对象，所述目标对象的部分区域被遮挡物遮挡，所述可见区域为所述目标对象未被遮挡物遮挡的区域，或者，所述可见区域为所述待处理图像中除了所述目标对象被遮挡物遮挡的区域之外的区域；/n根据所述待处理图像和所述可见区域的掩码，获取所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系，所述目标对象的不可见区域为所述目标对象被遮挡物遮挡区域；/n根据所述待处理图像和所述相关关系，补全所述目标对象的不可见区域的内容。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取待处理图像的可见区域的掩码，其中，所述待处理图像包含目标对象，所述目标对象的部分区域被遮挡物遮挡，所述可见区域为所述目标对象未被遮挡物遮挡的区域，或者，所述可见区域为所述待处理图像中除了所述目标对象被遮挡物遮挡的区域之外的区域；
根据所述待处理图像和所述可见区域的掩码，获取所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系，所述目标对象的不可见区域为所述目标对象被遮挡物遮挡区域；
根据所述待处理图像和所述相关关系，补全所述目标对象的不可见区域的内容。


2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理图像和所述可见区域的掩码，获取所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系，包括：
获取所述待处理图像对应的第一特征图；
根据所述第一特征图对应的第一特征向量、所述可见区域的掩码对应的第一掩码特征向量、所述第一特征图对应的第二特征向量以及所述可见区域的掩码对应的第二掩码特征向量，得到所述第一特征向量对应的可见区域的第一特征和所述第二特征向量对应的可见区域的第二特征，其中，所述第一特征向量与所述第二特征向量的语义信息不同，所述第一掩码特征向量与所述第二掩码特征向量的维度顺序不同；
根据所述第一特征和所述第二特征，得到相关矩阵图，所述相关矩阵图用于表示所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系。


3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征图对应的第一特征向量、所述可见区域的掩码对应的第一掩码特征向量、所述第一特征图对应的第二特征向量、所述可见区域的掩码对应的第二掩码特征向量，得到所述第一特征向量对应的可见区域的第一特征和所述第二特征向量对应的可见区域的第二特征，包括：
将所述第一特征图对应的第一特征向量和所述可见区域的掩码对应的第一掩码特征向量进行点乘，得到用于表示所述第一特征的第一点乘结果；
将所述第一特征图对应的第二特征向量和所述可见区域的掩码对应的第二掩码特征向量进行点乘，得到用于表示所述第二特征的第二点乘结果；
所述根据所述第一特征和所述第二特征，得到所述相关矩阵图，包括：
将所述第一点乘结果与所述第二点乘结果进行矩阵相乘运算，得到所述相关矩阵图。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述待处理图像的目标对象的不可见区域的掩码；
所述根据所述待处理图像和所述可见区域的掩码，获取所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系，包括：
获取所述待处理图像对应的第一特征图；
根据所述第一特征图对应的第四特征向量、所述可见区域的掩码对应的第三掩码特征向量、所述第一特征图对应的第五特征向量、所述不可见区域的掩码对应的第四掩码特征向量，得到所述第四特征向量对应的所述可见区域的第三特征和所述第五特征向量对应的所述不可见区域的第四特征，其中，所述第四特征向量与所述第五特征向量的语义信息不同，所述第三掩码特征向量与所述第四掩码特征向量的维度顺序不同；
根据所述第三特征和所述第四特征，得到相关矩阵图，所述相关矩阵图用于表示所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系。


5.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征图对应的第一特征向量、所述可见区域的掩码对应的第一掩码特征向量、所述第一特征图对应的第二特征向量、所述不可见区域的掩码对应的第三掩码特征向量，得到所述第四特征向量对应的所述可见区域的...

【专利技术属性】
技术研发人员：王诗吟，周强，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：北京;11