图像处理方法、装置、设备及介质制造方法及图纸

本申请公开了一种图像处理方法、装置、设备及介质。本申请可以应用于地图导航技术领域。该方法包括：基于样本路口图像得到第一样本图像处理特征和第二样本图像处理特征，基于初始样本查询特征和第二样本图像处理特征得到初始样本解构元素预测信息，基于初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征得到目标解码样本查询特征，以得到样本路口属性预测信息，基于目标解码样本查询特征和第二样本图像处理特征得到目标样本解构元素预测信息，以确定样本路口元素掩膜预测信息，基于样本路口元素掩膜预测信息和样本路口属性预测信息训练得到目标路口识别模型。采用本申请，可以提升路口识别解构的精确度。可以提升路口识别解构的精确度。可以提升路口识别解构的精确度。

【技术实现步骤摘要】
图像处理方法、装置、设备及介质


[0001]本申请涉及图像处理
，具体涉及地图导航
，尤其涉及一种图像处理方法、装置、设备及介质。

技术介绍

[0002]目前，可以对道路图像（比如卫星影像）中的道路实例进行识别和渲染，以实现地图的构建。其中，对道路图像的识别涉及对道路路口的识别。现有方式中，在对道路图像进行路口的识别时，仅能识别出一个路口的大致形态。
[0003]然而，在实践中发现，在通过现有方式确定路口形态的情况下，对路口进行渲染时，只能渲染出路口的粗略形态，以至于降低对道路图像中路口的渲染真实性。因此，如何提升对路口进行识别及解构的精确度成为了一个亟待解决的问题。

技术实现思路

[0004]本申请实施例提供了一种图像处理方法、装置、设备及介质，可以提升对路口进行识别与解构的精确度。
[0005]一方面，本申请实施例提供了一种图像处理方法，方法包括：获取用于训练初始路口识别模型的训练样本以及训练样本的样本路口标签信息；训练样本包括：包含样本路口的样本路口图像以及初始样本查询特征；初始路口识别模型包含：关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件；样本路口标签信息包括：样本路口的路口属性标注信息和样本路口的路口元素掩膜标注信息；N为大于1的正整数；将样本路口图像输入关键特征提取组件，由关键特征提取组件对样本路口图像进行图像处理，得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征；将初始样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支，由N个掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理，得到N个掩膜分支的N个初始样本解构元素预测信息，将N个初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征输入关键特征提取组件，由关键特征提取组件输出与初始样本查询特征相关联的目标解码样本查询特征；一个掩膜分支对应一个初始样本解构元素预测信息；将目标解码样本查询特征输入路口识别组件，由路口识别组件对目标解码样本查询特征进行特征识别，基于路口识别组件输出的特征识别结果确定目标解码样本查询特征对应的预测路口的样本路口属性预测信息；将目标解码样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支，由N个掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理，得到N个掩膜分支的N个目标样本解构元素预测信息；一个掩膜分支对应一个目标样本解构元素预测信息；
基于N个目标样本解构元素预测信息，确定预测路口的样本路口元素掩膜预测信息，基于路口属性标注信息、样本路口属性预测信息、路口元素掩膜标注信息和样本路口元素掩膜预测信息，对初始路口识别模型进行模型训练，训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。
[0006]另一方面，本申请实施例提供了一种图像处理方法，方法包括：获取包含目标路口的目标路口图像、目标查询特征，以及用于对目标路口图像进行图像解构处理的目标路口识别模型；目标路口识别模型包括关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件；N为大于1的正整数；将目标路口图像输入关键特征提取组件，由关键特征提取组件对目标路口图像进行图像处理，得到目标路口图像的第一图像处理特征和第二图像处理特征；将目标查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支，由N个掩膜分支对目标查询特征和第二图像处理特征进行图像解构处理，得到N个掩膜分支的N个初始解构元素预测信息，将N个初始解构元素预测信息、第一图像处理特征和目标查询特征输入关键特征提取组件，由关键特征提取组件输出与目标查询特征相关联的目标解码查询特征；将目标解码查询特征输入路口识别组件，由路口识别组件对目标解码查询特征进行特征识别，基于路口识别组件输出的特征识别结果确定目标解码查询特征对应的预测路口的路口属性预测信息；若目标解码查询特征对应的路口属性预测信息指示目标解码查询特征对应的预测路口为目标路口，则将目标解码查询特征和第二图像处理特征输入路口元素解析组件中的N个掩膜分支，由N个掩膜分支对目标解码查询特征和第二图像处理特征进行图像解构处理，得到N个掩膜分支的N个目标解构元素预测信息；一个掩膜分支对应一个目标解构元素预测信息。
[0007]一方面，本申请实施例提供了一种图像处理装置，装置包括：训练样本获取模块，用于获取用于训练初始路口识别模型的训练样本以及训练样本的样本路口标签信息；训练样本包括：包含样本路口的样本路口图像以及初始样本查询特征；初始路口识别模型包含：关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件；样本路口标签信息包括：样本路口的路口属性标注信息和样本路口的路口元素掩膜标注信息；N为大于1的正整数；样本特征提取模块，用于将样本路口图像输入关键特征提取组件，由关键特征提取组件对样本路口图像进行图像处理，得到样本路口图像的第一样本图像处理特征和第二样本图像处理特征；样本特征提取模块，还用于将初始样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支，由N个掩膜分支对初始样本查询特征和第二样本图像处理特征进行图像解构处理，得到N个掩膜分支的N个初始样本解构元素预测信息，将N个初始样本解构元素预测信息、第一样本图像处理特征和初始样本查询特征输入关键特征提取组件，由关键特征提取组件输出与初始样本查询特征相关联的目标解码样本查询特征；一个掩膜分支对应一个初始样本解构元素预测信息；样本特征识别模块，用于将目标解码样本查询特征输入路口识别组件，由路口识
别组件对目标解码样本查询特征进行特征识别，基于路口识别组件输出的特征识别结果确定目标解码样本查询特征对应的预测路口的样本路口属性预测信息；样本特征变换模块，用于将目标解码样本查询特征和第二样本图像处理特征输入路口元素解析组件中的N个掩膜分支，由N个掩膜分支对目标解码样本查询特征和第二样本图像处理特征进行图像解构处理，得到N个掩膜分支的N个目标样本解构元素预测信息；一个掩膜分支对应一个目标样本解构元素预测信息；模型训练模块，用于基于N个目标样本解构元素预测信息，确定预测路口的样本路口元素掩膜预测信息，基于路口属性标注信息、样本路口属性预测信息、路口元素掩膜标注信息和样本路口元素掩膜预测信息，对初始路口识别模型进行模型训练，训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。
[0008]另一方面，本申请实施例提供了一种图像处理装置，装置包括：图像处理模块，用于获取包含目标路口的目标路口图像、目标查询特征，以及用于对目标路口图像进行图像解构处理的目标路口识别模型；目标路口识别模型包括关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件；N为大于1的正整数；目标特征提取模块，用于将目标路口图像输入关键特征提取组件，由关键特征提取组件对目标路口图像进行图像处理，得到目标路口图像的第一图像处理特征和第二图像处理特征；目标特征提取模块，还用于将目标查询特征和第二图像处理特征输入路本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取用于训练初始路口识别模型的训练样本以及所述训练样本的样本路口标签信息；所述训练样本包括：包含样本路口的样本路口图像以及初始样本查询特征；所述初始路口识别模型包含：关键特征提取组件、路口识别组件以及由N个掩膜分支所构成的路口元素解析组件；所述样本路口标签信息包括：所述样本路口的路口属性标注信息和所述样本路口的路口元素掩膜标注信息；N为大于1的正整数；将所述样本路口图像输入所述关键特征提取组件，由所述关键特征提取组件对所述样本路口图像进行图像处理，得到所述样本路口图像的第一样本图像处理特征和第二样本图像处理特征；将所述初始样本查询特征和所述第二样本图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支，由所述N个掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理，得到所述N个掩膜分支的N个初始样本解构元素预测信息，将所述N个初始样本解构元素预测信息、所述第一样本图像处理特征和所述初始样本查询特征输入所述关键特征提取组件，由所述关键特征提取组件输出与所述初始样本查询特征相关联的目标解码样本查询特征；一个掩膜分支对应一个初始样本解构元素预测信息；将所述目标解码样本查询特征输入所述路口识别组件，由所述路口识别组件对所述目标解码样本查询特征进行特征识别，基于所述路口识别组件输出的特征识别结果确定所述目标解码样本查询特征对应的预测路口的样本路口属性预测信息；将所述目标解码样本查询特征和所述第二样本图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支，由所述N个掩膜分支对所述目标解码样本查询特征和所述第二样本图像处理特征进行图像解构处理，得到所述N个掩膜分支的N个目标样本解构元素预测信息；一个掩膜分支对应一个目标样本解构元素预测信息；基于所述N个目标样本解构元素预测信息，确定所述预测路口的样本路口元素掩膜预测信息，基于所述路口属性标注信息、所述样本路口属性预测信息、所述路口元素掩膜标注信息和所述样本路口元素掩膜预测信息，对所述初始路口识别模型进行模型训练，训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型。2.根据权利要求1所述的方法，其特征在于，所述关键特征提取组件包含主干特征提取器、像素解码器以及特征变换解码器；所述将所述样本路口图像输入所述关键特征提取组件，由所述关键特征提取组件对所述样本路口图像进行图像处理，得到所述样本路口图像的第一样本图像处理特征和第二样本图像处理特征，包括：将所述样本路口图像输入所述关键特征提取组件中的所述主干特征提取器，由所述主干特征提取器对所述样本路口图像进行主干特征提取处理，将提取到的主干特征作为所述样本路口图像的参考样本图像特征；将所述参考样本图像特征输入所述关键特征提取组件中的所述像素解码器，由所述像素解码器对所述参考样本图像特征进行上采样处理，得到与所述参考样本图像特征相关联的目标上采样样本图像特征，从所述目标上采样样本图像特征中获取用于输入所述特征变换解码器的第一采样样本图像特征和用于输入所述N个掩膜分支的第二采样样本图像特征；
将所述第一采样样本图像特征作为所述第一样本图像处理特征，并将所述第二采样样本图像特征作为所述第二样本图像处理特征。3.根据权利要求2所述的方法，其特征在于，所述像素解码器包括M1个图像采样层，M1为大于1的正整数；所述将所述参考样本图像特征输入所述关键特征提取组件中的所述像素解码器，由所述像素解码器对所述参考样本图像特征进行上采样处理，得到与所述参考样本图像特征相关联的目标上采样样本图像特征，包括：从所述M1个图像采样层中获取第i个图像采样层和第i+1个图像采样层；i为小于或者等于M2的正整数，M2=M1
‑
1；将所述参考样本图像特征输入所述第i个图像采样层，由所述第i个图像采样层对所述参考样本图像特征进行上采样处理，得到所述第i个图像采样层对应的第i个上采样样本图像特征；基于所述第i个上采样样本图像特征对所述参考样本图像特征进行更新处理，将更新后的参考样本图像特征输入所述第i+1个图像采样层，由所述第i+1个图像采样层对所述更新后的参考样本图像特征进行上采样处理，得到所述第i+1个图像采样层对应的第i+1个上采样样本图像特征；基于所述更新后的参考样本图像特征和所述第i+1个上采样样本图像特征，确定与所述参考样本图像特征相关联的所述目标上采样样本图像特征。4.根据权利要求3所述的方法，其特征在于，所述目标上采样样本图像特征包括所述更新后的参考样本图像特征和第M1个图像采样层对应的第M1个上采样样本图像特征；所述更新后的参考样本图像特征是由所述第i个图像采样层所输出的第i个上采样样本图像特征所确定的;所述从所述目标上采样样本图像特征中获取用于输入所述特征变换解码器的第一采样样本图像特征和用于输入所述N个掩膜分支的第二采样样本图像特征，包括：从所述目标上采样样本图像特征中获取所述更新后的参考样本图像特征，将获取到的所述更新后的参考样本图像特征作为用于输入所述特征变换解码器的所述第一采样样本图像特征；从所述目标上采样图像特征中获取所述第M1个上采样样本图像特征，将所述第M1个上采样样本图像特征作为用于输入所述N个掩膜分支的所述第二采样样本图像特征。5.根据权利要求1所述的方法，其特征在于，所述N个掩膜分支包括所述样本路口的路口关键点元素对应的第一掩膜分支、所述样本路口的路口连接边元素对应的第二掩膜分支、所述样本路口的非路口连接边元素对应的第三掩膜分支以及所述样本路口的路口路面元素对应的第四掩膜分支；所述将所述初始样本查询特征和所述第二样本图像处理特征输入所述路口元素解析组件中的所述N个掩膜分支，由所述N个掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理，得到所述N个掩膜分支的N个初始样本解构元素预测信息，包括：将所述初始样本查询特征和所述第二样本图像处理特征输入所述第一掩膜分支，由所述第一掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处
理，得到与所述路口关键点元素相关联的样本路口关键点元素特征，基于所述样本路口关键点元素特征和所述第一掩膜分支所提供的掩膜特征，输出所述路口关键点元素对应的第一样本路口关键点预测掩膜图，将所述第一样本路口关键点预测掩膜图作为所述第一掩膜分支对应的初始样本解构元素预测信息；将所述初始样本查询特征和所述第二样本图像处理特征输入所述第二掩膜分支，由所述第二掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理，得到与所述路口连接边元素相关联的样本路口连接边元素特征，基于所述样本路口连接边元素特征和所述第二掩膜分支所提供的掩膜特征，输出所述路口连接边元素对应的第一样本路口连接边预测掩膜图，将所述第一样本路口连接边预测掩膜图作为所述第二掩膜分支对应的初始样本解构元素预测信息；将所述初始样本查询特征和所述第二样本图像处理特征输入所述第三掩膜分支，由所述第三掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理，得到与所述非路口连接边元素相关联的样本非路口连接边元素特征，基于所述样本非路口连接边元素特征和所述第三掩膜分支所提供的掩膜特征，输出所述非路口连接边元素对应的第一样本非路口连接边预测掩膜图，将所述第一样本非路口连接边预测掩膜图作为所述第三掩膜分支对应的初始样本解构元素预测信息；将所述初始样本查询特征和所述第二样本图像处理特征输入所述第四掩膜分支，由所述第四掩膜分支对所述初始样本查询特征和所述第二样本图像处理特征进行图像解构处理，得到与所述路口路面元素相关联的样本路口路面元素特征，基于所述样本路口路面元素特征和所述第四掩膜分支所提供的掩膜特征，输出所述路口路面元素对应的第一样本路口路面预测掩膜图，将所述第一样本路口路面预测掩膜图作为所述第四掩膜分支对应的初始样本解构元素预测信息；将所述第一掩膜分支对应的初始样本解构元素预测信息、所述第二掩膜分支对应的初始样本解构元素预测信息、所述第三掩膜分支对应的初始样本解构元素预测信息，和所述第四掩膜分支对应的初始样本解构元素预测信息作为所述N个掩膜分支的N个初始样本解构元素预测信息。6.根据权利要求1所述的方法，其特征在于，所述关键特征提取组件包含特征变换解码器；所述将所述N个初始样本解构元素预测信息、所述第一样本图像处理特征和所述初始样本查询特征输入所述关键特征提取组件，由所述关键特征提取组件输出与所述初始样本查询特征相关联的目标解码样本查询特征，包括：基于所述N个初始样本解构元素预测信息、所述第一样本图像处理特征以及所述初始样本查询特征，确定用于输入所述特征变换解码器的目标样本组合输入特征；将所述目标样本组合输入特征输入所述特征变换解码器，由所述特征变换解码器对所述目标样本组合输入特征进行特征变换，基于特征变换所得到的解码特征，确定与所述初始样本查询特征相关联的目标解码样本查询特征。7.根据权利要求6所述的方法，其特征在于，所述关键特征提取组件包含像素解码器；所述像素解码器包括M1个图像采样层；所述第一样本图像处理特征包含由所述M1个图像采样层中的M2个图像采样层所采样得到的M2个上采样样本图像特征；一个图像采样层用于采
样得到一个上采样样本图像特征；M2=M1
‑
1，M1和M2均为正整数；所述基于所述N个初始样本解构元素预测信息、所述第一样本图像处理特征以及所述初始样本查询特征，确定用于输入所述特征变换解码器的目标样本组合输入特征，包括：从所述M2个上采样样本图像特征中获取第i个上采样样本图像特征；i为小于或者等于M2的正整数；在所述特征变换解码器所包含的M2个特征变换层中确定与所述第i个上采样样本图像特征相关联的第i个特征变换层；基于所述N个初始样本解构元素预测信息确定用于输入所述特征变换解码器的目标样本掩膜图像特征，并基于所述目标样本掩膜图像特征确定与所述第i个特征变换层相关联的第i个样本掩膜图像特征；在基于所述初始样本查询特征确定出第i个样本查询输入特征时，将所述第i个样本查询输入特征、所述第i个样本掩膜图像特征和所述第i个上采样样本图像特征，确定为所述特征变换解码器中的所述第i个特征变换层的目标样本组合输入特征。8.根据权利要求7所述的方法，其特征在于，所述将所述目标样本组合输入特征输入所述特征变换解码器，由所述特征变换解码器对所述目标样本组合输入特征进行特征变换，基于特征变换所得到的解码特征，确定与所述初始样本查询特征相关联的目标解码样本查询特征，包括：将所述第i个样本查询输入特征、所述第i个样本掩膜图像特征和所述第i个上采样样本图像特征输入所述特征变换解码器的所述第i个特征变换层，由所述第i个特征变换层对所述第i个样本查询输入特征、所述第i个样本掩膜图像特征和所述第i个上采样样本图像特征进行特征变换，将特征变换所得到的解码特征确定为第i+1个样本查询输入特征，并基于所述第i+1个样本查询输入特征确定与所述初始样本查询特征相关联的目标解码样本查询特征。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：基于所述第i+1个样本查询输入特征对所述初始样本查询特征进行更新处理，得到更新后的所述初始样本查询特征。10.根据权利要求1所述的方法，其特征在于，所述目标解码样本查询特征为L个，每个目标解码样本查询特征均对应一个样本路口元素掩膜预测信息以及一个样本路口属性预测信息；L为正整数；所述基于所述路口属性标注信息、所述样本路口属性预测信息、所述路口元素掩膜标注信息和所述样本路口元素掩膜预测信息，对所述初始路口识别模型进行模型训练，训练得到用于对目标路口图像进行图像解构处理的目标路口识别模型，包括：从L个目标解码样本查询特征对应的样本路口元素掩膜预测信息中确定与所述路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息，将与所述路口元素掩膜标注信息相匹配的样本路口元素掩膜预测信息对应的目标解码样本查询特征作为参考解码样本查询特征；将所述路口元素掩膜标注信息作为参考解码样本查询特征所关联的样本掩膜图标签，并将所述路口属性标注信息作为所述参考解码样本查询特征所关联的样本路口属性标签；获取背景属性标注信息，并将所述背景属性标注信息作为所述L个目标解码样本查询
特征中除所述参考解码样本查询特征以外的目标解码样本查询特征所关联的样本路口属性标签；基于所述参考解码样本查询特征对应的样本路口元素掩膜预测信息以及所关联的样本掩膜图标签确定第一损失值，并基于所述L个目标解码样本查询特征对应的样本路口属...

【专利技术属性】
技术研发人员：张译心，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：