一种图像标注方法、装置、设备及存储介质、程序产品制造方法及图纸

本申请提供了一种图像标注方法、装置、设备及存储介质、程序产品；本申请实施例可以应用于云技术、人工智能、智慧交通、车载等各种场景，涉及人工智能技术；该方法包括：获取待标注图像和标注参考图像；其中，待标注图像是标注对象被遮挡的图像，标注参考图像是标注对象未被遮挡的图像；基于标注参考图像，对标注对象进行三维重建，得到标注对象的外观信息；通过待标注图像，预测出标注对象的姿态参数；基于姿态参数，将外观信息融合至待标注图像，得到信息融合图像；信息融合图像提供了标注对象被遮挡部分的外观；针对信息融合图像进行标注，得到待标注图像对应的标注信息。通过本申请，能够提高图像标注的质量。能够提高图像标注的质量。能够提高图像标注的质量。

【技术实现步骤摘要】
一种图像标注方法、装置、设备及存储介质、程序产品


[0001]本申请涉及人工智能技术，尤其涉及一种图像标注方法、装置、设备及存储介质、程序产品。

技术介绍

[0002]图像处理模型一般都是利用标注图像数据训练得到的，标注图像数据的质量和数量对图像处理模型的鲁棒性至关重要。普通的标注图像数据非常容易采集和标注，然而，图像数据中存在遮挡的频率特别高。相关技术中，针对有遮挡的图像进行标注时，会存在标注准确度低下的问题，从而导致图像标注的质量低下。

技术实现思路

[0003]本申请实施例提供一种图像标注方法、装置、设备及计算机可读存储介质、程序产品，能够提高图像标注的质量。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供一种图像标注方法，包括：
[0006]获取待标注图像和标注参考图像；其中，所述待标注图像是标注对象被遮挡的图像，所述标注参考图像是所述标注对象未被遮挡的图像；
[0007]基于所述标注参考图像，对所述标注对象进行三维重建，得到所述标注对象的外观信息；
[0008]通过所述待标注图像，预测出所述标注对象的姿态参数；
[0009]基于所述姿态参数，将所述外观信息融合至所述待标注图像，得到信息融合图像；所述信息融合图像提供了所述标注对象被遮挡部分的外观；
[0010]针对所述信息融合图像进行标注，得到所述待标注图像对应的标注信息。
[0011]本申请实施例提供一种图像标注装置，包括：
[0012]图像获取模块，用于获取待标注图像和标注参考图像；其中，所述待标注图像是标注对象被遮挡的图像，所述标注参考图像是所述标注对象未被遮挡的图像；
[0013]三维重建模块，用于基于所述标注参考图像，对所述标注对象进行三维重建，得到所述标注对象的外观信息；
[0014]姿态预测模块，用于通过所述待标注图像，预测出所述标注对象的姿态参数；
[0015]信息融合模块，用于基于所述姿态参数，将所述外观信息融合至所述待标注图像，得到信息融合图像；所述信息融合图像提供了所述标注对象被遮挡部分的外观；
[0016]图像标注模块，用于针对所述信息融合图像进行标注，得到所述待标注图像对应的标注信息。
[0017]在本申请的一些实施例中，所述信息融合模块，还用于利用所述姿态参数，对所述外观信息进行姿态调整，得到调整后的外观信息；将所述调整后的外观信息与所述待标注图像进行融合，得到所述信息融合图像。
[0018]在本申请的一些实施例中，所述三维重建模块，还用于对所述标注参考图像进行参数预测，得到三维建模参数、投影参数和纹理参数；基于所述三维建模参数、所述投影参数和所述纹理参数，构建出所述标注对象的所述外观信息。
[0019]在本申请的一些实施例中，所述三维重建模块，还用于基于所述三维建模参数，确定出所述标注对象的三维形状信息；基于所述纹理参数，针对所述标注对象生成纹理信息；依据所述投影参数，确定出用于将所述三维形状信息投影到图像空间的投影模型；对所述投影模型、所述三维形状信息和所述纹理信息进行可微分渲染，得到所述标注对象的所述外观信息。
[0020]在本申请的一些实施例中，所述三维建模参数包括：形状参数、动作参数和表情参数；所述三维重建模块，还用于依据所述形状参数、所述动作参数和所述表情参数，对形状基、动作基、和表情基进行加权融合，得到所述标注对象的关键点的第一三维坐标；基于所述第一三维坐标，构建出所述标注对象的所述三维形状信息。
[0021]在本申请的一些实施例中，所述三维建模参数包括：形状参数和表情参数；所述三维重建模块，还用于依据所述形状参数和所述表情参数，对形状基和表情基进行加权融合，得到融合信息；将所述融合信息和预设形状信息进行融合，得到所述标注对象的关键点的第二三维坐标；基于所述第二三维坐标，构建出所述标注对象的所述三维形状信息。
[0022]在本申请的一些实施例中，所述三维重建模块，还用于利用所述纹理参数预测出所述标注对象的纹理图像；针对所述纹理图像进行反射处理，得到所述标注对象的所述纹理信息。
[0023]在本申请的一些实施例中，所述投影参数包括：缩放参数和平移参数；所述三维重建模块，还用于利用所述缩放参数对预设投影模型进行缩放调整，得到调整后的模型；将所述调整后的模型与所述平移参数进行叠加，得到用于将所述三维形状信息投影到图像空间的所述投影模型。
[0024]在本申请的一些实施例中，所述三维重建模块，还用于对所述信息融合图像进行特征抽取，得到待识别特征；对所述待识别特征进行分类，得到所述待标注图像的所述标注信息。
[0025]在本申请的一些实施例中，所述三维重建模块，还用于基于图像重建模型和所述标注参考图像，对所述标注对象进行三维重建，得的所述标注对象的所述外观信息；
[0026]所述图像标注设备还包括：模型训练模块；所述模型训练模块，用于在基于图像重建模型和所述标注参考图像，对所述标注对象进行三维重建，得的所述标注对象的所述外观信息之前，获取第一训练图像和初始重建模型；其中，所述第一训练图像是训练标注对象未被遮挡的图像；利用所述初始重建模型，对所述训练标注对象进行三维重建，得到训练外观信息；基于所述训练外观信息和所述训练标注对象在所述第一训练图像中的真实外观之间的差异，对所述初始重建模型进行参数调整，直至达到训练结束条件时，得到所述图像重建模型。
[0027]在本申请的一些实施例中，所述姿态预测模块，还用于利用姿态预测模型，对所述待标注图像进行预测，得到所述标注对象的所述姿态参数；
[0028]所述模型训练模块，还用于在利用姿态预测模型，对所述待标注图像进行预测，得到所述标注对象的所述姿态参数之前，获取第二训练图像和初始预测模型；其中，所述第二
训练图像是训练标注对象被遮挡的图像；利用所述初始预测模型，预测出所述训练标注对象的训练姿态参数；从所述第二训练图像中，定位出遮挡物所在的遮挡图像区域；利用所述第二训练图像中除所述遮挡图像区域之外的其他图像区域，确定出真实姿态参数；基于所述训练姿态参数和所述真实姿态参数之间的差异，对所述初始预测模型进行参数调整，直到达到训练结束条件时，得到所述姿态预测模型。
[0029]本申请实施例提供一种图像标注设备，包括：
[0030]存储器，用于存储可执行指令；
[0031]处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像标注方法。
[0032]本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的图像标注方法。
[0033]本申请实施例提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现本申请实施例提供的图像标注方法。
[0034]本申请实施例具有以下有益效果：图像标注设备能够基于标注参考图像重建出标注对象完整的外观信息，并基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像标注方法，其特征在于，所述图像标注方法包括：获取待标注图像和标注参考图像；其中，所述待标注图像是标注对象被遮挡的图像，所述标注参考图像是所述标注对象未被遮挡的图像；基于所述标注参考图像，对所述标注对象进行三维重建，得到所述标注对象的外观信息；通过所述待标注图像，预测出所述标注对象的姿态参数；基于所述姿态参数，将所述外观信息融合至所述待标注图像，得到信息融合图像；所述信息融合图像提供了所述标注对象被遮挡部分的外观；针对所述信息融合图像进行标注，得到所述待标注图像对应的标注信息。2.根据权利要求1所述的方法，其特征在于，所述基于所述姿态参数，将所述外观信息融合至所述待标注图像，得到信息融合图像，包括：利用所述姿态参数，对所述外观信息进行姿态调整，得到调整后的外观信息；将所述调整后的外观信息与所述待标注图像进行融合，得到所述信息融合图像。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述标注参考图像，对所述标注对象进行三维重建，得到所述标注对象的外观信息，包括：对所述标注参考图像进行参数预测，得到三维建模参数、投影参数和纹理参数；基于所述三维建模参数、所述投影参数和所述纹理参数，构建出所述标注对象的所述外观信息。4.根据权利要求3所述的方法，其特征在于，所述基于所述三维建模参数、所述投影参数和所述纹理参数，构建出所述标注对象的所述外观信息，包括：基于所述三维建模参数，确定出所述标注对象的三维形状信息；基于所述纹理参数，针对所述标注对象生成纹理信息；依据所述投影参数，确定出用于将所述三维形状信息投影到图像空间的投影模型；对所述投影模型、所述三维形状信息和所述纹理信息进行可微分渲染，得到所述标注对象的所述外观信息。5.根据权利要求4所述的方法，其特征在于，所述三维建模参数包括：形状参数、动作参数和表情参数；所述基于所述三维建模参数，确定出所述标注对象的三维形状信息，包括：依据所述形状参数、所述动作参数和所述表情参数，对形状基、动作基、和表情基进行加权融合，得到所述标注对象的关键点的第一三维坐标；基于所述第一三维坐标，构建出所述标注对象的所述三维形状信息。6.根据权利要求4所述的方法，其特征在于，所述三维建模参数包括：形状参数和表情参数；所述基于所述三维建模参数，确定出所述标注对象的三维形状信息，包括：依据所述形状参数和所述表情参数，对形状基和表情基进行加权融合，得到融合信息；将所述融合信息和预设形状信息进行融合，得到所述标注对象的关键点的第二三维坐标；基于所述第二三维坐标，构建出所述标注对象的所述三维形状信息。7.根据权利要求4所述的方法，其特征在于，所述基于所述纹理参数，针对所述标注对象生成纹理信息，包括：利用所述纹理参数预测出所述标注对象的纹理图像；
针对所述纹理图像进行反射处理，得到所述标注对象的所述纹理信息。8.根据权利要求4所述的方法，其特征在于，所述投影参数包括：缩放参数和平移参数；所述依据所述投影参数，确定出用于将所述三维形状信息投影到图像空间的投影模型，包括：利用所述缩放参数对预设投影模型进行缩放调整，得到调整后的模型；将所述调整后的模型与所述平移参数进行叠加，得到用于将所述三维形状信息投...

【专利技术属性】
技术研发人员：康洋，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：