本申请实施例提供一种图像数据的生成方法、装置以及电子设备。生成方法包括：获取通过摄像装置拍摄的包含前景图像和背景图像的第1图像，背景图像中包含多个人工标记，前景图像中的物体在背景图像中的投影位于多个人工标记所包围的区域中；根据第1图像计算该物体相对于摄像装置的空间姿态；根据人工标记与背景图像的空间关系，将目标图像的各像素映射到背景图像中，生成第2图像；利用物体的三维模型以及该空间姿态生成掩膜图像；以及根据第2图像和掩膜图像合成第3图像。由此，利用多个人工标记对需要拍摄的物体的背景进行标记，可以利用目标图像替换拍摄图像中的物体的背景图像，从而可以以较低成本合成大量的与实际使用场景接近的图像数据。接近的图像数据。接近的图像数据。
【技术实现步骤摘要】
图像数据的生成方法、装置以及电子设备
[0001]本申请涉及图像数据生成领域，尤其涉及一种图像数据的生成方法、装置以及电子设备。
技术介绍
[0002]在工业生产中，使用机械臂取放物体被广泛使用在生产线中。在使用机械臂拿取物体时，为了快速和精准地抓取物体，物体在生产现场的空间姿态信息尤为重要，因此，需要对物体的空间姿态进行标注。
[0003]随着机器学习技术的发展，通常使用深度学习技术对AI(Artificial Intelligence，人工智能)模型进行训练，然后将AI模型应用于机械臂，由此使机械臂能够精确地抓取物体。而为了使AI模型具有泛化性，在对AI模型进行训练时，需要使用大量的不同场景下的图像数据。
[0004]应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的
技术介绍
部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
技术实现思路
[0005]专利技术人发现，现有技术中对模型进行训练的图像数据分为“真数据”和“假数据”，“真数据”通常为实际拍摄的图像数据，但由于需要大量的图像数据，因此，获取“真数据”耗时耗力，作业成本较高，并且，在特定场景下训练出的模型，在更换场景后模型的精度会下降，即模型的泛化性不高；“假数据”通常为通过图像合成技术生成的图像数据，但现有的图像合成方法仅涉及对二维图像进行合成，并未涉及在包括三维物体的图像中改变物体的背景的技术。
[0006]为了解决上述问题中的至少一个或其他类似的问题，本申请实施例提供一种图像数据的生成方法以及装置。
[0007]根据本申请实施例的第一方面，提供一种图像数据的生成方法，其中，所述生成方法包括：获取通过摄像装置拍摄的包含前景图像和背景图像的第1图像，其中，所述背景图像中包含多个人工标记，所述前景图像中的物体在所述背景图像中的投影位于所述多个人工标记所包围的区域中；根据所述第1图像计算所述前景图像中的物体相对于所述摄像装置的空间姿态；根据所述多个人工标记与所述背景图像的空间关系，将目标图像的各像素映射到所述背景图像中以生成第2图像；利用所述前景图像中的所述物体的三维模型以及所述物体相对于所述摄像装置的空间姿态生成与所述第1图像对应的掩膜图像；以及根据所述第2图像和所述掩膜图像合成第3图像。
[0008]在至少一个实施例中，所述根据所述第1图像计算所述前景图像中的所述物体相对于所述摄像装置的空间姿态，包括：根据所述第1图像计算所述摄像装置的坐标系相对于所述多个人工标记中的任意一个人工标记的坐标系的第1空间关系；根据所述第1空间关系
和所述前景图像中的所述物体相对于所述多个人工标记的第2空间关系计算所述物体相对于所述摄像装置的空间姿态。
[0009]在至少一个实施例中，所述生成方法还包括：根据所述第1图像计算所述前景图像中的所述物体与所述多个人工标记中的任意一个人工标记的坐标系的第2空间关系，根据所述第1空间关系和所述第2空间关系计算所述空间姿态。
[0010]在至少一个实施例中，所述背景图像中包括至少4个具有不同识别码的人工标记，所述至少4个人工标记分别位于所述背景图像中的至少4个不同位置。
[0011]在至少一个实施例中，所述将目标图像的各像素映射到所述背景图像中以生成所述第2图像，包括：根据所述多个人工标记在所述背景图像的坐标系中的位置信息计算从所述背景图像到所述目标图像的映射矩阵，根据公式(1)生成第2图像，
[0012][0013]其中，为所述背景图像中的像素点，为所述目标图像的像素点，H为所述映射矩阵。
[0014]根据本申请实施例的第二方面，提供一种图像数据的生成装置，其中，所述生成装置包括：图像获取单元，其获取通过摄像装置拍摄的包含所述前景图像和所述背景图像的第1图像，其中，所述背景图像中包含多个人工标记，所述前景图像中的物体在所述背景图像中的投影位于所述多个人工标记所包围的区域中；第一计算单元，其根据所述第1图像计算所述前景图像中的物体相对于所述摄像装置的空间姿态；映射单元，其根据所述多个人工标记与所述背景图像的空间关系，将目标图像的各像素映射到所述背景图像中，生成第2图像；掩膜生成单元，其利用所述前景图像中的所述物体的三维模型以及所述物体相对于所述摄像装置的空间姿态生成与所述第1图像对应的掩膜图像；以及合成单元，其根据所述第2图像和所述掩膜图像合成第3图像。
[0015]在至少一个实施例中，所述第一计算单元包括：第1空间关系计算单元，其根据所述第1图像计算所述摄像装置的坐标系相对于所述多个人工标记中的任意一个人工标记的坐标系的第1空间关系；以及空间姿态计算单元，其根据所述第1空间关系和所述前景图像中的所述物体相对于所述多个人工标记的第2空间关系计算所述物体相对于所述摄像装置的空间姿态。
[0016]在至少一个实施例中，所述第一计算单元还包括：第2空间关系计算单元，其根据所述第1图像计算所述前景图像中的所述物体与所述多个人工标记中的任意一个人工标记的坐标系的第2空间关系，所述空间姿态计算单元根据由所述第1空间关系计算单元计算的所述第1空间关系和由所述第2空间关系计算单元计算的所述第2空间关系计算所述空间姿态。
[0017]在至少一个实施例中，所述背景图像中包括至少4个具有不同识别码的人工标记，所述至少4个人工标记分别位于所述背景图像中的至少4个不同位置。
[0018]在至少一个实施例中，所述映射单元包括：映射矩阵计算单元，其根据所述多个人工标记在所述背景图像的坐标系中的位置信息计算从所述背景图像到所述目标图像的映
射矩阵；以及第2图像生成单元，其根据公式(1)生成第2图像，
[0019][0020]其中，为所述背景图像中的像素点，为所述目标图像的像素点，H为所述映射矩阵。
[0021]根据本申请实施例的第三方面，提供一种电子设备，其中，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置为执行所述计算机程序而实现本申请实施例的第一方面所述的图像数据的生成方法。
[0022]本申请实施例的有益效果之一在于：利用多个人工标记对需要拍摄的物体的背景进行标记，可以利用目标图像替换拍摄图像中的物体的背景图像，从而可以以较低的作业成本合成大量的与实际使用场景接近的图像数据。
[0023]参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的条款的范围内，本申请的实施方式包括许多改变、修改和等同。
[0024]针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
[0025]应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像数据的生成方法，其特征在于，所述生成方法包括：获取通过摄像装置拍摄的包含前景图像和背景图像的第1图像，其中，所述背景图像中包含多个人工标记，所述前景图像中的物体在所述背景图像中的投影位于所述多个人工标记所包围的区域中；根据所述第1图像计算所述前景图像中的所述物体相对于所述摄像装置的空间姿态；根据所述多个人工标记与所述背景图像的空间关系，将目标图像的各像素映射到所述背景图像中以生成第2图像；利用所述前景图像中的所述物体的三维模型以及所述物体相对于所述摄像装置的空间姿态生成与所述第1图像对应的掩膜图像；以及根据所述第2图像和所述掩膜图像合成第3图像。2.根据权利要求1所述的生成方法，其中，所述根据所述第1图像计算所述前景图像中的所述物体相对于所述摄像装置的空间姿态，包括：根据所述第1图像计算所述摄像装置的坐标系相对于所述多个人工标记中的任意一个人工标记的坐标系的第1空间关系；根据所述第1空间关系和所述前景图像中的所述物体相对于所述多个人工标记的第2空间关系计算所述物体相对于所述摄像装置的空间姿态。3.根据权利要求2所述的生成方法，其中，所述生成方法还包括：根据所述第1图像计算所述前景图像中的所述物体与所述多个人工标记中的任意一个人工标记的坐标系的第2空间关系，根据所述第1空间关系和所述第2空间关系计算所述空间姿态。4.根据权利要求1所述的生成方法，其中所述背景图像中包括至少4个具有不同识别码的人工标记，所述至少4个人工标记分别位于所述背景图像中的至少4个不同位置。5.根据权利要求1所述的生成方法，其中，所述将目标图像的各像素映射到所述背景图像中以生成所述第2图像，包括：根据所述多个人工标记在所述背景图像的坐标系中的位置信息，计算从所述背景图像到所述目标图像的映射矩阵，根据公式(1)生成第2图像，其中，为所述背景图像中的像素点，为所述目标图像的像素点，H为所述映射矩阵。6.一种图像数据的生成装置，其特征在于，所述生成装置包括：图像获取单元，其获取通过摄像装置拍摄的包含所述前景图像和...
【专利技术属性】
技术研发人员：蒋剑俊，郭贤捷，关鹏，
申请(专利权)人：欧姆龙上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。