堆叠场景下合成图像的方法及系统、存储介质、终端设备技术方案

本申请提供一种堆叠场景下合成图像的方法及系统、存储介质、终端设备。本申请通过OpenGL和bullet物理引擎，在图片的合成过程中充分考虑到物体间的堆叠关系，模拟真实情况下零件的堆叠位姿，快速构建用于深度学习的像素级标注图像，极大的减少了手工标注图像的工作量，且可以通过更改相应参数来改变生成图像数据集的规模，单幅图像所包含零件的个数，物体遮蔽率的阈值等，使堆叠场景下合成图像数据具有极强的拓展性。

Method, system, storage medium and terminal equipment of image synthesis in stacking scene

【技术实现步骤摘要】
堆叠场景下合成图像的方法及系统、存储介质、终端设备
本申请涉及图像合成领域，具体涉及一种堆叠场景下合成图像的方法及系统、存储介质、终端设备。
技术介绍
随着计算机计算能力的不断提高，各种深度学习模型的应用越来越广泛。用于图像处理的深度学习模型是具有重要作用的深度学习模型之一，且用于图像处理的深度学习模型具有非常重要的地位。在训练这些深度学习模型时，需要采集大量的图像样本，即对目标物体进行各种角度、位置地拍摄，进而采集大量图像，其中，目标物体即为实际需要检测的物体，例如，机械臂需要抓取的物体、车辆的车牌等。而在这些图像中，需要标注出目标物体的位置，标注后的图像作为图像样本，用于训练深度学习模型。标注目标物体位置的方式一般为人工标注，即在采集的图像中，通过人眼确定目标物体的位置，进而进行标注，获得图像本。可见，这种方式是非常浪费人力和时间的，标注效率很低。因此，本申请提出一种堆叠场景下合成图像的方法及系统、存储介质、终端设备，以解决上述问题。申请内容本申请实施例提供一种堆叠场景下合成图像的方法，包括：建立模型文件；通过OpenGL导入所述模型文件至三维仿真场景；通过bullet物理引擎在所述三维仿真场景获取堆叠场景；对所述模型文件的模型分配位姿信息；加载虚拟相机至所述三维仿真场景；以及绘制图像。在一些实施例中，在建立模型文件的步骤中，包括通过UV映射对所述模型进行贴图，以使所述模型的表面获得纹理。在一些实施例中，在通过OpenGL导入所述模型文件至三维仿真场景的步骤中，包括通过OpenGL导入所述模型文件至三维仿真场景的世界坐标系中，通过Assipm库将所述模型文件的数据结构转化成Assipm的通用数据结构以获得通用数据，并且将所述模型文件和所述通用数据加载至所述三维仿真场景中。在一些实施例中，在通过bullet物理引擎在所述三维仿真场景获取堆叠场景的步骤中，包括在所述三维仿真场景中搭建一虚拟容器，并通过bullet物理引擎在所述虚拟容器中创建一符合物理运动规则的虚拟场景，使所述模型能够从定点依据重力落下，相互碰撞，以形成所述堆叠场景。在一些实施例中，所述位姿信息为六自由度位姿信息，所述六自由度位姿信息包括旋转矩阵R和平移向量t。在一些实施例中，在加载虚拟相机至所述三维仿真场景的步骤中，所述虚拟相机将所述模型在所述世界坐标系中的位姿信息转换为所述虚拟相机坐标系中的位姿信息。在一些实施例中，所述图像的信息包括RGB图、分割标注图以及深度图。本申请实施例提供一种堆叠场景下合成图像的系统，包括：建立模块，用于建立模型文件；导入模块，用于通过OpenGL导入所述模型文件至三维仿真场景；获取模块，用于通过bullet物理引擎在所述三维仿真场景获取堆叠场景；分配模块，用于对所述模型文件的模型分配位姿信息；加载模块，用于加载虚拟相机至所述三维仿真场景；以及绘制模块，用于绘制图像。本申请实施例提供一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述的堆叠场景下合成图像的方法。本申请实施例提供一种终端设备，其包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行上述的堆叠场景下合成图像的方法中的步骤。本申请实施例提供的堆叠场景下合成图像的方法及系统、存储介质、终端设备，通过OpenGL和bullet物理引擎，在图片的合成过程中充分考虑到物体间的堆叠关系，模拟真实情况下零件的堆叠位姿，快速构建用于深度学习的像素级标注图像，极大的减少了手工标注图像的工作量，且可以通过更改相应参数来改变生成图像数据集的规模，单幅图像所包含零件的个数，物体遮蔽率的阈值等，使堆叠场景下合成图像数据具有极强的拓展性。附图说明下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。图1为本申请实施例提供的堆叠场景下合成图像的方法的步骤流程示意图。图2为本申请实施例提供的堆叠场景下合成图像的系统的结构示意图。图3为本申请实施例提供的终端设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。在具体实施方式中，下文论述的附图以及用来描述本申请公开的原理的各实施例仅用于说明，而不应解释为限制本申请公开的范围。所属领域的技术人员将理解，本申请的原理可在任何适当布置的系统中实施。将详细说明示例性实施方式，在附图中示出了这些实施方式的实例。此外，将参考附图详细描述根据示例性实施例的终端。附图中的相同附图标号指代相同的元件。本具体实施方式中使用的术语仅用来描述特定实施方式，而并不意图显示本申请的概念。除非上下文中有明确不同的意义，否则，以单数形式使用的表达涵盖复数形式的表达。在本申请说明书中，应理解，诸如“包括”、“具有”以及“含有”等术语意图说明存在本申请说明书中揭示的特征、数字、步骤、动作或其组合的可能性，而并不意图排除可存在或可添加一个或多个其他特征、数字、步骤、动作或其组合的可能性。附图中的相同参考标号指代相同部分。参阅图1，本实施例提供一种堆叠场景下合成图像的方法，包括步骤S11-S16。步骤S11，建立模型文件。在本实施例中，通过UV映射对所述模型进行贴图，以使所述模型的表面获得纹理。具体的，在Solidworks中按照1：1的尺寸建立对象的3D模型，在一些对象边缘形成1mm的倒角，以贴合真实场景中的光照结果，之后导出.obj文件供后期处理。若对象表面存在纹理，则需对模型进行进一步贴图。在3DSMAX软件中导入模型文件，通过UV映射的手段在材质渲染中选择位图来应用贴图。贴图的选择有两种思路，一是在图片库中找到相似金属材质的贴图，或是直接拍摄实际采购的零件的外观，得到贴图。贴图渲染完毕后，导出标准的3D模型文件格式(.obj)、材质库文件(.mtl)以及对应的贴图文件(.tga)。这三个文件包含了自动生成的所有一一对应的顶点坐标、顶点法线以及纹理坐标、模型数据以及材质信息，像是模型颜色、漫反射贴图和镜面光贴图，从而确保后期导入场景不丢失数据信息。步骤S12，通过OpenGL导入所述模型文件至三维仿真场景。在本实施例中，通过OpenGL导入所述模型文件至三维仿真场景的世界坐标系中，通过Assipm库将所述模型文件的数据结构转化成Assipm的通用数据结构以本文档来自技高网...

【技术保护点】
1.一种堆叠场景下合成图像的方法，其特征在于，包括：/n建立模型文件；/n通过OpenGL导入所述模型文件至三维仿真场景；/n通过bullet物理引擎在所述三维仿真场景获取堆叠场景；/n对所述模型文件的模型分配位姿信息；/n加载虚拟相机至所述三维仿真场景；以及/n绘制图像。/n

【技术特征摘要】
1.一种堆叠场景下合成图像的方法，其特征在于，包括：
建立模型文件；
通过OpenGL导入所述模型文件至三维仿真场景；
通过bullet物理引擎在所述三维仿真场景获取堆叠场景；
对所述模型文件的模型分配位姿信息；
加载虚拟相机至所述三维仿真场景；以及
绘制图像。


2.如权利要求1所述的构建方法，其特征在于，在建立模型文件的步骤中，包括通过UV映射对所述模型进行贴图，以使所述模型的表面获得纹理。


3.如权利要求1所述的构建方法，其特征在于，在通过OpenGL导入所述模型文件至三维仿真场景的步骤中，包括通过OpenGL导入所述模型文件至三维仿真场景的世界坐标系中，通过Assipm库将所述模型文件的数据结构转化成Assipm的通用数据结构以获得通用数据，并且将所述模型文件和所述通用数据加载至所述三维仿真场景中。


4.如权利要求1所述的构建方法，其特征在于，在通过bullet物理引擎在所述三维仿真场景获取堆叠场景的步骤中，包括在所述三维仿真场景中搭建一虚拟容器，并通过bullet物理引擎在所述虚拟容器中创建一符合物理运动规则的虚拟场景，使所述模型能够从定点依据重力落下，相互碰撞，以形成所述堆叠场景。


5.如权利要求1所述的构建方法，其特征在于，所述...

【专利技术属性】
技术研发人员：易建军，张雅君，谷彦颉，张佳豪，田杰，王晓蕾，盛涛，郑金华，
申请(专利权)人：华东理工大学，上海复合材料科技有限公司，
类型：发明
国别省市：上海;31