一种虚拟场景数据标注生成方法及系统技术方案

本发明专利技术提供一种虚拟场景数据标注生成方法及系统，涉及仿真场景构建技术领域。包括：通过半自动布局物体的方式，对素材进行导入；对导入的素材进行图像数据的捕获；对导入的素材的目标物体遮挡率进行计算以及自动标注；对处理后的素材进行三维模型导出，完成基于虚幻引擎的虚拟场景数据标注生成。本发明专利技术的输出标注信息涵盖图像、标签、掩码、场景目标信息、场景图（语义化场景描述）信息、甚至可以提供场景中特定物体的三维顶点模型以及整个场景合而为一的大场景网络模型，满足较为传统且更大众的二维图像的同时，同时也可以支持更新的研究方向更广阔的需求。向更广阔的需求。向更广阔的需求。

【技术实现步骤摘要】
一种虚拟场景数据标注生成方法及系统


[0001]本专利技术涉及仿真场景构建
，尤其涉及一种虚拟场景数据标注生成方法及系统。

技术介绍

[0002]随着人工智能深度学习大网络、大模型的兴起，新技术新思路如雨后春笋般涌现，而以目前的主流学习范式中，不同功能、不同种类的网络模型对于带有多样化的、有丰富标注信息的数据集的需求有增无减。因此对于如何获取图像数据集，尤其是对于如何生成数据的高质量标注的问题，也越来越成为了一种重要的关注领域。对于通过在真实世界中采样和标注来构建的大体量数据集，如图像识别和目标检测领域的ImageNet以及目前日趋火热的自动驾驶领域的多模态数据标注的nuScenes，在各项比赛中提供给各式各样的模型进行训练，为模型展现优异的效果提供了基本支持和衡量基线。不过这类真实数据集往往也有着采样成本与采用难度高、人工标注开销大、自动标注局限于模型、常常存在有偏和错漏等问题。最近大火的AIGC，其本质为使用了如生成对抗网络GAN，扩散模型Diffusion等这些热点生成类模型进行工作，模型生成内容的流程越发偏向于自动化与智能化，已经有了从噪声生成或者从语言描述中生成二维图像的工作。虽然这类工作越发成熟和完善，但仍有一些问题存在，一方面，模型生成具有不确定性，即给定不同输入得到的输出并无规律可循，可能相差甚远，难以做到在三维上具有物理意义的可控生成；另一方面，对于特定的场景描述，模型生成无法得到较为满意的结果，只做到了简单场景下的单物体生成。
[0003]在这样的大环境大背景之下，随着人工智能发展，三维场景的构建与提出对应数据集的需求逐渐强烈，但目前仅有少数领域如SLAM方向的数据集具有对应的语义信息标注，而越来越多的生成任务以及底层任务，更需要进行场景精细化构建以及精细化三维重建。
[0004]目前对于人工智能、计算机视觉的研究，也已逐渐从图像颜色、纹理信息等等低表征维度上的信息逐步提升到高维度的物体的部分识别，包括物体的宏观类别、所处位置，到物体间关系，物体自身的属性信息。通过场景图标注可以很清晰表示场景内物体的自身属性以及物体间位置关系，而目前此类方法标注通常依赖于人工，且已有数据集中也很少有大批量准确的场景图语义标注。

技术实现思路

[0005]本专利技术提供了一种虚拟场景数据标注生成方法，不仅可以通过采用仿真平台半自动布局，对场景搭建自主可控。另一方面，可以实现在仿真环境中复现在真实场景中由于各种原因约束难以获取的困难样本以及创造并不存在的样本。
[0006]为解决上述专利技术目的，本专利技术提供的技术方案如下：一种虚拟场景数据标注生成方法，其特征在于，步骤包括：
[0007]一种虚拟场景数据标注生成方法，其特征在于，步骤包括：
[0008]S1：通过半自动布局物体的方式，对素材进行导入并对场景进行搭建；其中所述素材包括纹理图像数据、三维模型数据；
[0009]S2：在搭建好的场景中布设摄像机，通过所述摄像机进行场景与导入素材的交互；其中，所述摄像机通过自动脚本或键盘键入信息进行控制；
[0010]S3：对场景中导入的素材进行目标物体识别，控制摄像机进行目标物体的纹理图像数据的捕获；对目标物体遮挡率进行计算以及自动标注；基于所述三维模型数据，对自动标注后的目标物体进行三维模型导出，完成虚拟场景数据标注生成。
[0011]优选地，步骤S1中，通过半自动布局物体的方式，对素材进行导入并对场景进行搭建，包括：
[0012]对素材进行划分，划分种类包括：静态素材以及动态素材；
[0013]将所述静态素材从建模软件或虚幻引擎素材库中导入；
[0014]将所述动态素材通过场景编辑器进行自动布局，或对所述动态素材进行编辑规则区域，在运行中动态布局并进行场景搭建。
[0015]优选地，自动布局，包括：
[0016]在程序初始化生成场景的部分添加自动布局生成模块；对不同类型的动态素材进行规则集设定；
[0017]通过所述自动布局生成模块，根据所述规则集以及预设的布局数据，随机生成目标物体的位置；其中，所述目标物体为动态素材中的任一物体；
[0018]对程序进行参数设定；其中，所述参数设定包括：在编辑器页面设定要生成的目标物体引用、生成数目以及约束规则；
[0019]其中，所述约束规则包括：根据程序编码生成的符合行车或行走规则的约束规则；
[0020]根据设定好的程序，运行程序初始化生成场景的自动布局生成模块，进行自动布局。
[0021]优选地，步骤S3中，对场景中导入的素材进行目标物体识别，控制摄像机进行目标物体的纹理图像数据的捕获；对目标物体进行自动标注以及遮挡率计算；对自动标注后的目标物体进行三维模型导出，完成虚拟场景数据标注生成，包括：
[0022]通过所述摄像机捕获场景中RGB图像，所述RGB图像包括：语义分割图与实例分割图；根据路径追踪算法生成语义分割图与实例分割图的自动标注；
[0023]根据遮挡率算法对每个目标物体进行遮挡率计算，获得遮挡关系；根据场景中多个目标物体的坐标信息以及所述遮挡关系对目标物体间关系进行计算，获得场景图标注；
[0024]根据预先设定的导出选项，自动导出三维模型或手动选择需要导出的场景，将整个场景的大场景网格模型导出，完成虚拟场景数据标注生成。
[0025]优选地，所述通过所述摄像机捕获场景中RGB图像，所述RGB图像包括：语义分割图与实例分割图；根据路径追踪算法生成语义分割图与实例分割图的自动标注，包括：
[0026]获取程序初始化生成场景中的目标物体，通过所述摄像机对所述目标物体进行自动化捕获场景中RGB图像，或通过手动控制所述摄像机观察场景中的角色，并移动到合适角度捕获场景中RGB图像；所述RGB图像包括：语义分割图与实例分割图；
[0027]将捕获的RGB图像通过虚幻引擎API渲染到渲染目标RT中，并保存为图像文件；
[0028]基于路径追踪算法，获取所述图像文件中场景图像分辨率中的每一个像素点，根
据路径追踪算法对所述每一个像素点进行射线求交操作，将射线求交后的每一个像素点都保存为标签图像文件，生成语义分割图与实例分割图的自动标注。
[0029]优选地，基于路径追踪算法，获取所述图像文件中场景图像分辨率中的每一个像素点，根据路径追踪算法对所述每一个像素点进行射线求交操作，将射线求交后的每一个像素点都保存为标签图像文件，生成语义分割图与实例分割图的自动标注，包括：
[0030]对于目标物体的语义分割图，从所述摄像机点出发，向语义分割图中每个像素点位置进行射线求交操作；若与某一物体相交，则查看所述物体是否已分配颜色，若没有则记录所述物体以及所述物体对应的颜色，以供后续同一物体置为同一颜色；若没有与任何物体相交，则此像素点无物体，默认为黑色；将每个像素点赋值后存储为与捕获的RGB图像同样大小的标签图像文件；
[0031]对于目标物体的实例分割图，从所述摄像机点出发，向要存储的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟场景数据标注生成方法，其特征在于，步骤包括：S1：通过半自动布局物体的方式，对素材进行导入并对场景进行搭建；其中所述素材包括纹理图像数据、三维模型数据；S2：在搭建好的场景中布设摄像机，通过所述摄像机进行场景与导入素材的交互；其中，所述摄像机通过自动脚本或键盘键入信息进行控制；S3：对场景中导入的素材进行目标物体识别，控制摄像机进行目标物体的纹理图像数据的捕获；对目标物体遮挡率进行计算以及自动标注；基于所述三维模型数据，对自动标注后的目标物体进行三维模型导出，完成虚拟场景数据标注生成。2.根据权利要求1所述的方法，其特征在于，步骤S1中，通过半自动布局物体的方式，对素材进行导入并对场景进行搭建，包括：对素材进行划分，划分种类包括：静态素材以及动态素材；将所述静态素材从建模软件或虚幻引擎素材库中导入；将所述动态素材通过场景编辑器进行自动布局，或对所述动态素材进行编辑规则区域，在运行中动态布局并进行场景搭建。3.根据权利要求2所述的方法，其特征在于，所述自动布局，包括：在程序初始化生成场景的部分添加自动布局生成模块；对不同类型的动态素材进行规则集设定；通过所述自动布局生成模块，根据所述规则集以及预设的布局数据，随机生成目标物体的位置；其中，所述目标物体为动态素材中的任一物体；对程序进行参数设定；其中，所述参数设定包括：在编辑器页面设定要生成的目标物体引用、生成数目以及约束规则；其中，所述约束规则包括：根据程序编码生成的符合行车或行走规则的约束规则；根据设定好的程序，运行程序初始化生成场景的自动布局生成模块，进行自动布局。4.根据权利要求3所述的方法，其特征在于，所述步骤S3中，对场景中导入的素材进行目标物体识别，控制摄像机进行目标物体的纹理图像数据的捕获；对目标物体进行自动标注以及遮挡率计算；对自动标注后的目标物体进行三维模型导出，完成虚拟场景数据标注生成，包括：通过所述摄像机捕获场景中RGB图像，所述RGB图像包括：语义分割图与实例分割图；根据路径追踪算法生成语义分割图与实例分割图的自动标注；根据遮挡率算法对每个目标物体进行遮挡率计算，获得遮挡关系；根据场景中多个目标物体的坐标信息以及所述遮挡关系对目标物体间关系进行计算，获得场景图标注；根据预先设定的导出选项，自动导出三维模型或手动选择需要导出的场景，将整个场景的大场景网格模型导出，完成虚拟场景数据标注生成。5.根据权利要求4所述的方法，其特征在于，所述通过所述摄像机捕获场景中RGB图像，所述RGB图像包括：语义分割图与实例分割图；根据路径追踪算法生成语义分割图与实例分割图的自动标注，包括：获取程序初始化生成场景中的目标物体，通过所述摄像机对所述目标物体进行自动化捕获场景中RGB图像，或通过手动控制所述摄像机观察场景中的角色，并移动到合适角度捕获场景中RGB图像；所述RGB图像包括：语义分割图与实例分割图；
将捕获的RGB图像通过虚幻引擎API渲染到渲染目标RT中，并保存为图像文件；基于路径追踪算法，获取所述图像文件中场景图像分辨率中的每一个像素点，根据路径追踪算法对所述每一个像素点进行射线求交操作，将射线求交后的每一个像素点都保存为标签图像文件，生成语义分割图与实例分割图的自动标注。6.根据权利要求5所述的方法，其特征在于，基于路径追踪算法，获取所述图像文件中场景图像分辨率中的每一个像素点，根据路径追踪算法对所述每一个像素点进行射线求交操作，将射线求交后的每一个像素点都...

【专利技术属性】
技术研发人员：马惠敏，公维熙，梅若恒，于淏辰，胡天宇，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：