基于三维重建技术的虚拟数据集开发方法、系统及存储介质技术方案

本发明专利技术公开了一种基于三维重建技术的虚拟数据集开发方法、系统及存储介质，所述方法包括以下步骤：批量建模人物模型；重建三维真实场景模型；构建虚拟数据集。本发明专利技术主要目的在于克服真实数据集的隐私问题以及采集周期长，成本高等问题，提供一种基于三维重建技术的虚拟数据集开发方法、系统及存储介质，通过开发一种结合人物建模技术以及三维场景重建技术的虚拟场景仿真平台，实现重建三维真实场景模型，批量建模人物模型和批量生成大量视角、空间位置、姿态、性别、肤色、年龄、着装风格各异的行人图像。各异的行人图像。各异的行人图像。

【技术实现步骤摘要】
基于三维重建技术的虚拟数据集开发方法、系统及存储介质


[0001]本专利技术属于图像处理的
，具体涉及一种基于三维重建技术的虚拟数据集开发方法、系统及存储介质。

技术介绍

[0002]图像处理领域的研究需要大量的图像数据集，其中的行人重识别领域需要大量的行人图像数据集来支撑进行研究。目前的行人图像数据集为真实行人图像数据集，包括Market1501、DukeMTMC
‑
reID、MSMT17、SYSU
‑
MM01等，其中Market1501采集于夏季国内校园，行人多短袖，色彩较鲜明，DukeMTMC
‑
reID采集于冬季国外校园，行人多厚重冬装，色彩相对暗沉。但是由于真实行人数据集会涉及到隐私问题(如行人图像中会包含行人的面部信息，衣着信息等)，导致很多真实数据集下架不可用，阻碍行人重识别的研究。
[0003]真实行人数据集的采集首先需要拍摄设备的购买以及租赁，拍摄环境的准备，招聘志愿者参与数据集的拍摄，以及采集的行人图像的处理工作。除了真实行人的隐私问题，采集真实行人数据集尚存在很多问题。一个规模较大的行人数据集的采集需要大量的志愿者作为行人参与到数据集的拍摄，耗费了大量的人力。为了得到高质量的行人图像，需要购买昂贵的拍摄设备，成本较高。同时为了得到不同场景和不同光照条件等下的行人图像，需要拍摄环境的准备。真实行人数据集的采集工作至少需要两到三个月的拍摄周期，同时还需要大量的人力、物力成本。

技术实现思路

[0004]本专利技术的主要目的在于克服真实数据集的隐私问题以及采集周期长，成本高等问题，提供一种基于三维重建技术的虚拟数据集开发方法、系统及存储介质，通过开发一种结合人物建模技术以及三维场景重建技术的虚拟场景仿真平台，实现重建三维真实场景模型，批量建模人物模型和批量生成大量视角、空间位置、姿态、性别、肤色、年龄、着装风格各异的行人图像。
[0005]为了达到上述目的，本专利技术采用以下技术方案：
[0006]本专利技术一方面提供了一种基于三维重建技术的虚拟数据集开发方法，包括以下步骤：
[0007]批量建模人物模型，所述人物模型包括肤色、身高、体重、性别及着装；
[0008]重建三维真实场景模型，利用无人机拍摄采集真实场景多视角全覆盖RGB图像，从多张多视角2D图像中推算3D信息，实现三维真实场景模型的重建；
[0009]构建虚拟数据集，基于人物模型和三维真实场景模型进行虚拟场景仿真平台仿真，在场景中的不同位置标定摄像机，采集不同摄像机角度，同一行人不同角度、不同动作的图像，得到虚拟数据集。
[0010]优选的，所述批量建模人物模型的过程具体为：
[0011]通过分析轻量型人物建模软件，调整人物的肤色、身高、体重、性别以及衣物，快速
进行人物建模，实现自动批量建模；
[0012]所述自动批量建模过程中，设定产生男性模型和女性模型的可能性相等，肤色设置为亚洲肤色，年龄平均分布在[18,60]之间，体重均匀分布在系统设置的体重范围内，身高的分布遵循高斯分布N(μ,σ)，根据性别选取人物模型对应的发型和衣物；
[0013]为人物模型添加人物骨架动画，并按照动作的划分切分动画，所述人物骨架动画包括跑、跳或走的动作。
[0014]优选的，所述重建三维真实场景模型的过程具体为：
[0015]对无人机检测系统的摄像头进行标定，确定世界坐标系中某一点与像素坐标系中该点的坐标对应关系；
[0016]利用无人机检测系统对现实场景进行环绕拍摄，获得多视角全覆盖RGB图像；
[0017]利用三维重建算法从所述多视角全覆盖RGB图像中提取并匹配特征点，恢复图像方位信息，根据射影几何计算特征点的空间三维坐标，实现三维真实场景模型的重建。
[0018]优选的，所述实现三维真实场景模型的重建的过程具体为：
[0019]使用尺度不变特征变换法提取任意两张图像中的特征点并进行匹配，确定图像之间的位置关系，计算图像方位信息；
[0020]使用光束平差法恢复特征点的空间三维坐标；
[0021]通过插值算法加密特征点组成的点云；
[0022]将所述点云网格化，生成并贴上纹理，得到三维真实场景模型。
[0023]优选的，构建虚拟数据集的过程具体为：
[0024]模拟真实场景中摄像机的位置，在重建的三维真实场景模型中添加摄像机；
[0025]实时加载人物模型；
[0026]切换仿真过程中摄像机观察视角；
[0027]设计人物模型状态转换机，并实现人物动作的切换；
[0028]改变人物模型在场景中的位置和角度，实现人物模型的移动及旋转，用于收集同一摄像机视角下同一行人不同角度的图像；
[0029]人物模型图像的采集，具体为：将每个摄像机视角的图像保存在一个单独的文件夹中，根据预先设置的时间间隔保存当前摄像机视角下的图像到对应文件夹中。
[0030]优选的，所述实时加载人物模型的过程具体为：
[0031]将所有的人物模型存储在Resources文件夹中，依次调用每一个人物模型，设置每个人物模型在场景中显示的时间，显示时间结束后调用下一个人物模型。
[0032]优选的，所述切换仿真过程中摄像机观察视角过程具体为：
[0033]根据真实场景中监控摄像头的位置或真实数据集的拍摄角度在三维真实场景模型中添加多个摄像机，通过键盘的控制实现摄像机视角的切换。
[0034]优选的，所述设计人物模型状态转换机，并实现人物动作的切换具体为：
[0035]为人物模型设计不同的状态，包括人物的动作；为人物模型添加状态机控制器以及状态控制参数，实现人物模型状态的切换；所述状态控制参数用于表示从一种状态切换到另一种状态的条件。
[0036]本专利技术另一方面提供了一种基于三维重建技术的虚拟数据集开发系统，应用于所述的基于三维重建技术的虚拟数据集开发方法，包括批量建模模块、重建场景模块以及构
建虚拟数据集模块；
[0037]所述批量建模模块用于批量建模人物模型，通过分析轻量型人物建模软件，所述人物模型包括肤色、身高、体重、性别及着装；
[0038]所述重建场景模块用于重建三维真实场景模型，利用无人机拍摄采集真实场景多视角全覆盖RGB图像，从多张多视角2D图像中推算3D信息，实现三维真实场景模型的重建；
[0039]所述构建虚拟数据集模块用于构建虚拟数据集，基于人物模型和三维真实场景模型进行虚拟场景仿真平台仿真，在场景中的不同位置标定摄像机，采集不同摄像机角度，同一行人不同角度、不同动作的图像，得到虚拟数据集。
[0040]本专利技术的又一方面提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于三维重建技术的虚拟数据集开发方法。
[0041]本专利技术与现有技术相比，具有如下优点和有益效果：
[0042](1)本专利技术采用批量建模人物模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维重建技术的虚拟数据集开发方法，其特征在于，包括以下步骤：批量建模人物模型，所述人物模型包括肤色、身高、体重、性别及着装；重建三维真实场景模型，利用无人机拍摄采集真实场景多视角全覆盖RGB图像，从多张多视角2D图像中推算3D信息，实现三维真实场景模型的重建；构建虚拟数据集，基于人物模型和三维真实场景模型进行虚拟场景仿真平台仿真，在场景中的不同位置标定摄像机，采集不同摄像机角度，同一行人不同角度、不同动作的图像，得到虚拟数据集。2.根据权利要求1所述结合基于三维重建技术的虚拟数据集开发方法，其特征在于，所述批量建模人物模型的过程具体为：通过分析轻量型人物建模软件，调整人物的肤色、身高、体重、性别以及衣物，快速进行人物建模，实现自动批量建模；所述自动批量建模过程中，设定产生男性模型和女性模型的可能性相等，肤色设置为亚洲肤色，年龄平均分布在[18,60]之间，体重均匀分布在系统设置的体重范围内，身高的分布遵循高斯分布N(μ,σ)，根据性别选取人物模型对应的发型和衣物；为人物模型添加人物骨架动画，并按照动作的划分切分动画，所述人物骨架动画包括跑、跳或走的动作。3.根据权利要求1所述的基于三维重建技术的虚拟数据集开发方法，其特征在于，所述重建三维真实场景模型的过程具体为：对无人机检测系统的摄像头进行标定，确定世界坐标系中某一点与像素坐标系中该点的坐标对应关系；利用无人机检测系统对现实场景进行环绕拍摄，获得多视角全覆盖RGB图像；利用三维重建算法从所述多视角全覆盖RGB图像中提取并匹配特征点，恢复图像方位信息，根据射影几何计算特征点的空间三维坐标，实现三维真实场景模型的重建。4.根据权利要求3所述的基于三维重建技术的虚拟数据集开发方法，其特征在于，所述实现三维真实场景模型的重建的过程具体为：使用尺度不变特征变换法提取任意两张图像中的特征点并进行匹配，确定图像之间的位置关系，计算图像方位信息；使用光束平差法恢复特征点的空间三维坐标；通过插值算法加密特征点组成的点云；将所述点云网格化，生成并贴上纹理，得到三维真实场景模型。5.根据权利要求1所述的基于三维重建技术的虚拟数据集开发方法，其特征在于，构建虚拟数据集的过程具体为：模拟真实场景中摄像机的位置，在重建的三维真实场景模型中添加摄像机；实时加载人物模型；切换仿真过程中摄像机观察...

【专利技术属性】
技术研发人员：刘芳，郑伟诗，邝嘉健，关杰鸿，张青，
申请(专利权)人：中山大学，
类型：发明
国别省市：