增强现实融合场景的方法及仿真结果批量验证方法技术

本发明专利技术提供了一种增强现实融合场景的方法及仿真结果批量验证方法，可用于机动车自动驾驶系统的仿真，还可扩展应用于各类以现实环境数据为基础的自动化决策系统。该场景融合的方法包括以下步骤：S1摄像机标定：根据真实图像获得摄像机的内外参数配置；S2场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别特征进行标注；S3场景融合：将虚拟场景与真实场景进行融合。通过本发明专利技术的增强现实技术，可以快速有效的对自动驾驶算法的正确性与性能进行验证。

Augmented Reality Fusion Scene Method and Batch Verification Method of Simulation Results

【技术实现步骤摘要】
增强现实融合场景的方法及仿真结果批量验证方法
本专利技术涉及计算机科学与
中的虚拟现实融合领域、计算机三维建模领域、模式识别领域、网络应用
，特别地，涉及一种增强现实场景融合及批量验证方法。
技术介绍
虚拟现实(virtualreality)，又称虚拟实境，是伴随着计算机图形学技术与模式识别技术发展诞生的一项研究领域，其主要特点与用途是由计算机模拟真实环境中出现的视觉、听觉等信号，并通过各种传感器将这些模拟信号展示给受众，使受众产生身临其境的感觉。增强现实(augmentedreality)技术，是虚拟现实的一项现实应用，是指通过技术手段将虚拟的视觉、听觉等信号与现实环境的真实信号进行融合，生成虚拟与现实结合的场景，达到对现实场景增强的目的。随着技术的成熟，增强现实技术越来越应用于社会的方方面面。机动车自动驾驶系统是近年来工业界研究的热门领域。随着人民生活水平的提高，小轿车等交通工具成为人们主要的代步工具，而交通工具的智能化，将越来越简化出行，为大众提供更多的生活便利。通常情况下，自动驾驶系统的开发需要经历漫长的开发、测试、验证、应用过程，这一过程通常是及其复杂和反复的，如果训练自动驾驶系统所需要的大量的训练数据全部从真实环境中采集，将耗费大量的人力、财力、物力。而虚拟仿真作为一种低成本、快速迭代、可复现的测试方法，为自动驾驶系统验证提供了一种良好的替代手段。通过增强现实技术，可以快速有效的对自动驾驶算法的正确性与性能进行验证。本申请提出一种增强现实场景融合及批量验证方法，该方法不仅可以用于机动车自动驾驶系统的仿真，还可扩展应用于各类以现实环境数据为基础的自动化决策系统。另外，对于仿真融合场景的生成，还缺少高效的批量产生的方式，这影响了对自动化决策算法的验证。
技术实现思路
本专利技术的第一个方面，是提供一种增强现实场景融合方法，该方法用于自动驾驶算法的正确性与性能进行验证；所述融合方法包括下列步骤：S1摄像机标定：根据真实图像获得摄像机的内外参数配置；其中包括对摄像机模型坐标到融合图像坐标的映射；S2场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别特征进行标注；S3场景融合：将虚拟场景与真实场景进行融合。优选的，所述步骤S2场景重建包括：将二维图像坐标反推三维世界坐标，从而恢复三维场景；其中对于多幅图像的配准，首先采用SIFT算子方法提取出特征点，然后利用外极线约束剔除局外点，最后利用互相关匹配公式进行对应点计算。优选的，所述步骤3)的场景融合包括：S31初始化融合引擎：所述融合引擎包括虚拟场景管理、真实场景管理和融合计算三个模块，还包括将所述虚拟场景生成引擎生成的虚拟图像叠加到真实图像的应用软件；所述虚拟场景管理模块用于生成虚拟摄像机和虚拟目标物；S32根据所述步骤S1的摄像机标定结果，设定虚拟摄像机的参数；根据来自步骤S2的设定数据，初始化虚拟场景中需要设置的目标物；S33建立t时刻的虚拟场景环境，包括虚拟目标物及其特征；S34重建t时刻的真实场景环境，通过步骤S2)的方法获得真实目标物及其特征；S35根据步骤S33和S34的结果，生成t时刻的融合场景；所述虚拟目标物通过融合引擎生成，所述真实目标物通过计算机视觉方法从真实图像中提取，且所述虚拟目标物和真实目标物的特征相同。优选的，其中步骤S32中的所述目标物包括目标物的种类、数量、纹理，初始时刻t1的运动特征；优选的，其中所述运动特征包括目标物的坐标、朝向、运动方式。优选的，所述融合方法还包括：S36根据需要，生成融合场景的渲染图像。S37如果已是最后时刻，则退出。否则，更新虚拟场景的设定数据，设置时刻t＝t2并返回S33。本专利技术的第二方面，提供一种基于增强现实融合场景的仿真结果批量验证方法，包含如下步骤。1)对于自动化决策算法，准备若干虚拟场景，并确定虚拟场景预设定数据；2)将虚拟场景预设定数据批量保存到验证服务器；3)当所有所述虚拟场景准备完毕，在所述验证服务器上开启批量验证；所述验证服务器对每一个所述虚拟场景，依次执行下列任务：3.1)调用所述步骤1)的场景融合方法，生成融合场景；3.2)将场景融合的结果传递给自动化决策算法；3.3)由所述自动化决策算法生成决策结果；3.4)所述验证服务器评价所述决策结果，并根据所有的所述决策结果综合生成评价报告。本专利技术的专利技术点包括但不限于以下几点：本专利技术将虚拟场景与真实场景进行融合，可以为自动驾驶、无人驾驶提供数据采集用环境；其中将二维图像坐标反推三维世界坐标，从而恢复三维场景用到了互相关匹配公式进行对应点计算，提高了仿真环境的逼真度。本专利技术提供了场景融合方法及系统；其中生成t时刻的融合场景；该融合场景将虚拟目标物通过融合引擎生成，真实目标物通过计算机视觉方法从真实图像中提取，且所述虚拟目标物和真实目标物的特征相同，这保证了某些特殊场合例如对自动驾驶算法的正确性与性能进行验证的需要。本专利技术在场景融合的基础上，提供了一种仿真结果批量验证方法，该批量验证方法建立在该增强现实场景融合方法基础之上，使用了自动化决策算法。使仿真结果批量验证更加科学准确。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的限定。在附图中：图1是本专利技术的与现实场景结合的增强现实场景融合方法流程图；图2是针孔摄像机模型中不同坐标系关系示意图；图3是双目摄像机模型的外极线约束示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，本专利技术实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。实施例1实施例1所述的一种与现实场景结合的增强现实场景融合方法，用于建立与真实环境相符的虚拟场景三维模型，并将虚拟场景与真实场景融合。下面结合图1进行具体说明。该方法包含下面3个关键步骤：1)摄像机标定：根据真实图像获得摄像机的内外参数配置，以便使虚拟生成的三维场景与现实环境无缝融合。2)场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别等特征进行标注。3)场景融合：将虚拟场景与真实场景进行融合。摄像机标定是确定真实场景中摄像机内参数和外参数的过程。摄像机的内参数包括焦距、畸变因子等，外参数包括旋转矩阵和平移矩阵。摄像机标定的主要目的是保证真实场景与虚拟场景的几何一致性。无论是自动驾驶算法还是真正的人，终端用户能看到的都是二维图像，而二维图像是三维世界通过摄像机模型的映射，因此如果要保证虚拟物体与真实物体的几何一致，就必须要保证虚拟摄像机模型与真实摄像机模型的一致。摄像机标定就是为了获取真实的摄像机模型，这也是本专利技术得到场景融合的关键前提。为后续进行车辆本文档来自技高网...

【技术保护点】
1.一种与现实场景结合的增强现实场景融合方法，该方法用于自动驾驶算法的正确性与性能进行验证；所述融合方法包括以下步骤：S1.摄像机标定：根据真实图像获得摄像机的内外参数配置；其中包括对摄像机模型坐标到融合图像坐标的映射；S2.场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别特征进行标注；S3.场景融合：将虚拟场景与真实场景进行融合。

【技术特征摘要】
1.一种与现实场景结合的增强现实场景融合方法，该方法用于自动驾驶算法的正确性与性能进行验证；所述融合方法包括以下步骤：S1.摄像机标定：根据真实图像获得摄像机的内外参数配置；其中包括对摄像机模型坐标到融合图像坐标的映射；S2.场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别特征进行标注；S3.场景融合：将虚拟场景与真实场景进行融合。2.根据权利要求1所述的场景融合方法，所述步骤S1中对于所述摄像机标定中，设定物体的三维坐标是(Xw,Yw,Zw)，而所述物体在融合图像中的坐标是(u,v)；所述摄像机模型是(Xw,Yw,Zw)到(u,v)的映射；所述映射表示为：式(1)中R,t分别为旋转矩阵和平移矩阵，是摄像机外参数；式(2)中f为摄像机焦距，s为畸变因子，r是二维图像水平与垂直方向比值，(u0,v0)是摄像机光心在图像平面上的投影坐标，λ为参数。3.根据权利要求1-2中任一项所述的融合方法，所述步骤S2场景重建包括：将二维图像坐标反推三维世界坐标，从而恢复三维场景；其中对于多幅图像的配准，首先采用SIFT算子方法提取出特征点，然后利用外极线约束剔除局外点，最后利用互相关匹配公式进行对应点计算。4.根据权利要求1所述的融合方法，所述步骤3)的场景融合包括：S31.初始化融合引擎：所述融合引擎包括虚拟场景管理、真实场景管理和融合计算三个模块，还包括将所述虚拟场景生成引擎生成的虚拟图像叠加到真实图像的应用软件；所述虚拟场景管理模块用于生成虚拟摄像机和虚拟目标物；S32.根据所述步骤S1的摄像机标定结果，设定虚拟摄像机的参数；根据来自步骤S2的设定数据，初始化虚拟场景中需要设置的目标物；S33.建立t时刻的虚拟场景...

【专利技术属性】
技术研发人员：王宇舟，
申请(专利权)人：初速度苏州科技有限公司，
类型：发明
国别省市：江苏,32