一种场景处理方法、装置、系统及相关设备制造方法及图纸

本申请实施例公开了一种场景处理方法、装置、系统及相关设备，该方法包括：获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；获取与所述第一车外场景对应的第一AR图像；融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；使能显示屏显示所述第二场景。采用本申请实施例可以更加高效、便捷地融合现实信息与虚拟信息，从而得到直观的AR效果。

【技术实现步骤摘要】
【国外来华专利技术】一种场景处理方法、装置、系统及相关设备
本申请实施例涉及计算机
，尤其涉及一种场景处理方法、装置、系统及相关设备。
技术介绍
抬头显示器(headupdisplay，HUD)是一种将图像投射到驾驶员前方视野中的现实装置。相比于传统仪表和中控屏幕，驾驶员在观察HUD图像时，无需低头，避免了人眼焦距在图像和路面之间的来回切换，减少了危机反应的时间，提高了驾驶安全性。而近年来提出的增强现实抬头显示器(augmentedrealityheadupdisplay，AR-HUD)，则可以进一步将HUD投射的图像与真实路面信息融合起来，实现增强现实(augmentedreality，AR)导航和AR预警等各类功能，大大增强驾驶员对路面信息的获取，保证驾驶的安全性和舒适性。然而，目前针对HUD的成像效果研究多集中于光学分析，若想要对利用车载HUD实现的AR增强现实功能(例如AR地图、AR导航和兴趣点(pointofinterest，POI)显示等)进行分析测试，则往往需要在HUD安装标定之后，才能观测到实际的AR投影效果。因此，目前为了验证HUD的AR成像效果，不断优化AR功能，大多采取实车测试的方法，也即将装载有AR-HUD的车辆驾驶到现实环境中进行测试，需要耗费大量的时间资源以及人力物力，成本高，效率低。另外，由于现实中的场景时时刻刻在变化，导致大量测试场景无法复现，继而使得测试结果可靠性低，从而影响AR-HUD中涉及的一系列AR算法的开发和测试，无法有效保证用户的使用体验。因此，如何高效、便捷地融合现实信息与虚拟信息，从而得到直观的AR效果是亟待解决的问题。
技术实现思路
本申请实施例提供一种场景处理方法、装置、系统及相关设备，可以高效、便捷地融合现实信息与虚拟信息，得到直观的AR效果。本申请实施例提供的场景处理方法可以由电子装置等执行。电子装置是指能够被抽象为计算机系统的设备，其中，支持场景处理功能的电子装置，也可称为场景处理装置。场景处理装置可以是该电子装置的整机，例如：智能手机、平板电脑、笔记本电脑、台式电脑、车机、车载电脑或服务器等；也可以是由多个整机构成的车载系统/装置；还可以是该电子装置中的部分器件，例如：场景处理功能相关的芯片，如系统芯片或场景处理芯片其中，系统芯片也称为片上系统，或称为SoC芯片。具体地，场景处理装置可以是诸如智能车辆中车机、车载电脑等这样的终端装置，也可以是能够被设置在智能终端的计算机系统或环视系统中的系统芯片或场景处理芯片。此外，本申请实施例提供的场景处理方法可以应用于如下场景：车载仿真系统、车载游戏、终端云看车、直播和车领域测试等等多种场景。第一方面，本申请实施例提供了一种场景处理方法，该方法包括：获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；获取与所述第一车外场景对应的第一AR图像；融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；使能显示屏显示所述第二场景。通过第一方面提供的方法，本申请实施例可以基于软件的方法，通过现有的计算设备(比如笔记本电脑和台式电脑等)构建大量二维、或三维的仿真场景(每个仿真场景均可包括如车辆、道路或行人等场景元素)；然后，基于上述仿真场景以及开发的模型，生成与上述仿真场景对应的AR图像，并将上述仿真场景与对应的AR图像进行融合，从而快速、高效得到大量包括现实信息和虚拟信息的增强现实场景。其中，每个AR图像均可包括AR导航指引箭头、AR预警等AR图标。如此，相较于现有技术，本申请实施例可以不依赖于现实场景以及HUD硬件设备，而是通过软件的方法快速构建大量可复现的场景，覆盖性广、重用性高。如此，不仅可以快速、高效地展示各类增强现实场景，后续还可以基于本申请实施例仿真得到的各类增强现实场景下直观的AR效果，不断优化和改进HUD的AR功能，保证用户的使用体验。在一种可能的实现方式中，所述获取与所述第一车外场景对应的第一AR图像，包括：根据所述第一车外场景与预设模型，获取与所述第一车外场景对应的所述第一AR图像；其中，所述第一AR图像包括一个或多个AR图标。在本申请实施例中，可以通过预先训练得到的模型生成与仿真场景相匹配的AR图像，以得到增强现实中的虚拟信息。例如，该场景包括一个十字路口，基于导航信息，当前十字路口应该右转，则可生成相应的右转指引箭头，又例如，该场景为文化景点，则可以生成对应的景点指示信息和景点介绍等等。在一种可能的实现方式中，所述预设模型为神经网络模型，所述神经网络模型是根据由多个场景、多个AR图标以及所述多个场景和所述多个AR图标的不同匹配度训练得到的。在本申请实施例中，可以通过多个场景、多个AR图标以及所述多个场景和所述多个AR图标的不同匹配度预先对神经网络模型进行训练，从而后续可以基于该神经网络模型对该大量仿真场景进行识别，并生成与之对应的AR图像，以快速、高效地得到大量增强现实场景。在一种可能的实现方式中，所述融合所述第一车外场景和所述第一AR图像，以获得第二场景，包括：基于预设的抬头显示器HUD参数集合，在所述第一车外场景中确定对应的HUD虚像面；所述HUD虚像面为所述第一车外场景中对应的一个区域；将所述第一AR图像渲染至所述HUD虚像面中，以获得第二场景。在本申请实施例中，可以基于软件的方法，通过现有的计算设备对车载HUD硬件设备进行仿真，从而在该大量场景中确定对应的虚像面，该虚像面可以为场景中的一个区域。可以理解的是，虚像面即为HUD投射出的用于显示AR图像的面。然后，通过预先训练得到的模型生成与场景相匹配的AR图像，并将AR图像渲染至该虚像面中。如此，本申请实施例可以通过软件的方法，仿真模拟各类场景下HUD投射出的AR图像，完成对AR功能(该功能例如包括上述用于识别场景并生成对应AR图像的预设模型)的测试，以及。大大节省实车测试所需消耗的时间资源以及人力物力，提高AR功能的测试效率，进一步保证HUD的用户使用体验，提升用户的驾驶舒适性和安全性。在一种可能的实现方式中，所述HUD参数集合包括挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸中的至少一种参数。在本申请实施例中，可以基于HUD的相关硬件参数，例如挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸等等，通过软件的方法对HUD进行仿真，以在大量的场景中构建对应的HUD虚像面，为后续的AR功能测试提供支持。如此，本申请实施例可以不依赖于硬件设备，从而节省了测试人员外出进行实车测试的人力和物力，并且通过软件仿真HUD的方法可以更加高效和低成本的对HUD中的相关AR功能等进行覆盖率更高的测试，有效的支持AR功能的开发和测试工作，大大提高了测试效率和测试结果的可靠性，从而可以对HUD中一系列软件算法进行更好的改善优化，进一步保证用户的使用体验，提升用户的驾驶舒适性和安全性。在一种可能的实现方式中，所述获取第一本文档来自技高网...

【技术保护点】
1.一种场景处理方法，其特征在于，包括：/n获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；/n获取与所述第一车外场景对应的第一增强现实AR图像；/n融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；/n使能显示屏显示所述第二场景。/n

【技术特征摘要】
【国外来华专利技术】1.一种场景处理方法，其特征在于，包括：
获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；
获取与所述第一车外场景对应的第一增强现实AR图像；
融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；
使能显示屏显示所述第二场景。


2.根据权利要求1所述的方法，其特征在于，所述获取与所述第一车外场景对应的第一AR图像，包括：
根据所述第一车外场景与预设模型，获取与所述第一车外场景对应的所述第一AR图像；其中，所述第一AR图像包括一个或多个AR图标。


3.根据权利要求2所述的方法，其特征在于，所述预设模型为神经网络模型，所述神经网络模型是根据由多个场景、多个AR图标以及所述多个场景和所述多个AR图标的不同匹配度训练得到的。


4.根据权利要求2和3任意一项所述的方法，其特征在于，所述融合所述第一车外场景和所述第一AR图像，以获得第二场景，包括：
基于预设的抬头显示器HUD参数集合，在所述第一车外场景中确定对应的HUD虚像面；所述HUD虚像面为所述第一车外场景中对应的一个区域；
将所述第一AR图像渲染至所述HUD虚像面中，以获得第二场景。


5.根据权利要求4所述的方法，其特征在于，所述HUD参数集合包括挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸中的至少一种参数。


6.根据权利要求1-5任意一项所述的方法，其特征在于，所述获取第一车外场景，包括：
获取第一传感器采集的数据；所述第一传感器为车载传感器；所述第一传感器采集的数据为在目标车辆行驶过程中针对所述目标车辆的周围环境采集的数据，包括图像数据、点云数据、温度数据和湿度数据中的至少一种；所述第一传感器包括摄像头、激光雷达、毫米波雷达、温度传感器和湿度传感器中的至少一种；
基于所述第一传感器采集的数据，构建所述第一车外场景，所述第一车外场景为实景仿真场景。


7.根据权利要求1-5任意一项所述的方法，其特征在于，所述获取第一车外场景，包括：
获取第二传感器采集的数据；所述第二传感器为通过预设的仿真模拟系统构建的传感器；所述第二传感器采集的数据为通过所述预设的仿真模拟系统设置的数据，包括天气、道路、行人、车辆、植物和交通信号中的至少一种数据；
基于所述第二传感采集的数据，构建所述第一车外场景，所述第一车外场景为虚拟仿真场景。


8.根据权利要求1-7任意一项所述的方法，其特征在于，所述方法还包括：
对所述第一AR图像进行第一预处理，获取与所述第一车外场景对应的第二AR图像；所述第一预处理包括畸变处理和抖动处理中的至少一种；所述畸变处理包括径向畸变、切向畸变、虚像距增大和虚像距减小中的至少一种；所述抖动处理包括叠加预设的旋转位移量和/或抖动量；
融合所述第一车外场景和所述第二AR图像，以获得第三场景；
使能所述显示屏显示所述第三场景。


9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
对所述第二AR图像进行第二预处理，获取与所述第一车外场景对应的第三AR图像；所述第二预处理包括去畸变处理和防抖动处理中的至少一种；
融合所述第一车外场景和所述第三AR图像，以获得第四场景；
使能所述显示屏显示所述第四场景。


10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
基于所述第三场景和所述第四场景，获取所述去畸变处理和/或所述防抖动处理的处理效果，以优化相应的去畸变功能和/或防抖动功能。


11.根据权利要求2-10任意一项所述的方法，其特征在于，所述第一车外场景包括一个或多个场景元素；所述一个或多个场景元素包括天气、道路、行人、车辆、植物和交通信号中的一个或多个；所述一个或多个AR图标包括左转、右转和直行导航标识中的一个或多个；所述方法还包括：
基于所述每个第二场景中的所述一个或多个场景元素以及所述一个或多个AR图标之间的位置关系和/或逻辑关系，对所述预设模型进行相应的修正。


12.一种场景处理装置，其特征在于，包括：
第一获取单元，用于获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；
第二获取单元，用于获取与所述第一车外场景对应的第一AR图像；
融合单元，用于融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；
第一显示单元，用于使能显示屏显示所述第二场景。


13.根据权利要求12所述的装置，其特征在于，所述第二获取单元，具体用于：
根据所述第一车外场景与预设模型，获取与所述第一车外场景对应的所述第一AR图像；其中，所述第一AR图像...

【专利技术属性】
技术研发人员：彭惠东，张宇腾，于海，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44