一种场景处理方法、装置、系统及相关设备制造方法及图纸

本申请实施例公开了一种场景处理方法、装置、系统及相关设备，该方法包括：获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；获取与所述第一车外场景对应的第一AR图像；融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；使能显示屏显示所述第二场景。采用本申请实施例可以更加高效、便捷地融合现实信息与虚拟信息，从而得到直观的AR效果。

【技术实现步骤摘要】
【国外来华专利技术】一种场景处理方法、装置、系统及相关设备
本申请实施例涉及计算机
，尤其涉及一种场景处理方法、装置、系统及相关设备。
技术介绍
抬头显示器(headupdisplay，HUD)是一种将图像投射到驾驶员前方视野中的现实装置。相比于传统仪表和中控屏幕，驾驶员在观察HUD图像时，无需低头，避免了人眼焦距在图像和路面之间的来回切换，减少了危机反应的时间，提高了驾驶安全性。而近年来提出的增强现实抬头显示器(augmentedrealityheadupdisplay，AR-HUD)，则可以进一步将HUD投射的图像与真实路面信息融合起来，实现增强现实(augmentedreality，AR)导航和AR预警等各类功能，大大增强驾驶员对路面信息的获取，保证驾驶的安全性和舒适性。然而，目前针对HUD的成像效果研究多集中于光学分析，若想要对利用车载HUD实现的AR增强现实功能(例如AR地图、AR导航和兴趣点(pointofinterest，POI)显示等)进行分析测试，则往往需要在HUD安装标定之后，才能观测到实际的AR投影效果。因此，目前为了验证HUD本文档来自技高网...

【技术保护点】
1.一种场景处理方法，其特征在于，包括：/n获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；/n获取与所述第一车外场景对应的第一增强现实AR图像；/n融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；/n使能显示屏显示所述第二场景。/n

【技术特征摘要】
【国外来华专利技术】1.一种场景处理方法，其特征在于，包括：
获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；
获取与所述第一车外场景对应的第一增强现实AR图像；
融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；
使能显示屏显示所述第二场景。


2.根据权利要求1所述的方法，其特征在于，所述获取与所述第一车外场景对应的第一AR图像，包括：
根据所述第一车外场景与预设模型，获取与所述第一车外场景对应的所述第一AR图像；其中，所述第一AR图像包括一个或多个AR图标。


3.根据权利要求2所述的方法，其特征在于，所述预设模型为神经网络模型，所述神经网络模型是根据由多个场景、多个AR图标以及所述多个场景和所述多个AR图标的不同匹配度训练得到的。


4.根据权利要求2和3任意一项所述的方法，其特征在于，所述融合所述第一车外场景和所述第一AR图像，以获得第二场景，包括：
基于预设的抬头显示器HUD参数集合，在所述第一车外场景中确定对应的HUD虚像面；所述HUD虚像面为所述第一车外场景中对应的一个区域；
将所述第一AR图像渲染至所述HUD虚像面中，以获得第二场景。


5.根据权利要求4所述的方法，其特征在于，所述HUD参数集合包括挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸中的至少一种参数。


6.根据权利要求1-5任意一项所述的方法，其特征在于，所述获取第一车外场景，包括：
获取第一传感器采集的数据；所述第一传感器为车载传感器；所述第一传感器采集的数据为在目标车辆行驶过程中针对所述目标车辆的周围环境采集的数据，包括图像数据、点云数据、温度数据和湿度数据中的至少一种；所述第一传感器包括摄像头、激光雷达、毫米波雷达、温度传感器和湿度传感器中的至少一种；
基于所述第一传感器采集的数据，构建所述第一车外场景，所述第一车外场景为实景仿真场景。


7.根据权利要求1-5任意一项所述的方法，其特征在于，所述获取第一车外场景，包括：
获取第二传感器采集的数据；所述第二传感器为通过预设的仿真模拟系统构建的传感器；所述第二传感器采集的数据为通过所述预设的仿真模拟系统设置的数据，包括天气、道路、行人、车辆、植物和交通信号中的至少一种数据；
基于所述第二传感采集的数据，构建所述第一车外场景，所述第一车外场景为虚拟仿真场景。


8.根据权利要求1-7任意一项所述的方法，其特征在于，所述方法还包括：
对所述第一AR图像进行第一预处理，获取与所述第一车外场景对应的第二AR图像；所述第一预处理包括畸变处理和抖动处理中的至少一种；所述畸变处理包括径向畸变、切向畸变、虚像距增大和虚像距减小中的至少一种；所述抖动处理包括叠加预设的旋转位移量和/或抖动量；
融合所述第一车外场景和所述第二AR图像，以获得第三场景；
使能所述显示屏显示所述第三场景。


9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
对所述第二AR图像进行第二预处理，获取与所述第一车外场景对应的第三AR图像；所述第二预处理包括去畸变处理和防抖动处理中的至少一种；
融合所述第一车外场景和所述第三AR图像，以获得第四场景；
使能所述显示屏显示所述第四场景。


10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
基于所述第三场景和所述第四场景，获取所述去畸变处理和/或所述防抖动处理的处理效果，以优化相应的去畸变功能和/或防抖动功能。


11.根据权利要求2-10任意一项所述的方法，其特征在于，所述第一车外场景包括一个或多个场景元素；所述一个或多个场景元素包括天气、道路、行人、车辆、植物和交通信号中的一个或多个；所述一个或多个AR图标包括左转、右转和直行导航标识中的一个或多个；所述方法还包括：
基于所述每个第二场景中的所述一个或多个场景元素以及所述一个或多个AR图标之间的位置关系和/或逻辑关系，对所述预设模型进行相应的修正。


12.一种场景处理装置，其特征在于，包括：
第一获取单元，用于获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；
第二获取单元，用于获取与所述第一车外场景对应的第一AR图像；
融合单元，用于融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；
第一显示单元，用于使能显示屏显示所述第二场景。


13.根据权利要求12所述的装置，其特征在于，所述第二获取单元，具体用于：
根据所述第一车外场景与预设模型，获取与所述第一车外场景对应的所述第一AR图像；其中，所述第一AR图像...

【专利技术属性】
技术研发人员：彭惠东，张宇腾，于海，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44