【技术实现步骤摘要】
本专利技术涉及智能辅助驾驶领域及增强现实显示，涉及一种增强现实图像中目标mesh模型的生成和调用方法。
技术介绍
1、随着5g技术、增强现实显示技术发展，具备增强现实显示功能的ar目镜、显示屏、hud、全息投影等设备可将虚拟图像直观地展现在观察者眼前，实现虚拟图像与现实的叠加显示，成为更多信息的显示载体。
2、观察者驾驶本体在通过信息协同的方式获得目标信息，以增强现实的方式，通过ar目镜、显示屏、hud、全息投影在观察者视野中显示中时，需要生成和调用目标mesh模型，以生成目标增强现实图像，还原目标在场景中的真实情况。
技术实现思路
1、鉴于上述的分析，本专利技术旨在公开一种增强现实图像中目标mesh模型的生成和调用方法，解决目标增强现实图像的生成和显示问题。
2、本专利技术公开了一种增强现实图像中目标mesh模型的生成和调用方法，包括：
3、目标mesh模型库建立步骤：利用采集的多种候选目标的多视角环视视频，进行离线预训练，生成多种候选目标的mesh模型，建立目标模型库；
4、目标mesh模型在线调用步骤：根据目标类型从目标模型库中获取目标的mesh模型，进行目标位置对齐和坐标转换，输出mesh模型的n个控制点在观察者观察坐标系中的坐标；根据n个控制点的观察坐标系中坐标，进行目标是否位于观察者的观察视野以及是否被观察者视野中的环境遮挡判断，当位于观察视野且被遮挡时，则根据控制点坐标在观察视野中生成目标的增强现实图像。
5
6、步骤s101、采集从各类型候选目标的多视角环视视频中提取的视频帧；
7、步骤s102、从视频帧中恢复出拍摄视频相机的位姿数据；
8、步骤s103、使用视频帧和对应的相机位姿导入到nerf模型中进行深度训练，生成精细的nerf特征；
9、步骤s104、由nerf特征构建车辆的3d模型，所述3d模型为mesh模型，模型中包括n个控制点。
10、进一步地，使用视频帧和对应的相机位姿导入到nerf模型中进行深度训练，生成精细的nerf特征的过程包括：
11、神经网络接收所述相机在3d空间中的坐标(x,y,z)和相机观察方向输出体积密度σ和rgb颜色(r,g,b)，通过体积渲染来将其转换为实际的图像；
12、体积渲染过程中，从相机位置沿观察方向投射射线，神经网络对于每个3d空间点预测体积密度和颜色，计算射线上各点的颜色贡献，最终积分得到整个射线的颜色；
13、相机射线方程为r(t)＝o+td，其中o是射线原点，d是单位方向向量，t是沿射线的距离；
14、渲染射线上某一点的颜色c(r)的积分方程为：
15、
16、其中，tf和tn分别是射线的远端和近端，t(t)是从射线起点到t处的累积透明度，σ(r(t))是在位置r(t)的体积密度，c(r(t),d)是在位置r(t)和方向d的颜色；
17、使用图像重建误差作为损失函数，定义为预测颜色c(r)与实际图像颜色cgt(r)之间的均方误差：
18、loss＝∑r‖c(r)-cgt(r)‖2；
19、使用梯度下降算法优化神经网络以最小化损失函数，完成nerf模型训练。
20、进一步地，由nerf特征构建目标的3d模型的过程包括：
21、1)根据nerf特征进行体积数据提取和表面重建后转化为mesh模型；
22、2)通过平滑算法去除mesh模型中网格的噪声和不规则表面；
23、3)简化mesh模型中网格，将剩余误差最大的n个顶点作为网格的控制点；
24、4)将简化后网格展开为2d网格平面，将mesh模型的图像映射到3d网格上，确定每个2d网格面在2d纹理图像中的对应位置，建立纹理坐标映射关系，得到包含纹理贴图和n个控制点的mesh模型。
25、进一步地，目标mesh模型在线调用步骤，包括：
26、步骤s201、根据目标类型从目标模型库中获取目标的mesh模型；
27、步骤s202、进行目标mesh模型与目标载体坐标系对齐，再经过目标载体坐标系至观察者观察坐标系的坐标转换后得到n个控制点在观察者观察坐标系中的坐标；
28、步骤s203、根据控制点坐标进行目标是否位于观察者视野内的判断；否，则生成目标相对观察者视野方向的增强现实提示；是，则进入下一步；
29、步骤s204、根据构建的观察者视野中环境mesh网格，判断目标与观察者视野中环境是否存在遮挡；否，则按照目标位置坐标生成增强现实提示；是，则进入下一步；
30、步骤s205、在观察者视野内与控制点坐标对应的像素坐标位置上生成目标增强现实图像。
31、进一步地，所述步骤s203中，采用视场角方法或用相机内参方法进行目标是否位于观察者视野内的判断。
32、进一步地，所述步骤s204中，判断目标与观察者视野中环境是否存在遮挡的过程包括：
33、1)获得观察者环境场景的三维特征点；根据特征点所对应的视野像素点的语义属性进行特征点组合，构建出观察者视野中环境mesh网格；
34、2)根据观察者相机与目标的位姿关系，判定mesh模型的n个控制点的自我遮挡关系；
35、3)对于未被自我遮挡的控制点，根据控制点的坐标信息计算控制点所处视野像素点的控制点深度值；根据环境mesh网格计算出控制点所处视野像素点的环境深度值；判断控制点深度值和环境深度值的偏差是否处于阈值范围内；是，则该点未被环境遮挡，否，则该点被环境遮挡；
36、4)根据控制点被遮挡的数量确定目标是否被遮挡，数量超过设定阈值则确定为遮挡，反之为未遮挡。
37、进一步地，构建出观察者视野中环境mesh网格的过程包括：
38、(1)对观察者相机拍摄的图像进行前后帧图像特征的提取与匹配，得到前后帧间的特征匹配点；
39、(2)计算出观察者相机在前后帧间的相对位姿；
40、(3)根据计算的前后帧间的特征匹配点和相对位姿，构建三角测量问题，使用直接线性变换求解观察者相机拍摄的空间点的三维坐标；
41、(4)判断空间点的三维坐标的平均重投影误差，是否超过给定阈值；是，则对空间点的三维坐标进行联合优化；
42、(5)当前帧图像使用sam方法划分图像语义区域，图像中的每个像素点都有对应的语义属性；将像素特征点的语义属性赋予对应的空间三维特征点，建立三维匹配特征点集；
43、(6)将三维匹配特征点集转化为mesh网格；在每个语义属性对应的三维匹配特征点集内部和边缘，将每个特征点和最近邻点组成三角形，对三角形内部点进行插值，实现对空间的统一表征。
44、进一步地，判断未被自我遮挡的控制点是否被环境遮挡过程包括：
45、(1本文档来自技高网...
【技术保护点】
1.一种增强现实图像中目标MESH模型的生成和调用方法，其特征在于，包括：
2.根据权利要求1所述的增强现实图像中目标MESH模型的生成和调用方法，其特征在于，
3.根据权利要求2所述的增强现实图像中目标MESH模型的生成和调用方法，其特征在于，
4.根据权利要求2所述的增强现实图像中目标MESH模型的生成和调用方法，其特征在于，
5.根据权利要求1所述的增强现实图像中目标MESH模型的生成和调用方法，其特征在于，
6.根据权利要求5所述的增强现实图像中目标MESH模型的生成和调用方法，其特征在于，
7.根据权利要求5所述的增强现实图像中目标MESH模型的生成和调用方法，其特征在于，
8.根据权利要求5所述的增强现实图像中目标MESH模型的生成和调用方法，其特征在于，
9.根据权利要求5所述的增强现实图像中目标MESH模型的生成和调用方法，其特征在于，
10.根据权利要求5所述的增强现实图像中目标MESH模型的生成和调用方法，其特征在于，
【技术特征摘要】
1.一种增强现实图像中目标mesh模型的生成和调用方法，其特征在于，包括：
2.根据权利要求1所述的增强现实图像中目标mesh模型的生成和调用方法，其特征在于，
3.根据权利要求2所述的增强现实图像中目标mesh模型的生成和调用方法，其特征在于，
4.根据权利要求2所述的增强现实图像中目标mesh模型的生成和调用方法，其特征在于，
5.根据权利要求1所述的增强现实图像中目标mesh模型的生成和调用方法，其特征在于，
...
【专利技术属性】
技术研发人员：胡蕴琪，张天，杨毅，王强，张硕阳，段晓波，梁浩，董志鹏，
申请(专利权)人：中国兵器工业计算机应用技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。