本发明专利技术涉及一种结合视觉深度估计的目标协同感知方法，包括：观察者获取协同感知的目标信息；根据目标类型获取目标的MESH模型，并将目标的位置坐标与姿态转换为目标MESH模型的n个控制点在目标载体坐标系中的坐标；进行目标载体坐标系至观察者观察坐标系的坐标转换得到n个控制点在观察者观察坐标系中的坐标；根据n个控制点的坐标进行视觉深度估计判断目标是否位于观察者观察视野以及是否被观察者视野中环境遮挡；当位于观察者观察视野且被环境遮挡时，则根据控制点坐标生成目标的增强现实图像。本发明专利技术实现了不同观察视角的协同感知，提升任务执行效率。
【技术实现步骤摘要】
本专利技术涉及协同感知，涉及一种结合视觉深度估计的目标协同感知方法。
技术介绍
1、随着5g技术、增强现实显示技术发展，具备增强现实显示功能的ar目镜、显示屏、hud、全息投影等设备可将虚拟图像直观地展现在观察者眼前，实现虚拟图像与现实的叠加显示，成为更多信息的显示载体。
2、观察者可通过信息协同的方式获得由其它合作方感知的邻近本体的目标信息，将临近目标信息，以增强现实的方式显示，通过ar目镜、显示屏、hud、全息投影在观察者观察视野中显示，并判定目标与所处环境的遮挡关系，以还原目标在场景中的真实情况。该技术可应用在车辆驾驶过程中，改善驾驶员的驾驶体验和降低行驶风险。该技术也可应用在反恐、消防、救灾中，实现感知协同，在不同观察者视角中同步感知信息，提升任务执行效率。
技术实现思路
1、鉴于上述的分析，本专利技术旨在公开了一种结合视觉深度估计的目标协同感知方法，实现对协同感知目标的增强现实图像显示；可在驾驶过程中改善驾驶体验，降低行驶风险；在反恐、消防、救灾中，实现感知协同，在不同观察视角中同步感知信息，提升任务执行效率。
2、本专利技术公开了一种结合视觉深度估计的目标协同感知方法，包括：
3、步骤s1、观察者获取协同感知的目标信息；所述目标信息包括目标类型、在wgs-84坐标系中的位置坐标以及姿态；
4、步骤s2、根据目标类型获取目标的mesh模型，并将目标的位置坐标与姿态转换为目标mesh模型的n个控制点在目标载体坐标系中的坐标；</p>5、步骤s3、进行目标载体坐标系至观察者观察坐标系的坐标转换得到n个控制点在观察者观察坐标系中的坐标；
6、步骤s4、根据n个控制点在观察者观察坐标系中的坐标进行视觉深度估计判断目标是否位于观察者观察视野以及是否被观察者视野中环境遮挡；当位于观察者观察视野且未被环境遮挡时，在目标上生成增强现实提示；当位于观察者观察视野且被环境遮挡时，根据控制点坐标生成目标的增强现实图像；未在观察者观察视野时，生成关于目标相对视野范围的增强现实提示。
7、进一步地，步骤s2中，观察者根据目标的类型，从内部设置的目标mesh模型库中检索出对应的包含纹理贴图和n个控制点的mesh模型；
8、在将mesh模型对应的nerf网络导出为mesh模型时，将目标载体坐标系定义在模型中央，为mesh模型的网格顶点坐标添加偏移量，得到n个控制点在目标载体坐标系下的3d坐标。
9、进一步地，根据目标和观察者的姿态，观察者相机安装位置、移动位置以及姿态进行坐标转换，得到n个控制点在观察者观察坐标系中的坐标。
10、进一步地，坐标转换过程包括：
11、1)获得n个控制点在目标载体坐标系中的坐标
12、2)对目标载体坐标进行反欧拉变换得到目标水平坐标
13、3)根据目标和观察者的位置，将目标水平坐标转换至观察者水平坐标
14、4)根据载体坐标系与水平坐标系之间的相对姿态，将观察者水平坐标转换至观察者载体坐标
15、5)根据观察者相机坐标系相对于载体坐标系的安装位置，将观察者载体坐标转换至观察者相机安装坐标
16、6)根据观察者相机在相机安装坐标系中相对于安装位置的平移量与观察者姿态，将观察者相机安装坐标转换至观察者相机坐标
17、进一步地，步骤s4中，包括：
18、步骤s401、根据n个控制点坐标进行目标是否位于观察者观察视野判断，是，则进入下一步，否，则生成关于目标相对观察者方向的增强现实提示；
19、步骤s402、从观察者相机拍摄的视野图像中获得环境场景的三维特征点；在视野图像中将与三维特征点对应的视野像素点进行语义属性组合，构建出观察者观察视野中的环境mesh网格；
20、步骤s403、根据n个控制点坐标以及环境mesh网格，分别计算出控制点在视野图像中所处视野像素点的控制点深度值和环境深度值进行比较后，判断控制点是否被遮挡；
21、步骤s404、根据控制点被遮挡的数量确定目标是否被遮挡；否，则生成目标的增强现实图像，是，则在目标位置生成增强现实提示。
22、进一步地，步骤s401中，使用视场角的方法或者相机内参的方法来进行目标是否位于观察者观察视野判断。
23、进一步地，步骤s402中，包括：
24、步骤s402-1、对观察者相机拍摄的图像进行前后帧图像特征的提取与匹配，得到前后帧间的特征匹配点；
25、步骤s402-2、计算出观察者相机在前后帧间的相对位姿；
26、步骤s402-3、根据计算的前后帧间的特征匹配点和相对位姿，构建三角测量问题，使用直接线性变换求解观察者相机拍摄的空间点的三维坐标；
27、步骤s402-4、判断空间点的三维坐标的平均重投影误差，是否超过给定阈值；是，则对空间点的三维坐标进行联合优化；
28、步骤s402-5、当前帧图像使用sam方法划分图像语义区域，图像中的每个像素点都有对应的语义属性；将像素特征点的语义属性赋予对应的空间三维特征点，建立三维匹配特征点集；
29、步骤s402-6、将三维匹配特征点集转化为mesh网格；在每个语义属性对应的三维匹配特征点集内部和边缘，将每个特征点和最近邻点组成三角形，对三角形内部点进行插值，实现对空间的统一表征。
30、进一步地，步骤s403中，包括：
31、步骤s403-1、确定位于观察者观察视野内的mesh模型的n个控制点在观察者图像像素坐标系中的像素坐标和对应像素点的控制点深度；
32、步骤s403-2、判断目标mesh模型控制点的自我遮挡关系；剔除被目标自身遮挡的控制点；
33、步骤s403-3、计算剔除被目标自身遮挡后的剩余控制点的控制点深度值和环境深度值的偏差；
34、步骤s403-4、判断控制点深度值和环境深度值的偏差是否处于阈值范围内；是，则该点未被环境遮挡，否，则该点被环境遮挡。
35、进一步地，在步骤s404中，当控制点被遮挡的数量超过设定阈值时，判定目标被遮挡，则生成目标的增强现实图像；反之，则在观察者观察视野中按照目标像素位置坐标生成增强现实提示。
36、进一步地，生成增强现实图像过程包括：
37、1)根据目标mesh模型的n个控制点在观察者观察坐标系中x、y、z三轴上的取值范围，生成mesh模型的外接长方体作为3d包围框；
38、2)计算出3d包围框在图像像素坐标系的像素坐标
39、3)在观察者相机图像上绘制包围框顶点，再根据长方体顶点连接关系映射mesh模型，生成增强现实图像。
40、本专利技术可实现以下有益效果之一：
41、本专利技术的结合视觉深度估计的目标协同感知方法，实现目标是否位于观察者观察视野内的判定；以及位于观察者观察视野内协同感知目标的遮挡关系判定本文档来自技高网
...
【技术保护点】
1.一种结合视觉深度估计的目标协同感知方法，其特征在于，包括：
2.根据权利要求1所述的结合视觉深度估计的目标协同感知方法，其特征在于，
3.根据权利要求1所述的结合视觉深度估计的目标协同感知方法，其特征在于，
4.根据权利要求3所述的结合视觉深度估计的目标协同感知方法，其特征在于，
5.根据权利要求1所述的结合视觉深度估计的目标协同感知方法，其特征在于，
6.根据权利要求5所述的结合视觉深度估计的目标协同感知方法，其特征在于，
7.根据权利要求5所述的结合视觉深度估计的目标协同感知方法，其特征在于，
8.根据权利要求5所述的结合视觉深度估计的目标协同感知方法，其特征在于，
9.根据权利要求5所述的结合视觉深度估计的目标协同感知方法，其特征在于，包括：
10.根据权利要求9所述的结合视觉深度估计的目标协同感知方法，其特征在于，
【技术特征摘要】
1.一种结合视觉深度估计的目标协同感知方法，其特征在于，包括：
2.根据权利要求1所述的结合视觉深度估计的目标协同感知方法，其特征在于，
3.根据权利要求1所述的结合视觉深度估计的目标协同感知方法，其特征在于，
4.根据权利要求3所述的结合视觉深度估计的目标协同感知方法，其特征在于，
5.根据权利要求1所述的结合视觉深度估计的目标协同感知方法，其特征在于，
6...
【专利技术属性】
技术研发人员：付梦印，董志鹏，杨毅，胡蕴琪，吴贺禹，梁浩，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。