本发明专利技术实施例涉及图像检测技术领域，公开了一种基于多模态融合的机场场面冲突识别预警方法，该方法包括：实时获取机场预设区域内的双目图像；对双目图像进行处理，确定双目图像的视差图；根据视差图中障碍物的位置信息，确定障碍物在双目左图下的障碍物信息；通过目标检测算法对所述双目左图进行目标检测，得到目标检测结果；将所述目标检测结果与所述障碍物信息进行融合，得到各个目标的三维立体信息；对各个目标进行跟踪，根据三维立体信息确定各个目标在三维空间中的运动方向和轨迹；根据运动方向和轨迹，确定机场预设区域内的机场场面冲突检测结果。本发明专利技术实施例解决了相机透视问题，从而使得对目标的定位准确。
【技术实现步骤摘要】
本专利技术实施例涉及图像检测，具体涉及一种基于多模态融合的机场场面冲突识别预警方法、基于多模态融合的机场场面冲突识别预警装置、计算机设备及计算机可读存储介质。
技术介绍
1、现代大型化机场运行业务繁多，保障机场跑道、站坪等区域的运行安全至关重要。机场场面冲突预警系统主要对机场场面潜在的安全事件进行检测和预警，该系统通过实时监控机场场面的飞机、作业车辆、工作人员等目标的位置和轨迹信息，发现潜在的风险，并及时预警，有效避免潜在冲突的发生，提升机场安全运行水平。
2、目前，现有的机场场面冲突大都基于人工监视或者基于视频图像识别技术实现。其中，人工监视的方法受制于工作人员的经验和注意力等影响，效率低下，且难以实现精准判断。其次，现有的基于视频图像识别技术的机场场面冲突检测系统，一般都基于现有的目标检测和跟踪技术，在2d图像上实现对机场场面目标的检测跟踪，进一步结合预设的冲突判断策略，对可能的冲突风险进行预警。由于该方法是在二维平面图像上进行分析，无法解决相机透视问题，导致目标定位不准，无法准确预判潜在的冲突风险。
技术实现思路
1、鉴于上述问题，本专利技术实施例提供了一种基于多模态融合的机场场面冲突识别预警方法、基于多模态融合的机场场面冲突识别预警装置、计算机设备及计算机可读存储介质，用于解决现有技术中存在的目标定位不准，无法准确预判潜在的冲突风险的问题。
2、根据本专利技术实施例的一个方面，提供了一种基于多模态融合的机场场面冲突识别预警方法，所述方法包括：
3、实时获取机场预设区域内的双目图像，所述双目图像包括双目左图及双目右图；
4、对所述双目图像进行处理，确定所述双目图像的视差图；
5、根据所述视差图中障碍物的位置信息，确定所述障碍物在所述双目左图下的障碍物信息；所述障碍物信息包括所述障碍物的三维坐标信息；
6、通过目标检测算法对所述双目左图进行目标检测，得到目标检测结果；
7、将所述目标检测结果与所述障碍物信息进行融合，得到各个目标的三维立体信息；
8、对各个目标进行跟踪，根据所述三维立体信息确定各个目标在三维空间中的运动方向和轨迹；
9、根据运动方向和轨迹，确定所述机场预设区域内的机场场面冲突检测结果。
10、在一种可选的方式中，所述根据运动方向和轨迹，确定所述机场预设区域内的机场场面冲突检测结果，包括：根据各个目标在三维空间中的运动方向和轨迹，确定轨迹可能存在交叉点的目标；计算各个可能存在交叉点的目标与交叉点的距离；根据所述距离及运动速度，分别计算各个可能存在交叉点的目标到达交叉点的时间；根据各个目标的所述距离计算最小冲突距离，根据各个目标的所述时间计算冲突时间间隔；根据所述冲突时间间隔及所述最小冲突距离，确定所述机场预设区域内的机场场面冲突检测结果。
11、在一种可选的方式中，所述根据所述冲突时间间隔及所述最小冲突距离，确定所述机场预设区域内的机场场面冲突检测结果，包括：当所述冲突时间间隔处于第一时间阈值区间，且所述最小冲突距离处于第一距离阈值区间时，所述机场场面冲突检测结果为第一预警级别；当所述冲突时间间隔处于第二时间阈值区间，且所述最小冲突距离处于第二距离阈值区间时，所述机场场面冲突检测结果为第二预警级别；当所述冲突时间间隔处于第三时间阈值区间，且所述最小冲突距离处于第三距离阈值区间时，所述机场场面冲突检测结果为第三预警级别；所述第一时间阈值区间的上限值小于等于第二时间阈值区间的下限值；所述第二时间阈值区间的上限值小于等于所述第三时间阈值区间的下限值；所述第一预警级别大于所述第二预警级别，所述第二预警级别大于所述第三预警级别。
12、在一种可选的方式中，所述对所述双目图像进行处理，确定所述双目图像的视差图，包括：求取所述双目左图与所述双目右图中像素点的差异，得到视差图；根据所述差异得到所述双目图像的视差图；对所述视差图从侧面进行投影，得到v视差图；对所述视差图从俯视方向进行投影得到u视差图。
13、在一种可选的方式中，所述根据所述视差图中障碍物的位置信息，确定所述障碍物在所述双目左图下的障碍物信息，包括：根据所述v视差图，获取所述障碍物的高度及所在行信息；根据所述u视差图，获取所述障碍物的宽度信息；所述宽度通过起始位置及终止位置表示；根据所述高度及宽度，确定所述障碍物在所述双目左图下的障碍物信息。
14、在一种可选的方式中，所述通过目标检测算法对所述双目左图进行目标检测，得到目标检测结果，包括：通过yolov5算法对所述双目左图进行目标检测，得到目标检测结果。
15、在一种可选的方式中，所述将所述目标检测结果与所述障碍物信息进行融合，得到各个目标的三维立体信息，包括：
16、将目标检测结果中的目标位置信息与双目图像的所述障碍物信息进行匹配，得到一个或多个所述目标；
17、根据所述目标的所述目标位置信息及所述障碍物信息，得到所述目标的三维立体信息。
18、在一种可选的方式中，所述对各个目标进行跟踪，根据所述三维立体信息确定各个目标在三维空间中的运动方向和轨迹，包括：通过deepsort算法对双目左图中的各个目标进行跟踪，实时更新双目左图中各个所述目标的三维立体信息；根据更新前后的目标的三维立体信息，确定所述目标在三维空间中的运动方向和轨迹。
19、根据本专利技术实施例的另一方面，提供了一种基于多模态融合的机场场面冲突识别预警装置，包括：
20、获取模块，用于实时获取机场预设区域内的双目图像，所述双目图像包括双目左图及双目右图；
21、第一确定模块，用于对所述双目图像进行处理，确定所述双目图像的视差图；
22、第二确定模块，用于根据所述视差图中障碍物的位置信息，确定所述障碍物在所述双目左图下的障碍物信息；所述障碍物信息包括所述障碍物的三维坐标信息；
23、检测模块，用于通过目标检测算法对所述双目左图进行目标检测，得到目标检测结果；
24、融合模块，用于将所述目标检测结果与所述障碍物信息进行融合，得到各个目标的三维立体信息；
25、跟踪模块，用于对各个目标进行跟踪，根据所述三维立体信息确定各个目标在三维空间中的运动方向和轨迹；
26、冲突确定模块，用于根据运动方向和轨迹，确定所述机场预设区域内的机场场面冲突检测结果。
27、根据本专利技术实施例的另一方面，提供了一种计算机设备，包括：
28、处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
29、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述的基于多模态融合的机场场面冲突识别预警方法的操作。
30、根据本专利技术实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在计算机设备上运行时，使得计算机设备本文档来自技高网
...
【技术保护点】
1.一种基于多模态融合的机场场面冲突识别预警方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据运动方向和轨迹，确定所述机场预设区域内的机场场面冲突检测结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述冲突时间间隔及所述最小冲突距离，确定所述机场预设区域内的机场场面冲突检测结果，包括：
4.根据权利要求1所述的方法，其特征在于，所述对所述双目图像进行处理，确定所述双目图像的视差图，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述视差图中障碍物的位置信息，确定所述障碍物在所述双目左图下的障碍物信息，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述目标检测结果与所述障碍物信息进行融合，得到各个目标的三维立体信息，包括：
7.根据权利要求1-5任一项所述的方法，其特征在于，所述对各个目标进行跟踪，根据所述三维立体信息确定各个目标在三维空间中的运动方向和轨迹，包括：
8.一种基于多模态融合的机场场面冲突识别预警装置，其特征在于，所述装置包括：
9.一种计算机设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在计算机设备上运行时，使得计算机设备执行如权利要求1-7任意一项所述的基于多模态融合的机场场面冲突识别预警方法的操作。
...
【技术特征摘要】
1.一种基于多模态融合的机场场面冲突识别预警方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据运动方向和轨迹，确定所述机场预设区域内的机场场面冲突检测结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述冲突时间间隔及所述最小冲突距离，确定所述机场预设区域内的机场场面冲突检测结果，包括：
4.根据权利要求1所述的方法，其特征在于，所述对所述双目图像进行处理，确定所述双目图像的视差图，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述视差图中障碍物的位置信息，确定所述障碍物在所述双目左图下的障碍物信息，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述目标...
【专利技术属性】
技术研发人员：夏克江，樊治国，
申请(专利权)人：青岛高重信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。