地空协同地图构建方法、装置、设备及存储介质制造方法及图纸

本申请公开一种地空协同地图构建方法、装置、设备及存储介质，涉及图像视觉技术领域，包括：通过无人机拍摄现场画面，并根据现场画面确定风险区域和目标检测区域；分别通过无人机和地面机器人搭载的双目摄像头对风险区域进行视野探测，生成各自的三维点云地图，并对目标检测区域内的目标物体进行标定；将第一点云地图和所述第二点云地图中的点云数据进行拼接融合，生成融合点云地图，并在基于融合点云地图构建的三维地图中显示文字和/或高亮标定的目标物体。本方案通过无人机和机器人协同探测事故区域，根据拍摄的事故现场画面融合生成三维点云地图，同时对地图中的目标物体进行标定显示，提高了事故现场地图构建的准确性和取证巡查的效率。证巡查的效率。证巡查的效率。

【技术实现步骤摘要】
地空协同地图构建方法、装置、设备及存储介质


[0001]本申请涉及图像视觉
，特别涉及一种用于事故现场取证的地空协同地图构建方法、装置、设备及存储介质。

技术介绍

[0002]通过机器或无人机巡检作业是一个重要用途之一。由于人工作业局限性，机器设备能够突破时间和空间视野的局限性。特别适用于道路检测、事故现场取证和地图测绘等领域。
[0003]在相关技术中，单一采用无人机巡检绘制地图或者采用地面小车测绘地图的方式存在画面比例失真、场景构建遗漏和不全面的问题。特别针对事故现场，构建的地图精度问题会影响到事故取证和分析的效率和结果。

技术实现思路

[0004]本申请提供了一种地空协同地图构建方法、装置、计算机设备及存储介质，解决了相关技术中对事故现场地图构建不精确以及取证困难的问题。
[0005]一方面，提供了一种地空协同地图构建方法，所述方法包括：
[0006]通过无人机拍摄现场画面，并根据现场画面确定风险区域和目标检测区域；其中，所述风险区域为事故场景包含的所有区域，所述目标检测区域位于风险区域中；
[0007]分别通过无人机和地面机器人搭载的双目摄像头对所述风险区域进行视野探测，生成各自的三维点云地图，并对所述目标检测区域内的目标物体进行标定；其中，无人机生成的第一点云地图和机器人生成的第二点云地图具有不同的相机姿态；
[0008]将所述第一点云地图和所述第二点云地图中的点云数据进行拼接融合，生成融合点云地图，并在基于所述融合点云地图构建的三维地图中显示文字和/或高亮标定的所述目标物体。
[0009]另一方面，提供了一种地空协同地图构建装置，所述装置包括：
[0010]第一确定模块，用于通过无人机拍摄现场画面，并根据现场画面确定风险区域和目标检测区域；其中，所述风险区域为事故场景包含的所有区域，所述目标检测区域位于风险区域中；
[0011]点云地图生成模块，用于分别通过无人机和地面机器人搭载的双目摄像头对所述风险区域进行视野探测，生成各自的三维点云地图，并对所述目标检测区域内的目标物体进行标定；其中，无人机生成的第一点云地图和机器人生成的第二点云地图具有不同的相机姿态；
[0012]地图构建模块，用于将所述第一点云地图和所述第二点云地图中的点云数据进行拼接融合，生成融合点云地图，并在基于所述融合点云地图构建的三维地图中显示文字和/或高亮标定的所述目标物体。
[0013]另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存
储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一方面所述的地空协同地图构建方法。
[0014]另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一方面所述的地空协同地图构建方法。
[0015]另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述任一方面所述的地空协同地图构建方法。
[0016]本申请提供的技术方案带来的有益效果至少包括：通过无人机根据现场画面确定风险区域和目标检测区域，同时和地面机器人搭载的双目摄像头对风险区域进行扫描探测，生成各自相机姿态下的三维点云地图，同时在各自的点云地图中对目标检测区域中的目标物体进行识别和标定，便于现场取证；进而再将两个点云地图的点云数据进行拼接融合，生成融合点云地图，融合点云地图弥补了单个无人机和机器人扫描探测生成的点云地图存在数据遗漏和覆盖不全的情况，因而构建的三维地图更为精准，且在目标检测区域中显示出文字和/或高亮标定的目标物体，便于场外人员通过地图画面取证，提高作业效率。
附图说明
[0017]图1示出了本申请实施例提供的地空协同地图构建方法的场景示意图；
[0018]图2是本申请一个实施例提供的地空协同地图构建方法的流程图；
[0019]图3是本申请另一实施例提供的地空协同地图构建方法的流程图；
[0020]图4是本申请实施例提供的通过画面内容识别确定的风险区域；
[0021]图5是本申请实施例提供的将第一点云地图和第二点云地图中的点云数据进行拼接融合的示意图；
[0022]图6是本申请实施例提供的地空协同地图构建方法的结构示意图；
[0023]图7是本申请实施例提供的地空协同地图构建装置的结构框图。
具体实施方式
[0024]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0025]在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0026]图1示出了本申请实施例提供的地空协同地图构建方法的场景示意图。受限于事故现场的危险性，例如火灾现场或危险化学品泄漏的场景，并不适用于人工处理，但为了及时处理和现场取证等目的，需要通过仪器设备进入现场扫描，并通过场外接收数据生成三维地图，方便熟悉地形和取证。本方案中采用地面机器人小车和无人机设备共同实施。如图中所示，地面机器人110和无人机120分别搭载由双目摄像头模组，双目摄像头模组可以进
行彩色和深度图像扫描成像。事故现场中划分有多个目标检测区域130，目标检测区域130中存在目标物体140，包括但不限于建筑楼体、道路、车辆、设施、散落物以及人体等物体。其中的两个双目摄像头模组扫描探测的角度互余，也即摄像头和关键点扫描路径呈直线最短，并且以目标检测区域130环绕式扫描成像，尽可能形成立体感知视野。无人机120和地面机器人110通过场外的控制台150发送指令进行控制。
[0027]图2是本申请一个实施例提供的地空协同地图构建方法的流程图。包括如下步骤：
[0028]步骤201，通过无人机拍摄现场画面，并根据现场画面确定风险区域和目标检测区域。
[0029]场外控制台控制无人机飞往事故现场上方拍摄现场画面，场外人员可以通过传回的数据在控制台上观察现场画面，并通过对画面进行分析，截取画面中的风险区域和目标检测区域，风险区域是事故现场画面所包含的所有区域，例如整个厂区区域。而目标检测区域则是针对场景画面的重点关注区域，例如核心事故区或建筑物密集区，其发生危险的可能性更高，地面机器人和无人机设备应侧重于对该区域进行识别成像。
[0030]在一种可能的实施方式中，可以通过直接对画面内容进行识别，根据建筑物和道路识别并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种地空协同地图构建方法，其特征在于，所述方法包括：通过无人机拍摄现场画面，并根据现场画面确定风险区域和目标检测区域；其中，所述风险区域为事故场景包含的所有区域，所述目标检测区域位于风险区域中；分别通过无人机和地面机器人搭载的双目摄像头对所述风险区域进行视野探测，生成各自的三维点云地图，并对所述目标检测区域内的目标物体进行标定；其中，无人机生成的第一点云地图和机器人生成的第二点云地图具有不同的相机姿态；将所述第一点云地图和所述第二点云地图中的点云数据进行拼接融合，生成融合点云地图，并在基于所述融合点云地图构建的三维地图中显示文字和/或高亮标定的所述目标物体。2.根据权利要求1所述的方法，其特征在于，无人机和机器人上分别安装有第一双目摄像头和第二双目摄像头；所述分别通过无人机和地面机器人搭载的双目摄像头对所述风险区域进行视野探测，生成各自的三维点云地图，并对所述目标检测区域内的目标物体进行标定，包括：控制无人机按照所述目标检测区域的圆心位置坐标，以第一相机姿态进行环绕扫描探测，并对所述风险区域内的其他区域进行全域扫描探测，基于扫描图像生成第一点云地图；控制机器人按照所述目标检测区域的圆心位置坐标，以第二相机姿态进行环绕扫描探测，并对所述风险区域内的其他区域进行全域扫描探测，基于扫描图像生成第二点云地图；分别对生成的所述第一点云地图和第二点云地图内所述目标检测区域内的物体进行识别，并对识别的所述目标物体的点云数据进行标定，根据地理位置信息关联生成第一目标标签。3.根据权利要求2所述的方法，其特征在于，所述基于扫描图像生成第一点云地图，包括：获取相同时刻内所述第一双目摄像头扫描到的两张图像，并根据图像的像素间位置偏差计算得到扫描区域内物体的深度图信息；基于深度图信息、彩色图信息、第一相机姿态以及相机内参数据，对扫描区域内物体进行立体重构，获得三维的所述第一点云地图。4.根据权利要求3所述的方法，其特征在于，所述将所述第一点云地图和所述第二点云地图中的点云数据进行拼接融合，生成融合点云地图，并在基于所述融合点云地图构建的三维地图中显示文字和/或高亮标定的所述目标物体，包括：基于所述第一点云地图和所述第二点云地图中点云数据的位置信息和相机姿态信息进行点云匹配关联；确定两个点云地图中的重叠区域，并将所述重叠区域的点云数据进行加权融合；对非重叠区域的点云数据进行特征匹配，并根据匹配特征差值筛选待融合点云数据集；基于加权融合后的点云数据、所述待融合点云数据集以及对应的位置信息生成所述融合点云地图；重新确定并识别所述融合点云地图中所述目标物体的点云数据，并基于点云数据关联生成第二目标标签；基于所述融合点云地图构建三维地图，并基于所述第二目标标签在地图中显示文字和/或高亮标定的所述目标物体。<...

【专利技术属性】
技术研发人员：王晓辉，丁佳，单洪伟，
申请(专利权)人：无锡八英里电子科技有限公司，
类型：发明
国别省市：