基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质，其包括：对施工范围内实时获取的二维图像进行语义分割；通过映射关系将语义分割后的二维图像投影至三维模型中；在三维模型中对目标物体进行拟合，并在二维图像中对拟合后的目标物体进行阈值分割；通过映射关系将阈值分割后的目标物体的二维图像投影到三维模型中；通过终端实时显示施工范围内经语义分割和阈值分割后的二维图像和三维模型。本发明专利技术能够通过深度学习建立语义分割模型，提高物体检测的准确性和实时性，有效提高了指挥人员监督施工的效率和工人施工的安全性，同时使电力系统部门迈向智能化。

【技术实现步骤摘要】
基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质
本专利技术涉及一种基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质，属于电力系统检测

技术介绍
随着我国经济的飞速发展，电力系统已成为社会经济发展中的重要基础设施。在电力系统发展的同时，城市的建设也十分迅速，我国先后建成了大批现代城市，现代化的电力系统保障了城市的正常运转和人民的正常生活，却给输电线路带来了更多地压力。日益上涨的用电需求给输电线路带来了新的挑战。因此，只有保障输电线路的正常运转，才能为居民的生活提供保障。然而，在室外风吹日晒的情况下，导致输电线路瘫痪的电路老化现象，已经成为了电力部门急需解决的问题。目前输电线路的检测与维修工作主要依靠人工的方式完成，且通常高压输电线路为35-220kV的线路，超高压输电线路为330-750kV的线路，特高压输电线路为1000kV及以上电压等级的线路，因此在检测与维修的过程中保障施工工人的人身安全是首要任务。目前，对于预防输电线路施工事故的主要措施是规范施工人员的安全操作。现有的预防措施也有很大的局限性。首先，多数电路检修作业场景为高空场景，因此施工工人可能会出现无意识违规操作行为；其次，在电路检修时，对施工范围内的电线、角铁、瓷瓶等物体的带电状态是未知的，这也大大提高了施工事故发生的概率。为了解决上述问题，本申请提出了一种带电作业场景下的多模态物体检测方法、系统、装置及存储介质。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提供一种带电作业场景下的多模态物体检测方法、系统、装置及存储介质，实现了对施工范围内的电线、角铁、瓷瓶等物体的检测，并将实时的物体检测结果展示出来，方便指挥人员远程观察指挥，给施工人员的安全施工提供了保障。为达到上述目的，本专利技术是采用下述技术方案实现的：第一方面，本专利技术提供了一种基于带电作业场景下的多模态物体检测方法，包括以下步骤：对施工范围内实时获取的二维图像进行语义分割；通过映射关系将语义分割后的二维图像投影至三维模型中；在三维模型中对目标物体进行拟合，并在二维图像中对拟合后的目标物体进行阈值分割；通过映射关系将阈值分割后的目标物体的二维图像投影到三维模型中；通过终端实时显示施工范围内经语义分割和阈值分割后的二维图像和三维模型。优选的，所述语义分割包括以下步骤：将二维图像逐帧输入训练和测试后的语义分割模型；语义分割模型对二维图像中模态物体进行识别并逐帧输出分割后的二维图像；其中，所述语义分割模型基于人工神经网络BiSeNetV2为框架进行搭建，并采用自定义的训练集和测试集进行训练和测试；所述模态物体包括角铁、瓷瓶、电线和电线杆。优选的，所述二维图像投影至三维模型中包括以下步骤：基于映射关系计算获取分割后的二维图像中每个像素坐标的空间点坐标；对空间点坐标进行点云配准从而投影至三维模型中；其中，所述二维图像包括RGB图像和其对应的深度图像；所述三维模型通过施工范围内实时获取的二维图像基于映射关系建立；所述映射关系的表达式如下：其中，fx和fy表示获取二维图像的相机在x和y轴上的焦距，cx和cy表示该相机的光圈中心，s表示深度图像的缩放因子，(x，y，z)表示空间点坐标，(u，v，d)表示像素坐标，d表示深度数据。优选的，所述在三维模型中对目标物体进行拟合，并在二维图像中对拟合后的目标物体进行阈值分割包括：采用迭代预设次数的RANSAC算法，在三维模型中对目标物体的三维点云进行物体表面拟合，从而确定目标物体在三维模型中的位置；在二维图像中对相应位置的目标物体，基于预设的阈值进行阈值分割，从而识别区分目标物体；其中，目标物体包括电线和电线杆，目标表面包括圆柱面。优选的，所述通过终端实时显示施工范围内经语义分割和阈值分割后的二维图像和三维模型包括：在二维图像实时显示窗口中，以平面视频的方式实时显示语义分割后的二维图像；在三维图像实时显示窗口中，以三维地图的方式实时显示语义分割和阈值分合后的三维模型；其中，二维图像实时显示窗口和三维图像实时显示窗口为基于Qt的可视化界面。第二方面，本专利技术提供了一种基于带电作业场景下的多模态物体检测系统，其特征在于，包括：语义分割模块，用于对施工范围内实时获取的二维图像进行语义分割；第一点云映射模块，用于通过映射关系将语义分割后的二维图像投影至三维模型中；点云拟合模块，用于在三维模型中对目标物体进行拟合，并在二维图像中对拟合后的目标物体进行阈值分割；第二点云映射模块，用于通过映射关系将阈值分割后的目标物体的二维图像投影到三维模型中；终端反馈模块，用于通过终端实时显示施工范围内经语义分割和阈值分割后的二维图像和三维模型。第三方面，本专利技术提供了一种基于带电作业场景下的多模态物体检测装置，其特征在于，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一项所述方法的步骤。与现有技术相比，本专利技术所达到的有益效果：本专利技术提供的一种基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质，(1)能很大程度上代替带电作业场景下施工的人工监督，同时与远程可视化界面交互保障监督任务可靠；(2)通过深度学习算法建立适用于多模态物体检测的BiSeNetV2模型，以智能化的方式规范了带电作业场景下工人的施工操作，提高了作业安全性；(3)采用了点云拟合和阈值分割的传统算法，实现了对电线高精度检测的功能。综上，本专利技术可以规范带电作业场景下工人的施工操作从而保障施工安全，而且可以节省用于监督施工的人力资源。采用基于带电作业场景的多模态物体检测系统，加速了电力施工部门的智能化管理。使得人工智能技术融入到社会的更深层，不仅为提高施工安全性提供思路，还对人工智能落地政策提供了更广泛的案例。附图说明图1是本专利技术实施例一中的基于带电作业场景下的多模态物体检测方法流程示意图；图2是本专利技术实施例二中的基于带电作业场景下的多模态物体检测系统结构示意图；图3是本专利技术实施例二中的语义分割模块的工作流程图；图4是本专利技术实施例二中的语义分割模型的工作原理图；图5是本专利技术实施例二中的点云拟合模块的工作流程图；图6是本专利技术实施例二中的终端反馈模块的可视化界面图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。实施例一：如图1所示，本实施例提供了一种基于带电作业场景下的多模态物体检测方法，包括以下步骤：...

【技术保护点】
1.一种基于带电作业场景下的多模态物体检测方法，其特征在于，包括以下步骤：/n对施工范围内实时获取的二维图像进行语义分割；/n通过映射关系将语义分割后的二维图像投影至三维模型中；/n在三维模型中对目标物体进行拟合，并在二维图像中对拟合后的目标物体进行阈值分割；/n通过映射关系将阈值分割后的目标物体的二维图像投影到三维模型中；/n通过终端实时显示施工范围内经语义分割和阈值分割后的二维图像和三维模型。/n

【技术特征摘要】
1.一种基于带电作业场景下的多模态物体检测方法，其特征在于，包括以下步骤：
对施工范围内实时获取的二维图像进行语义分割；
通过映射关系将语义分割后的二维图像投影至三维模型中；
在三维模型中对目标物体进行拟合，并在二维图像中对拟合后的目标物体进行阈值分割；
通过映射关系将阈值分割后的目标物体的二维图像投影到三维模型中；
通过终端实时显示施工范围内经语义分割和阈值分割后的二维图像和三维模型。


2.根据权利要求1所述的一种基于带电作业场景下的多模态物体检测方法，其特征在于，所述语义分割包括以下步骤：
将二维图像逐帧输入训练和测试后的语义分割模型；
语义分割模型对二维图像中模态物体进行识别并逐帧输出分割后的二维图像；
其中，所述语义分割模型基于人工神经网络BiSeNetV2为框架进行搭建，并采用自定义的训练集和测试集进行训练和测试；
所述模态物体包括角铁、瓷瓶、电线和电线杆。


3.根据权利要求1所述的一种基于带电作业场景下的多模态物体检测方法，其特征在于，所述二维图像投影至三维模型中包括以下步骤：
基于映射关系计算获取分割后的二维图像中每个像素坐标的空间点坐标；
对空间点坐标进行点云配准从而投影至三维模型中；
其中，所述二维图像包括RGB图像和其对应的深度图像；
所述三维模型通过施工范围内实时获取的二维图像基于映射关系建立；
所述映射关系的表达式如下：



其中，fx和fy表示获取二维图像的相机在x和y轴上的焦距，cx和cy表示该相机的光圈中心，s表示深度图像的缩放因子，(x，y，z)表示空间点坐标，(u，v，d)表示像素坐标，d表示深度数据。


4.根据权利要求1所述的一种基于带电作业场景下的多模态物体检测方法，其特征在于，所述在三维模型中对目标物体进行拟合，并在二维...

【专利技术属性】
技术研发人员：肖建，章佳琪，江斌，张子恒，王新宇，许杰，佟诚，梅青，黄丽，刘心维，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32