一种基于3D视觉、RGB特征的配电房监控方法技术

本发明专利技术涉及电力安全作业技术领域，尤其为一种基于3D视觉、RGB特征的配电房监控方法，其方法包括如下步骤：3D传感器实时测量空间三维数据，并通过局域网将空间三维数据发送至边缘计算网关，IPCamera实时采集RGB图像数据；本发明专利技术方法基于3D视觉技术并融合RGB特征技术，该方法不仅能够在光线不佳的状况下进行3D识别，且在安全着装、表计读数等识别场景能够有效识别出RGB信息，提升了识别效率及识别精准度，解决了当前电力应用的场景使用2D进行识别，不仅易受到光线的影响，且无法反映真实环境下的距离、空间等信息的问题，同时避免了仅依靠3D技术进行识别，无法应用在安全着装、表计读数等识别场景的状况。

【技术实现步骤摘要】
一种基于3D视觉、RGB特征的配电房监控方法
本专利技术涉及电力安全作业
，具体为一种基于3D视觉、RGB特征的配电房监控方法。
技术介绍
配电房是指带有低压负荷的室内配电场所，主要为低压用户配送电能，设有中压进线(可有少量出线)、配电变压器和低压配电装置。配电房内拥有大量的电子设备，一旦出现安全事故，会造成不可估量的后果，比如大面积停电或者火灾，因此对于配电房内的安全监控以及识别预防是不可或缺的措施。当前电力应用的场景使用2D的识别，有受光线影响大，强光或者弱光情况下基本不能使用；2D检测仅能提供目标物体在二维图片中的位置和对应类别的置信度，并不能反映真实环境下的距离、空间信息，例如在配电房、变电站区域入侵检测场景中，2D识别并不能准确地反映出真实的空间入侵行为，再如在开关识别场景中，如在光线不佳情况下，2D识别算法并不能准确的识别开关的变化；但是仅仅依靠3D的识别也是不行的，如在安全着装、表计读数等识别场景，则需要RGB信息；故在采用RGB-D传感融合方案，能大幅度提升识别效率及识别精准度。
技术实现思路
本专利技术的目的在于提供一种基于3D视觉、RGB特征的配电房监控方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于3D视觉、RGB特征的配电房监控方法，其方法包括如下步骤：步骤(S1)：3D传感器实时测量空间三维数据，并通过局域网将空间三维数据发送至边缘计算网关，IPCamera实时采集RGB图像数据，并通过局域网将RGB图像数据发送至边缘计算网关；步骤(S2)：边缘计算网关中的RGB特征提取模块将RGB图像送进卷积神经网络，并对需要识别的事件进行初步的分类，同时边缘计算网关中的3D特征提取模块对收到的3D点云数据进行特征提取；步骤(S3)：边缘计算网关中的特征融合模块将从RGB特征提取模块、3D特征提取模块得到的特征进行RGB特征和3D特征加权融合；步骤(S4)：融合后的特征输入到支持向量机并进行分类，然后将识别到的结果及结构化数据通过边缘计算网关云边协同的通道上传至安全监控云平台。优选的，所述步骤(1)中，在配电房安全识别场景引入3D传感器，实时测量空间的3D点云数据。优选的，所述步骤(1)中，3D传感器测量的空间三维数据和IPCamera实时采集RGB图像数据是同步进行发送的。优选的，所述步骤(2)中，边缘计算网关3D特征提取模块对目标区域的侵入物进行3D特征的提取，并提取出反映真实3D空间的特征。优选的，所述步骤(2)中，3D特征提取模块从3D点云数据中提取的特征为Depth-Honv特征。优选的，所述步骤(3)中，将RGB、3D特征进行加权融合，并通过为不同的特征分配权重系数来体现特征对最终识别结果的贡献。优选的，所述步骤(3)中，RGB特征和3D特征加权融合是通过多核学习方法进行的。优选的，所述步骤(4)中，该方法的整个系统是采用云边端协同的架构。与现有技术相比，本专利技术的有益效果如下：本专利技术方法基于3D视觉技术并融合RGB特征技术，该方法不仅能够在光线不佳的状况下进行3D识别，且在安全着装、表计读数等识别场景能够有效识别出RGB信息，提升了识别效率及识别精准度，解决了当前电力应用的场景使用2D进行识别，不仅易受到光线的影响，且无法反映真实环境下的距离、空间等信息的问题，同时避免了仅依靠3D技术进行识别，无法应用在安全着装、表计读数等识别场景的状况。附图说明图1为本专利技术方法的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一：一种基于3D视觉、RGB特征的配电房监控方法，其方法包括如下步骤：步骤(S1)：3D传感器实时测量空间三维数据，并通过局域网将空间三维数据发送至边缘计算网关，IPCamera实时采集RGB图像数据，并通过局域网将RGB图像数据发送至边缘计算网关，其中在配电房安全识别场景引入3D传感器，实时测量空间的3D点云数据，3D点云数据除了具有几何位置以外，有的还有颜色信息，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点，因此不受光线的影响；步骤(S2)：边缘计算网关中的RGB特征提取模块将RGB图像送进卷积神经网络，并对需要识别的事件进行初步的分类，同时边缘计算网关中的3D特征提取模块对收到的3D点云数据进行特征提取，其中边缘计算网关3D特征提取模块对目标区域的侵入物进行3D特征的提取，并提取出反映真实3D空间的特征，由于3D空间的特征包括有法向量、真实坐标位置、表面曲率等，这些特征弥补了2D特征的缺点，使得该系统的识别精准度更高；步骤(S3)：边缘计算网关中的特征融合模块将从RGB特征提取模块、3D特征提取模块得到的特征进行RGB特征和3D特征加权融合，将RGB、3D特征进行加权融合，并通过为不同的特征分配权重系数来体现特征对最终识别结果的贡献；步骤(S4)：融合后的特征输入到支持向量机并进行分类，然后将识别到的结果及结构化数据通过边缘计算网关云边协同的通道上传至安全监控云平台。实施例二：一种基于3D视觉、RGB特征的配电房监控方法，其方法包括如下步骤：步骤(S1)：3D传感器实时测量空间三维数据，并通过局域网将空间三维数据发送至边缘计算网关，IPCamera实时采集RGB图像数据，并通过局域网将RGB图像数据发送至边缘计算网关，其中在配电房安全识别场景引入3D传感器，实时测量空间的3D点云数据，3D点云数据除了具有几何位置以外，有的还有颜色信息，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点，因此不受光线的影响，且3D传感器测量的空间三维数据和IPCamera实时采集RGB图像数据是同步进行发送的，其保证了两种不同数据的同步性；步骤(S2)：边缘计算网关中的RGB特征提取模块将RGB图像送进卷积神经网络，并对需要识别的事件进行初步的分类，同时边缘计算网关中的3D特征提取模块对收到的3D点云数据进行特征提取，其中边缘计算网关3D特征提取模块对目标区域的侵入物进行3D特征的提取，并提取出反映真实3D空间的特征，由于3D空间的特征包括有法向量、真实坐标位置、表面曲率等，这些特征弥补了2D特征的缺点，使得该系统的识别精准度更高，3D特征提取模块从3D点云数据中提取的特征为Depth-Honv特征，Depth-Honv特征；步骤(S3)：边缘计算网关中的特征融合模块将从RGB特征提取模块、3D特征提取模块得到的特征进行RGB特征和3D特征加权融合，将RGB、3D特征进行加权融合，并通过为不同本文档来自技高网...

【技术保护点】
1.一种基于3D视觉、RGB特征的配电房监控方法，其特征在于：其方法包括如下步骤：/n步骤(S1)：3D传感器实时测量空间三维数据，并通过局域网将空间三维数据发送至边缘计算网关，IPCamera实时采集RGB图像数据，并通过局域网将RGB图像数据发送至边缘计算网关；/n步骤(S2)：边缘计算网关中的RGB特征提取模块将RGB图像送进卷积神经网络，并对需要识别的事件进行初步的分类，同时边缘计算网关中的3D特征提取模块对收到的3D点云数据进行特征提取；/n步骤(S3)：边缘计算网关中的特征融合模块将从RGB特征提取模块、3D特征提取模块得到的特征进行RGB特征和3D特征加权融合；/n步骤(S4)：融合后的特征输入到支持向量机并进行分类，然后将识别到的结果及结构化数据通过边缘计算网关云边协同的通道上传至安全监控云平台。/n

【技术特征摘要】
1.一种基于3D视觉、RGB特征的配电房监控方法，其特征在于：其方法包括如下步骤：
步骤(S1)：3D传感器实时测量空间三维数据，并通过局域网将空间三维数据发送至边缘计算网关，IPCamera实时采集RGB图像数据，并通过局域网将RGB图像数据发送至边缘计算网关；
步骤(S2)：边缘计算网关中的RGB特征提取模块将RGB图像送进卷积神经网络，并对需要识别的事件进行初步的分类，同时边缘计算网关中的3D特征提取模块对收到的3D点云数据进行特征提取；
步骤(S3)：边缘计算网关中的特征融合模块将从RGB特征提取模块、3D特征提取模块得到的特征进行RGB特征和3D特征加权融合；
步骤(S4)：融合后的特征输入到支持向量机并进行分类，然后将识别到的结果及结构化数据通过边缘计算网关云边协同的通道上传至安全监控云平台。


2.根据权利要求1所述的一种基于3D视觉、RGB特征的配电房监控方法，其特征在于：所述步骤(1)中，在配电房安全识别场景引入3D传感器，实时测量空间的3D点云数据。


3.根据权利要求1所述的一种基于3D视觉、RGB特征的配电房监控方法，其特征在于：所述步骤(1)中，3D传...

【专利技术属性】
技术研发人员：陈尚卫，陈金浩，
申请(专利权)人：南京瀚元科技有限公司，
类型：发明
国别省市：江苏;32