基于三维图像的缺陷识别方法、装置及电子设备制造方法及图纸

本公开实施例中提供了一种基于三维图像的缺陷识别方法、装置及电子设备，属于数据处理技术领域，该方法包括：获取无人机拍摄的三维点云数据集合；基于所述三维点云数据集合描述的目标对象的三维目标对象的尺寸，确定n个所述目标对象在水平方向的投影轮廓长度序列，形成第一特征向量；基于n个轴向轮廓特征矩阵的特征值，形成第二特征向量；将所述第一特征向量和所述第二特征向量分别作为水平向量和垂直向量进行乘计算，得到所述三维点云数据集合中目标对象的特征矩阵；基于匹配计算的结果，确定所述三维点云数据集合中的目标对象的类型以及相应缺陷。通过本公开的处理方案，能够有效的对侵入的异物进行检测和监控。

【技术实现步骤摘要】
基于三维图像的缺陷识别方法、装置及电子设备
本公开涉及数据处理
，尤其涉及一种基于三维图像的缺陷识别方法、装置及电子设备。
技术介绍
随着中国经济的飞速发展和城市化进程的加速，铁路交通已经成为重要交通工具，与城市居民通勤、旅游、商务人士的日常出行息息相关。铁轨异物检测是指为保证列车行驶安全，需要对铁轨区域进行异物排查的措施。按照我国列车安全行驶的有关规定，在铁路线路安全保护区及其邻近区域，不得有危害列车正常行驶的异物在国家规定的铁路限界内，以免因为司机在较近距离内才能看到异物后进行刹车处理，但刹车不及时、刹车距离过长与异物相撞造成的财产损失和安全事故。近年来，随着国家无人机行业的不断发展，无人机得到了越来越多的应用，通过无人机航拍图像实时进行铁轨异物检测也得到了长足的发展。如何基于无人机航拍得到的图像快速的识别缺陷，成为需要解决的问题。
技术实现思路
有鉴于此，本公开实施例提供一种基于三维图像的缺陷识别方法、装置及无人机，以至少部分解决现有技术中存在的问题。第一方面，本公开实施例提供了一种基于三维图像的缺陷识别方法，包括：获取无人机拍摄的三维点云数据集合；基于所述三维点云数据集合描述的目标对象的三维目标对象的尺寸，确定n个所述目标对象在水平方向的投影轮廓长度序列，形成第一特征向量；在所述目标对象三维模型的垂直方向，以所述目标对象三维模型的中心点为中心，以360/n度作为步进角度，依次轴向旋转n次，形成n个轴向轮廓特征矩阵，基于n个轴向轮廓特征矩阵的特征值，形成第二特征向量，n为预设的分割数值；将所述第一特征向量和所述第二特征向量分别作为水平向量和垂直向量进行乘计算，得到所述三维点云数据集合中目标对象的特征矩阵；将所述特征矩阵与模型库中已经存在的模型矩阵进行匹配计算，基于匹配计算的结果，确定所述三维点云数据集合中的目标对象的类型以及相应缺陷。根据本公开实施例的一种具体实现方式，所述获取无人机拍摄的三维点云数据集合，包括：通过预设的通信链路通道，从所述无人机端获取拍摄的三维点云数据集合。根据本公开实施例的一种具体实现方式，所述基于所述三维点云数据集合描述的目标对象的三维目标对象的尺寸，确定n个所述目标对象在水平方向的投影轮廓长度序列，包括：获取所述水平方向的投影轮廓的中心点以及所述投影轮廓在所述中心点上的最长连接线；对所述最长连接线进行n+1等分，计算n个等分点在所述最长连接线的垂直方向上的高度；将n个等分点在所述最长连接线的垂直方向上的高度作为所述第一特征向量中的n个元素。根据本公开实施例的一种具体实现方式，所述以所述目标对象三维模型的中心点为中心，以360/n度作为步进角度，依次轴向旋转n次，形成n个轴向轮廓特征矩阵，包括：以所述最长连接线所在的垂直面为起始旋转面，以360/n度作为步进角度，形成n个轴向轮廓面；将所述n个轴向轮廓面的水平方向和垂直方向上的相对位置坐标作为元素，形成n个轴向轮廓特征矩阵。根据本公开实施例的一种具体实现方式，所述基于匹配计算的结果，确定所述三维点云数据集合中的目标对象的类型以及相应缺陷，包括：判断所述特征矩阵与模型库中已经存在的模型矩阵的匹配值是否大于预设值；若否，则判定所述目标对象为异物对象；基于所述异物对象的最长连接线的长度，确定所述异物对象所对应的缺陷类型。根据本公开实施例的一种具体实现方式，所述获取无人机拍摄的三维点云数据集合之前，所述方法还包括控制无人机按照预设路线对所述预设路线上存在的目标对象进行拍摄飞行操作；利用所述无人机上设置的定位设备，实时获取无人机的当前位置信息；基于设置于所述无人机之上的图像采集设备，采集当前位置下预设路线上的目标对象，形成第一图像；获取与当前位置信息匹配的第二图像，将所述第一图像与所述第二图像进行差分匹配后，形成第三图像；对所述第三图像中进行目标识别，形成目标对象集合，实时采集目标对象集合中的每个目标对象形成的点云数据，形成点云数据序列，将点云数据序列中空间夹角大于预设夹角的点云数据剔除之后，基于当前位置信息，形成三维点云数据集合。根据本公开实施例的一种具体实现方式，所述采集当前位置下预设路线上的目标对象，形成第一图像，包括：利用所述图像采集设备上的左目相机和右目相机，分别采集左目视频帧和右目视频帧；基于所述左目视频帧和右目视频帧，计算当前视野下采集到的目标对象的深度值；当所述深度值小于预设深度值时，舍弃当前时刻采集到的左目视频帧和右目视频帧；当所述深度值大于预设深度值时，基于左目视频帧和右目视频帧生成所述第一图像。根据本公开实施例的一种具体实现方式，所述实时采集目标对象集合中的每个目标对象形成的点云数据，包括：获取识别到的目标对象在第三图像中的平面位置坐标；基于所述平面位置坐标和所述无人机当前的高度值，确定激光雷达的扫描角度；基于所述扫描角度，对所述识别到的目标对象进行雷达数据采集；基于采集到的雷达数据，形成与识别到的目标对象相关的点云数据。第二方面，本公开实施例提供了一种基于三维图像的缺陷识别装置，包括：获取模块，获取无人机拍摄的三维点云数据集合；确定模块，用于基于所述三维点云数据集合描述的目标对象的三维目标对象的尺寸，确定n个所述目标对象在水平方向的投影轮廓长度序列，形成第一特征向量；形成模块，用于在所述目标对象三维模型的垂直方向，以所述目标对象三维模型的中心点为中心，以360/n度作为步进角度，依次轴向旋转n次，形成n个轴向轮廓特征矩阵，基于n个轴向轮廓特征矩阵的特征值，形成第二特征向量，n为预设的分割数值；计算模块，用于将所述第一特征向量和所述第二特征向量分别作为水平向量和垂直向量进行乘计算，得到所述三维点云数据集合中目标对象的特征矩阵；执行模块，用于将所述特征矩阵与模型库中已经存在的模型矩阵进行匹配计算，基于匹配计算的结果，确定所述三维点云数据集合中的目标对象的类型以及相应缺陷。第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：至少一个处理器；以及，与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的基于三维图像的缺陷识别方法。第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的基于三维图像的缺陷识别方法。第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第本文档来自技高网...

【技术保护点】
1.一种基于三维图像的缺陷识别方法，其特征在于，包括：/n获取无人机拍摄的三维点云数据集合；/n基于所述三维点云数据集合描述的目标对象的三维目标对象的尺寸，确定n个所述目标对象在水平方向的投影轮廓长度序列，形成第一特征向量；/n在目标对象三维模型的垂直方向，以所述目标对象三维模型的中心点为中心，以360/n度作为步进角度，依次轴向旋转n次，形成n个轴向轮廓特征矩阵，基于n个轴向轮廓特征矩阵的特征值，形成第二特征向量，n为预设的分割数值；/n将所述第一特征向量和所述第二特征向量分别作为水平向量和垂直向量进行乘计算，得到所述三维点云数据集合中目标对象的特征矩阵；/n将所述特征矩阵与模型库中已经存在的模型矩阵进行匹配计算，基于匹配计算的结果，确定所述三维点云数据集合中的目标对象的类型以及相应缺陷。/n

【技术特征摘要】
1.一种基于三维图像的缺陷识别方法，其特征在于，包括：
获取无人机拍摄的三维点云数据集合；
基于所述三维点云数据集合描述的目标对象的三维目标对象的尺寸，确定n个所述目标对象在水平方向的投影轮廓长度序列，形成第一特征向量；
在目标对象三维模型的垂直方向，以所述目标对象三维模型的中心点为中心，以360/n度作为步进角度，依次轴向旋转n次，形成n个轴向轮廓特征矩阵，基于n个轴向轮廓特征矩阵的特征值，形成第二特征向量，n为预设的分割数值；
将所述第一特征向量和所述第二特征向量分别作为水平向量和垂直向量进行乘计算，得到所述三维点云数据集合中目标对象的特征矩阵；
将所述特征矩阵与模型库中已经存在的模型矩阵进行匹配计算，基于匹配计算的结果，确定所述三维点云数据集合中的目标对象的类型以及相应缺陷。


2.根据权利要求1所述的方法，其特征在于，所述获取无人机拍摄的三维点云数据集合，包括：
通过预设的通信链路通道，从所述无人机端获取拍摄的三维点云数据集合。


3.根据权利要求1所述的方法，其特征在于，所述基于所述三维点云数据集合描述的目标对象的三维目标对象的尺寸，确定n个所述目标对象在水平方向的投影轮廓长度序列，包括：
获取所述水平方向的投影轮廓的中心点以及所述投影轮廓在所述中心点上的最长连接线；
对所述最长连接线进行n+1等分，计算n个等分点在所述最长连接线的垂直方向上的高度；
将n个等分点在所述最长连接线的垂直方向上的高度作为所述第一特征向量中的n个元素。


4.根据权利要求3所述的方法，其特征在于，所述以目标对象三维模型的中心点为中心，以360/n度作为步进角度，依次轴向旋转n次，形成n个轴向轮廓特征矩阵，包括：
以所述最长连接线所在的垂直面为起始旋转面，以360/n度作为步进角度，形成n个轴向轮廓面；
将所述n个轴向轮廓面的水平方向和垂直方向上的相对位置坐标作为元素，形成n个轴向轮廓特征矩阵。


5.根据权利要求4所述的方法，其特征在于，所述基于匹配计算的结果，确定所述三维点云数据集合中的目标对象的类型以及相应缺陷，包括：
判断所述特征矩阵与模型库中已经存在的模型矩阵的匹配值是否大于预设值；
若否，则判定所述目标对象为异物对象；
基于所述异物对象的最长连接线的长度，确定所述异物对象所对应的缺陷类型。


6.根据权利要求1所述的方法，其特征在于，所述获取无人机拍摄的三维点云数据集合之前，所述方法还包括
控制无人机按照预设路线对所述预设路线上存在的目标对象进行拍摄飞行操作；
利用所述无人机上设置的定位设备，实时获取无人机的当前位置信息；
基于设置于所述无人机之上...

【专利技术属性】
技术研发人员：蒋梦，张淮，王鹤，黄玉君，丁海有，高飞，董建华，
申请(专利权)人：北京大成国测科技有限公司，
类型：发明
国别省市：北京;11