一种基于二维图像和几何形状的电力三维点云补全方法技术

本发明专利技术涉及一种基于二维图像和几何形状的电力三维点云补全方法，包括以下步骤：

【技术实现步骤摘要】
一种基于二维图像和几何形状的电力三维点云补全方法


[0001]本专利技术涉及电网业务中电力场景点云模型建模
，尤其涉及一种基于二维图像和几何形状的电力三维点云补全方法。

技术介绍

[0002]电网输变电施工作业具有点多、面广、环境复杂多变的特点，现场制约因素多，安全管理难度大，亟待利用先进技术手段实现电力输变电施工作业智能化管控。通过三维点云建模的方法获取现场三维空间信息，然后判断作业人员在三维空间的位置，可以高效高精度地实现人员安全管控。
[0003]通过激光雷达或双面相机等设备采集现场设备的三维坐标信息，采集出的点称为点云。然而，在实际点云采集过程中，由于物体不反光、缺少纹理等多种原因，经常出现区域点云大量缺失的情况（如图1），导致后续的施工作业智能化管控能力受到严重影响。为此，对缺失点云的快速、准确的补全方法在电网输变电施工作业场景建模以及其它场景点云建模方面有极大的应用价值。
[0004]由于场景物体不反光、无纹理、纹理单一或局部无纹理等原因导致的局部区域点云大量缺失，导致建立的三维点云模型与实际场景差异较大，而现有的基于几何形状或基于神经网络的点云补全算法均是基于已有点云进行小范围补全，无法实现大面积补全。如专利CN114565738A公开了一种基于局部几何一致性与特征一致性的点云补全方法，CN114693873A公开了一种基于动态图卷积和注意力机制的点云补全方法，上述方法尽管利用了局部几何特征，但由于输入数据只有原始点云数据，数据信息有限，仅能对局部点云进行补全，对于点云大面积缺失的情况，由于缺少参考点导致无法补全。

技术实现思路

[0005]本专利技术所要解决的技术问题是提供一种准确性和可信度高的基于二维图像和几何形状的电力三维点云补全方法。
[0006]为解决上述问题，本专利技术所述的一种基于二维图像和几何形状的电力三维点云补全方法，包括以下步骤：
⑴
将二维图像进行分割：选择电力设备，采用数码相机采集该电力设备的二维图像，同时采用点云设备采集其点云，然后采用图像分割算法，将二维图像分割成M个区域，计算M个区域的面积并用像素数量表示，取出面积大于数值k的N个区域；
⑵
根据二维图像到三维点云的映射关系，计算二维图像的N个区域中各像素点对应的点云坐标；
⑶
确认图像区域是否需要点云补全：对步骤
⑵
中的N个区域逐个判断，如果某个区域的边缘坐标在同一个平面内，且该区域中间部分存在像素点无对应点云，则标记该区域为需要点云补全的区域；重复操作，直
至从N个区域中找出了P个需要点云补全的区域；
⑷
计算无对应点云坐标的像素点的点云坐标，实现点云补全：对P个需要点云补全的区域中的每个区域分别处理，按下式计算每个区域中无对应点云坐标的像素点的点云坐标：点云坐标=图像像素坐标
×
矩阵B式中：矩阵B为当前图像区域的坐标到该区域对应的三维点云坐标的映射矩阵；根据已经计算出需要补全的像素对应的点云坐标，将该像素颜色值和坐标值补充到已有的点云模型中，即可实现点云数据补全，得到完整的点云模型。
[0007]所述步骤
⑵
中映射关系是通过点云模型坐标和相机坐标以及相机焦距来确定。
[0008]所述步骤
⑵
中各像素点对应的点云坐标的计算过程是：根据二维图像到三维点云的映射关系，采用二维图像相机对N个区域中每个像素点沿着图像的镜头方向搜索，如果搜索到的点云颜色与图像像素颜色一致，则认为该像素点搜索成功，记录该点云坐标为该图像像素点的实际坐标；如果搜索到的点云颜色与图像像素颜色不一致，则认为该像素点搜索失败，无法在点云中找到该像素点对应的点云，即该像素点对应的点云是缺失需要补全的。
[0009]本专利技术与现有技术相比具有以下优点：1、本专利技术从清晰的二维图像入手，首先将二维图像进行分割，然后计算二维图像的各个区域中各像素点对应的点云坐标，根据某个区域是否存在大量点云缺失以及区域边缘点云坐标是否在同一平面这两个条件来判断该区域是否为缺失区域，如果为缺失区域，直接将区域内的图像像素补全到点云模型中，从而实现极好的点云补全效果。由于二维图像通过数码相机采集，数据质量远远高于残缺点云数据，所以这种使用二维图像数据计算的方法，比现有的通过点云数据计算的方法的准确性和可信度都有大幅度提升。
[0010]2、本专利技术采用二维图像区域分割以及“区域中间点云丢失、边缘点云在一个平面上”的判断方法，具有大面积点云补全的能力，可解释性强。
[0011]3、本专利技术使用二维图像对点云模型进行补全，具有点云密度大、可信度高、色彩信息丰富的优势，且以目前技术条件，相同成本的情况下，高清晰度的二维图像比点云数据更容易获取，这使得本专利技术具有极高的实用价值。
附图说明
[0012]下面结合附图对本专利技术的具体实施方式作进一步详细的说明。
[0013]图1为现有技术中缺失数据点的控制柜点云图。
[0014]图2为本专利技术的点云模型补全流程图。
[0015]图3为本专利技术中控制柜二维图像。
[0016]图4为本专利技术中控制柜分割后图像。
[0017]图5为本专利技术中各像素点对应的点云坐标的计算过程。
[0018]图6为本专利技术中补全后的点云模型。
具体实施方式
[0019]如图2所示，一种基于二维图像和几何形状的电力三维点云补全方法，包括以下步
骤：
⑴
将二维图像进行分割：选择电力设备，采用数码相机采集该电力设备的二维图像，同时采用点云设备采集其点云，然后采用图像分割算法，将二维图像分割成M个区域，计算M个区域的面积并用像素数量表示，取出面积大于数值k的N个区域。
[0020]⑵
根据二维图像到三维点云的映射关系，计算二维图像的N个区域中各像素点对应的点云坐标。映射关系是通过点云模型坐标和相机坐标以及相机焦距来确定。
[0021]根据现有点云中各点的三维坐标和点云颜色值，尽可能找到二维图像中每个分割平面的点云坐标。各像素点对应的点云坐标的计算过程是：根据二维图像到三维点云的映射关系，采用二维图像相机对N个区域中每个像素点沿着图像的镜头方向搜索，如果搜索到的点云颜色与图像像素颜色一致，则认为该像素点搜索成功，记录该点云坐标为该图像像素点的实际坐标；如果搜索到的点云颜色与图像像素颜色不一致，则认为该像素点搜索失败，无法在点云中找到该像素点对应的点云，即该像素点对应的点云是缺失需要补全的。
[0022]⑶
确认图像区域是否需要点云补全：对步骤
⑵
中的N个区域逐个判断，如果某个区域的边缘坐标在同一个平面内，且该区域中间部分存在像素点无对应点云，则标记该区域为需要点云补全的区域；重复操作，直至从N个区域中找出了P个需要点云补全的区域。
[0023]⑷
计算无对应点云坐标的像素点的点云坐标，实现点云补全：对P个需要点云补全的区域中的每个区域分别处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维图像和几何形状的电力三维点云补全方法，包括以下步骤：
⑴
将二维图像进行分割：选择电力设备，采用数码相机采集该电力设备的二维图像，同时采用点云设备采集其点云，然后采用图像分割算法，将二维图像分割成M个区域，计算M个区域的面积并用像素数量表示，取出面积大于数值k的N个区域；
⑵
根据二维图像到三维点云的映射关系，计算二维图像的N个区域中各像素点对应的点云坐标；
⑶
确认图像区域是否需要点云补全：对步骤
⑵
中的N个区域逐个判断，如果某个区域的边缘坐标在同一个平面内，且该区域中间部分存在像素点无对应点云，则标记该区域为需要点云补全的区域；重复操作，直至从N个区域中找出了P个需要点云补全的区域；
⑷
计算无对应点云坐标的像素点的点云坐标，实现点云补全：对P个需要点云补全的区域中的每个区域分别处理，按下式计算每个区域中无对应点云坐标的像素点的点云坐标：点云坐标=图像像素坐标
...

【专利技术属性】
技术研发人员：张祥全，蔡常雨，马志程，仝杰，赵金雄，张英强，张驯，陈钊，聂江龙，贺洲强，狄磊，
申请(专利权)人：国网甘肃省电力公司中国电力科学研究院有限公司，
类型：发明
国别省市：