【技术实现步骤摘要】
本专利技术涉及计算机视觉、图像分类等领域，特别提供了一种基于可变形快速卷积的光伏组件缺陷识别方法。
技术介绍
1、为了保障生产安全和提高生产效益，对光伏板缺陷的及时发现尤为重要。通过无人机或巡检机器人携带红外相机进行巡视，使用深度学习等计算机视觉技术对图像进行识别是目前光伏板缺陷识别的常用方法。其中yolo算法在机器视觉领域具有重要影响力，特别是在目标检测领域。但是，该方法存在以下不足：
2、(1)传统卷积将特征图分成一个个与卷积核大小相同的部分，每部分在特征图上的位置都是固定的，这一操作使感受野呈现死板的方形，不能贴近目标的实际形状，对类似裂纹这类细长的特征提取能力不足。
3、(2)传统的图像识别模型没有注意到不同通道之间的相关性，不能区分不同通道的重要程度，有可能会增加对细小裂纹的漏检。
4、(3)传统的图像识别模型参数量大、计算量大、训练时间长，根本原因在于卷积操作使用了大量的非线性变换，对于较为明显的特征，卷积前后的特征很相似，不需要过度卷积。
5、针对以上不足，本专利技术提出一种基于可变形快速卷积的光伏组件缺陷识别方法。通过使用可变形卷积网络dcn，使模型能更好地适应检测目标的几何形变；通过使用ca坐标注意力机制，使模型具备全局信息捕捉能力，将算力选择性地分配给更重要的任务，提高模型的性能；通过使用ghost轻量化卷积神经网络，使模型在使用较少计算成本的前提下，保持较高的性能。
技术实现思路
1、本专利技术的主要目的是提供一
2、本专利技术提供的技术方案是:一种基于可变形快速卷积的光伏组件缺陷识别方法，包括以下步骤：
3、s1：将图像输入ghost卷积神经网络，通过ghost卷积神经网络提取图像的特征。具体操作为：输入图像，通过ghost模块将输入通道分成主要通道和辅助通道两个部分，两个部分各占一半；对主要通道进行常规卷积操作(primary_conv)，对辅助通道进行更廉价的卷积操作(cheap_operation)。其中，primary_conv是采用卷积核大小为1×1，步长为1的普通卷积层，cheap_operation是采用卷积核大小为5×5，步长为1的廉价卷积层。输入x首先通过primary_conv卷积层，将结果除以2得到primary_conv的输出；然后将primary_conv的输出通过cheap_operation卷积层，得到cheap_operation的输出；最后将primary_conv和cheap_operation的输出沿通道方向进行拼接，初步得到输入图像的特征。ghost模块的操作流程如图5所示。
4、s2：将s1输出的特征通过c2f模块将不同尺度的特征图进行融合。具体操作为：将s1输出的特征通过c2f模块进行融合，获得更丰富的梯度流信息，以提高目标检测的准确性；c2f模块的流程为：输入x首先通过第一个卷积核大小为1×1，步长为1的卷积层cv1，然后沿通道维度将输出分为2块，对每一块通过bottleneck模块进行处理，最后将所有处理过的块拼接在一起，通过第二个卷积核大小为1×1，步长为1的卷积层cv2，然后返回结果。bottleneck的流程为：输入x首先通过使用3×3的卷积核的卷积层，然后再通过使用3×3的卷积核的卷积层，输出为self.cv2；最后将输入数据x与self.cv2相加。c2f模块如图6所示，bottleneck如图7所示。
5、s3：将dcn和c2f融合形成新的c2f_dcn可变形特征融合模块。具体操作为：在上述c2f模块的bottleneck中引入dcn可变形卷积，形成c2f_dcn可变形特征融合模块，使模型不仅可以利用通道信息和空间信息，还可以适应目标的几何形变。使用dcn的bottleneck的流程为：输入x首先通过使用3×3的dcn可变形卷积核的卷积层，然后再通过使用3×3的dcn可变形卷积核的卷积层，输出为self.cv2；最后将输入数据x与self.cv2相加。引入dcn可变形卷积的bottleneck如图8所示。c2f_dcn可变形特征融合模块在位置p0的像素值为：
6、
7、其中，p0是输出特征图的每个点，对应卷积核的中心点。pn是p0在卷积核范围内的每个偏移量。w(pn)是卷积核的权重。x(p0+pn+δpn)是输入特征图的像素值，其中δpn是自学习的偏移量。δmn是每个采样点的权重。
8、s4：将s2输出的特征输入ghost卷积神经网络，交替通过ghost卷积神经网络和c2f_dcn可变形特征融合模块进行卷积和特征融合，进一步贴近目标形状提取特征，具体操作如下：
9、s41：将s2输出的特征输入ghost卷积神经网络，输出通道数为256，卷积核大小为3，步幅为2，尺度大小为输入图像的1/8；然后通过c2f_dcn可变形特征融合模块进行特征融合，重复6次，输出通道数为256；
10、s42：将s41输出的特征输入ghost卷积神经网络，输出通道数为512，卷积核大小为3，步幅为2，尺度大小为输入图像的1/16；然后通过c2f_dcn可变形特征融合模块进行特征融合，重复6次，输出通道数为512；
11、s43：将s42输出的特征输入ghost卷积神经网络，输出通道数为1024，卷积核大小为3，步幅为2，尺度大小为输入图像的1/32；然后通过c2f_dcn可变形特征融合模块进行特征融合，重复3次，输出通道数为1024；
12、s5：将s4输出的特征输入sppf特征提取层，用于处理不同尺度的感受野，并捕捉图像中不同尺度目标的特征。具体操作为：将s43输出的特征输入sppf特征提取层，将输入图像分成多个不同尺度的金字塔层次，然后对每个层次进行最大池化操作，最后将所有层次的结果拼接起来，得到最终的输出，具体公式如下：
13、设输入特征图为x∈rh×w×c1，其中h和w是特征图的高度和宽度，c1是输入通道数。卷积层cv1和cv2的权重分别为w1∈rc×c1×1×1和w2∈rc2×4c×1×1，其中c＝c1/2，c2是输出通道数。首先，输入特征图通过cv1卷积层，得到y1＝x*w1，其中“*”表示卷积操作。然后，y1经过三次最大池化操作，得到y2＝m(y1),y3＝m(y2),y4＝m(y3)，其中m表示最大池化操作。最后，将y1,y2,y3,y4沿通道方向进行拼接，然后通过cv2卷积层，得到输出特征图y＝[y1；y2；y3；y4]*w2，其中“；”表示拼接操作。
14、s6：将s5输出的特征输入ca坐标注意力网络，整合空间坐标信息，强调注意区域的表示，公式如下：
15、设x∈rh×w本文档来自技高网...
【技术保护点】
1.一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，S1具体操作为：输入图像，通过Ghost模块将输入通道分成主要通道和辅助通道两个部分，两个部分各占一半；对主要通道进行常规卷积操作primary_conv，对辅助通道进行更廉价的卷积操作cheap_operation；其中，primary_conv是采用卷积核大小为1×1，步长为1的普通卷积层，cheap_operation是采用卷积核大小为5×5，步长为1的廉价卷积层；输入x首先通过primary_conv卷积层，将结果除以2得到primary_conv的输出；然后将primary_conv的输出通过cheap_operation卷积层，得到cheap_operation的输出；最后将primary_conv和cheap_operation的输出沿通道方向进行拼接，初步得到输入图像的特征。
3.根据权利要求1所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，S2具体操作为：将S1输出
4.根据权利要求1所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，S3具体操作为：在上述C2f模块的Bottleneck中引入DCN可变形卷积，形成C2f_DCN可变形特征融合模块；使用DCN的Bottleneck的流程为：输入x首先通过使用3×3的DCN可变形卷积核的卷积层，然后再通过使用3×3的DCN可变形卷积核的卷积层，输出为self.cv2；最后将输入数据x与self.cv2相加；引入DCN可变形卷积的Bottleneck；C2f_DCN可变形特征融合模块在位置p0的像素值为：
5.根据权利要求1所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，S4具体操作如下：
6.根据权利要求5所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，S41中，Ghost卷积神经网络所提取的特征尺度大小为输入图像的1/8，用于检测小目标；
7.根据权利要求1所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，S5具体操作为：将S43输出的特征输入SPPF特征提取层，将输入图像分成多个不同尺度的金字塔层次，然后对每个层次进行最大池化操作，最后将所有层次的结果拼接起来，得到最终的输出，具体公式如下：
8.根据权利要求1所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，S6中，设X∈RH×W×C为输入张量，Y∈RH'×W'×C'为输出张量，ZH∈RH×1×C，ZW∈R1×W×C为方向感知特征映射，Ah∈RH×W×1，AW∈RH×W×1为注意力映射，其中H和W是特征图的高度和宽度，C是通道数，CA注意力机制定义为：
9.根据权利要求1所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，S11中，非极大值抑制算法的步骤如下：
10.根据权利要求9所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，S11中，计算参考框与其余候选框的交并比的具体方法为：
...【技术特征摘要】
1.一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，s1具体操作为：输入图像，通过ghost模块将输入通道分成主要通道和辅助通道两个部分，两个部分各占一半；对主要通道进行常规卷积操作primary_conv，对辅助通道进行更廉价的卷积操作cheap_operation；其中，primary_conv是采用卷积核大小为1×1，步长为1的普通卷积层，cheap_operation是采用卷积核大小为5×5，步长为1的廉价卷积层；输入x首先通过primary_conv卷积层，将结果除以2得到primary_conv的输出；然后将primary_conv的输出通过cheap_operation卷积层，得到cheap_operation的输出；最后将primary_conv和cheap_operation的输出沿通道方向进行拼接，初步得到输入图像的特征。
3.根据权利要求1所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，s2具体操作为：将s1输出的特征通过c2f模块进行融合，获得更丰富的梯度流信息，提高目标检测的准确性；c2f模块的流程为：输入x首先通过第一个卷积核大小为1×1，步长为1的卷积层cv1，然后沿通道维度将输出分为2块，对每一块通过bottleneck模块进行处理，最后将所有处理过的块拼接在一起，通过第二个卷积核大小为1×1，步长为1的卷积层cv2，然后返回结果；bottleneck的流程为：输入x首先通过使用3×3的卷积核的卷积层，然后再通过使用3×3的卷积核的卷积层，输出为self.cv2；最后将输入数据x与self.cv2相加。
4.根据权利要求1所述的一种基于可变形快速卷积的光伏组件缺陷识别方法，其特征在于，s3具体操作为：在上...
【专利技术属性】
技术研发人员：代钦，高英才，王洪江，沈庆泽，刘芳，
申请(专利权)人：沈阳工程学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。