基于图像的目标检测方法及装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种基于图像的目标检测方法、基于图像的目标检测装置、电子设备及非易失性计算机可读存储介质。方法包括对图像数据进行卷积以得到卷积特征向量；对所述卷积特征向量进行全局池化操作及全连接操作，以生成权重向量；根据所述卷积特征向量和所述权重向量，输出目标特征向量，并基于所述目标特征向量进行目标对象的检测。通过对图像数据卷积得到卷积特征向量，对卷积特征向量进行全局池化和全连接，从而得到卷积特征向量中的每个特征的权重，以生成权重向量。根据权重向量和卷积特征向量输出目标特征向量，去除了冗余特征，不仅提升了检测效率，而且保证了基于目标特征向量进行目标对象的检测的检测效果。进行目标对象的检测的检测效果。进行目标对象的检测的检测效果。

【技术实现步骤摘要】
基于图像的目标检测方法及装置、电子设备及存储介质


[0001]本专利技术涉及目标跟踪
，特别涉及一种基于图像的目标检测方法、基于图像的目标检测装置、电子设备及非易失性计算机可读存储介质。

技术介绍

[0002]目前，在对多模态数据进行融合以实现目标对象的检测过程中，为了得到更好的检测效果，会增加卷积神经网络的层数，且若增加卷积神经网络层数，卷积神经网络可以进行更加复杂的特征模式的提取，所以当模型更深时，理论上可以取得更好的结果。但是在实践中，随着卷积神经网络深度的增加，卷积神经网络检测的准确度出现饱和，甚至出现下降，残差网络利用短路连接解决了这个问题，但是残差网络做的是全等映射，会将冗余的特征传递到后面的卷积层，冗余的信息会对检测造成干扰，影响对目标对象的检测效果。

技术实现思路

[0003]本专利技术实施方式提供了一种基于图像的目标检测方法、目标检测装置、电子设备及非易失性计算机可读存储介质。
[0004]本专利技术实施方式的基于图像的目标检测方法包括对图像数据进行卷积以得到卷积特征向量，所述图像数据为可见光图像数据或热成像图像数据；对所述卷积特征向量进行全局池化操作及全连接操作，以生成权重向量；根据所述卷积特征向量和所述权重向量，输出目标特征向量，并基于所述目标特征向量进行目标对象的检测。
[0005]在某些实施方式中，所述图像数据包括第一图像数据和第二图像数据，所述第一图像数据和所述第二图像数据的类型不同且包含相同的目标对象，所述目标特征向量包括第一特征向量和第二特征向量，所述第一图像数据与所述第一特征向量对应，所述第二图像数据与所述第二特征向量对应。
[0006]在某些实施方式中，目标检测方法还包括根据所述第一特征向量和所述第二特征向量，以生成第三特征向量；对所述第三特征向量进行全局池化操作及全连接操作，以生成第四特征向量；拆分所述第四特征向量，以生成与所述第一图像数据对应的第一权重向量和与所述第二图像数据对应的第二权重向量；根据所述第一特征向量和所述第一权重向量，以生成第五特征向量；根据所述第二特征向量和所述第二权重向量，以生成第六特征向量；及对所述第五特征向量和所述第六特征向量进行融合处理，以生成融合特征向量。
[0007]在某些实施方式中，所述第一图像数据为可见光图像数据，所述第二图像数据为热成像图像数据。
[0008]在某些实施方式中，所述根据所述卷积特征向量和所述权重向量，输出目标特征向量，包括：将所述卷积特征向量和所述权重向量相乘后，输入到预设的激活函数，以输出所述目标特征向量。
[0009]在某些实施方式中，生成融合特征向量，之后目标检测方法还包括对所述融合特征向量进行卷积，以输出目标检测信息。
[0010]在某些实施方式中，所述对图像数据进行卷积以得到卷积特征向量，包括：通过卷积网络对所述图像数据进行卷积以得到中间特征；通过残差网络对所述中间特征进行卷积，以得到所述卷积特征向量。
[0011]本专利技术实施方式的基于图像的目标检测装置包括主干网络模块，所述主干网络模块包括残差网络和特征压缩单元，所述残差网络用于对图像数据进行卷积以得到卷积特征向量；所述特征压缩单元对所述卷积特征向量进行全局池化操作及全连接操作，以生成权重向量；根据所述卷积特征向量和所述权重向量，输出目标特征向量，并基于所述目标特征向量进行目标对象的检测。
[0012]本专利技术实施方式的电子设备。所述电子设备包括处理器，所述处理器用于执行上述任一实施方式的目标检测方法。
[0013]本专利技术实施方式提供一种非易失性计算机可读存储介质，其上存储有计算机程序。该计算机程序被处理器执行时实现上述任一实施方式的目标检测方法。
[0014]本专利技术的基于图像的目标检测方法、基于图像的目标检测装置、电子设备及非易失性计算机可读存储介质，通过对图像数据(如可见光图像数据或热成像图像数据)进行卷积，得到卷积特征向量，然后对卷积特征向量进行全局池化和全连接，从而得到卷积特征向量中的每个特征的权重，以生成权重向量，然后根据权重向量和卷积特征向量输出目标特征向量，从而实现对卷积特征向量的压缩，去除了冗余特征，防止冗余特征影响目标对象的检测，不仅提升了检测效率，而且保证了基于目标特征向量进行目标对象的检测的检测效果。
[0015]本专利技术实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0016]本专利技术的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
[0017]图1是本专利技术某些实施方式的目标检测方法的流程示意图；
[0018]图2是本专利技术某些实施方式的目标检测装置的结构示意图；
[0019]图3是本专利技术某些实施方式的目标检测方法的原理示意图；
[0020]图4是本专利技术某些实施方式的目标检测方法的流程示意图；
[0021]图5是本专利技术某些实施方式的目标检测方法的流程示意图；
[0022]图6是本专利技术某些实施方式的目标检测方法的原理示意图；
[0023]图7是本专利技术某些实施方式的目标检测方法的流程示意图；
[0024]图8是本专利技术某些实施方式的电子设备的平面示意图；及
[0025]图9是本专利技术某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
[0026]下面详细描述本专利技术的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施方式是示例性的，仅用于解释本专利技术的实施方式，而不能理解为对本专利技术的实施方式的限制。
[0027]下面首先对本专利技术出现的名词进行解释：
[0028]机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
[0029]深度学习(Deep Learning，DL)：是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是学习训练样本数据的内在规律和表示层次，这些学习过程中获得的信息对文字、图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
[0030]卷积神经网络：是一类包含卷积计算且具有深度结构的前馈神经网络(Feedfor本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的目标检测方法，其特征在于，包括：对图像数据进行卷积以得到卷积特征向量；对所述卷积特征向量进行全局池化操作及全连接操作，以生成权重向量；及根据所述卷积特征向量和所述权重向量，输出目标特征向量，并基于所述目标特征向量进行目标对象的检测。2.根据权利要求1所述的目标检测方法，其特征在于，所述图像数据包括第一图像数据和第二图像数据，所述第一图像数据和所述第二图像数据的类型不同且包含相同的目标对象，所述目标特征向量包括第一特征向量和第二特征向量，所述第一图像数据与所述第一特征向量对应，所述第二图像数据与所述第二特征向量对应。3.根据权利要求2所述的目标检测方法，其特征在于，还包括：根据所述第一特征向量和所述第二特征向量，以生成第三特征向量；对所述第三特征向量进行全局池化操作及全连接操作，以生成第四特征向量；拆分所述第四特征向量，以生成与所述第一图像数据对应的第一权重向量和与所述第二图像数据对应的第二权重向量；根据所述第一特征向量和所述第一权重向量，以生成第五特征向量；根据所述第二特征向量和所述第二权重向量，以生成第六特征向量；及对所述第五特征向量和所述第六特征向量进行融合处理，以生成融合特征向量。4.根据权利要求2或3所述的目标检测方法，其特征在于，所述第一图像数据为可见光图像数据，所述第二图像数据为热成像图像数据。5.根据权利要求1所述的目标检...

【专利技术属性】
技术研发人员：李明月，王连忠，龚向锋，崔文朋，熊艳伟，卢浩，刘彬，臧其威，张桂庆，孙健，苏伟，
申请(专利权)人：国网江苏省电力有限公司电力科学研究院，
类型：发明
国别省市：