基于深度学习的智能物体检测方法、系统、终端及介质技术方案

本申请涉及一种基于深度学习的智能物体检测方法、系统、终端及介质。所述方法包括：获取包括参考图像和目标图像的图像对，根据检测时间和检测重合率精度从多种物体检测方法中确定正解方法，并采用正解方法对图像对进行标记，构建包括图像对和正解方法的训练数据集，将训练数据集输入预先构建的深度孪生网络得到预测正解方法；将预测正解方法与正解方法输入预先构建的损失函数对深度孪生网络进行训练，得到训练好的深度孪生网络；将待检测图像对输入训练好的深度孪生网络得到最优检测方法，根据最优检测方法对待检测图像对进行检测，得到目标物体。采用本方法能够针对不同的场景时智能地选择最优的物体检测方法进行检测，具有良好的普适性。具有良好的普适性。具有良好的普适性。

【技术实现步骤摘要】
基于深度学习的智能物体检测方法、系统、终端及介质


[0001]本申请涉及图像处理
，特别是涉及一种基于深度学习的智能物体检测方法、系统、终端及介质。

技术介绍

[0002]现存的物体检测方法多样，不同的方法在不同的场景下实现的效果不一，比如直方图匹配方法(HM，Histogram Matching)只考虑物体总体的特性，忽视局部的细节，擅长解决物体的形变、缩放等问题，但是不擅长处理有障碍物遮挡和光照变化的情况；而色调映射方法(TM，Tone Mapping)方法却擅长处理光照变化，而很难处理形变缩放等问题。另外一些方法的精度很高，但是计算复杂度很高，一些简单的使用场景不需要。因此，有必要针对不同的场景选择检测效果最优的方法进行物体检测。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够将多种物体检测方法有机融合为一个识别系统以适应更多的场景的基于深度学习的智能物体检测方法、系统、终端及介质。
[0004]一种基于深度学习的智能物体检测方法，所述方法包括：
[0005]获取包括参考图像和目标图像的图像对，随机选择一种物体检测方法对图像对进行物体检测，得到检测结果和检测时间，将检测结果与图像对的正解结果进行比较，得到检测结果重合率，根据检测结果重合率和检测时间进行计算，得到图像对的正解方法，根据正解方法对图像对进行标记，构建包括图像对和正解方法的训练数据集；
[0006]将训练数据集输入预先构建的深度孪生网络进行计算，得到预测正解方法；其中，深度孪生网络包括主干网络、融合网络以及分类器；根据两组结构相同的主干网络中的注意力网络对图像对进行投票赋权，提取得到参考图像特征和目标图像特征；根据融合网络融合参考图像特征和目标图像特征，得到最终特征；根据分类器对最终特征进行处理，得到预测正解方法；
[0007]将预测正解方法与正解方法输入预先构建的损失函数进行计算，根据损失函数对深度孪生网络进行训练，得到训练好的深度孪生网络；
[0008]将待检测图像对输入训练好的深度孪生网络进行计算，得到最优检测方法，根据最优检测方法对待检测图像对进行检测，得到目标物体。
[0009]在其中一个实施例中，将检测结果与图像对的正解结果进行比较，得到检测结果重合率，表示为
[0010][0011]其中，OR
i
表示第i种物体检测方法的检测结果重合率，Ground truth表示图像对的正解结果，Results(i)表示第i种物体检测方法的检测结果。
[0012]在其中一个实施例中，根据检测结果重合率和检测时间进行计算，得到图像对的正解方法，包括：
[0013]预先设置重合率阈值和时间阈值对检测结果重合率和检测时间进行计算，得到检测评价值，表示为
[0014][0015]其中，score
i
表示第i种物体检测方法的检测评价值，t
i
表示第i种物体检测方法的检测时间，OR
th
和t
th
分别表示重合率阈值和时间阈值，λ表示调整参数；
[0016]比较多种物体检测方法的检测评价值，选取检测评价值最高的物体检测方法作为图像对的正解方法。
[0017]在其中一个实施例中，根据两组结构相同的主干网络中的注意力网络对图像对进行投票赋权，提取得到参考图像特征和目标图像特征，包括：
[0018]根据参考图像中目标物体的位置区域设置目标区域模版，根据目标区域模版对参考图像和目标图像中的同一位置进行框选；
[0019]根据注意力网络判断图像对的目标区域模版中同一像素点的区别，根据区别大小对像素点进行投票，得到投票结果；
[0020]将投票结果与预先设置的投票判断阈值进行比较，根据比较结果对像素点赋予权重。
[0021]在其中一个实施例中，根据注意力网络判断图像对的目标区域模版中同一像素点的区别，根据区别大小对像素点进行投票，得到投票结果，表示为
[0022][0023][0024]其中，k(x,y)表示投票值，I
q
表示参考图像，I
t
表示目标图像，pix
th
表示像素点区别阈值，(x,y)表示像素点，T表示目标区域模版，τ＝max(mean(I
q
),mean(I
t
))/min(mean(I
q
),mean(I
t
))表示环境变化量，mean(.)为计算图像的平均像素值，max(.)为取最大值函数，min(.)为取最小值函数。
[0025]在其中一个实施例中，将投票结果与预先设置的投票判断阈值进行比较，根据比较结果对像素点赋予权重，包括：
[0026]当像素点的投票结果大于等于投票判断阈值时，判定像素点为目标物体，对像素点赋予大于1的权重；
[0027]当像素点的投票结果小于投票判断阈值时，判定像素点不是目标物体，不对像素点赋予权重。
[0028]在其中一个实施例中，将预测正解方法与正解方法输入预先构建的损失函数进行计算，根据损失函数对深度孪生网络进行训练，得到训练好的深度孪生网络，包括：
[0029]预先构建的损失函数表示为
[0030][0031]其中，In(
·
)表示指示函数，N为图像对的数量，表示预测正解方法，o
i
为目标物体在参考图像中的位置，GT
i
表示正解方法；
[0032]将预测正解方法与正解方法输入损失函数进行计算，根据损失函数对深度孪生网络进行训练，得到训练好的深度孪生网络。
[0033]一种基于深度学习的智能物体检测系统，所述系统包括：
[0034]预处理模块，用于获取包括参考图像和目标图像的图像对，随机选择一种物体检测方法对图像对进行物体检测，得到检测结果和检测时间，将检测结果与图像对的正解结果进行比较，得到检测结果重合率，根据检测结果重合率和检测时间进行计算，得到图像对的正解方法，根据正解方法对图像对进行标记，构建包括图像对和正解方法的训练数据集；
[0035]网络构建模块，用于将训练数据集输入预先构建的深度孪生网络进行计算，得到预测正解方法；其中，深度孪生网络包括主干网络、融合网络以及分类器；根据两组结构相同的主干网络中的注意力网络对图像对进行投票赋权，提取得到参考图像特征和目标图像特征；根据融合网络融合参考图像特征和目标图像特征，得到最终特征；根据分类器对最终特征进行处理，得到预测正解方法；
[0036]训练检测模块，用于将预测正解方法与正解方法输入预先构建的损失函数进行计算，根据损失函数对深度孪生网络进行训练，得到训练好的深度孪生网络；将待检测图像对输入训练好的深度孪生网络进行计算，得到最优检测方法，根据最优检测方法对待检测图像对进行检测，得到目标物体。
[0037]一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的智能物体检测方法，其特征在于，所述方法包括：获取包括参考图像和目标图像的图像对，随机选择一种物体检测方法对所述图像对进行物体检测，得到检测结果和检测时间，将所述检测结果与所述图像对的正解结果进行比较，得到检测结果重合率，根据所述检测结果重合率和检测时间进行计算，得到所述图像对的正解方法，根据所述正解方法对所述图像对进行标记，构建包括所述图像对和正解方法的训练数据集；将所述训练数据集输入预先构建的深度孪生网络进行计算，得到预测正解方法；其中，所述深度孪生网络包括主干网络、融合网络以及分类器；根据两组结构相同的所述主干网络中的注意力网络对所述图像对进行投票赋权，提取得到参考图像特征和目标图像特征；根据所述融合网络融合所述参考图像特征和目标图像特征，得到最终特征；根据所述分类器对所述最终特征进行处理，得到预测正解方法；将所述预测正解方法与所述正解方法输入预先构建的损失函数进行计算，根据所述损失函数对所述深度孪生网络进行训练，得到训练好的深度孪生网络；将待检测图像对输入训练好的深度孪生网络进行计算，得到最优检测方法，根据所述最优检测方法对所述待检测图像对进行检测，得到目标物体。2.根据权利要求1所述的方法，其特征在于，将所述检测结果与所述图像对的正解结果进行比较，得到检测结果重合率，表示为其中，OR
i
表示第i种物体检测方法的检测结果重合率，Ground truth表示所述图像对的正解结果，Results(i)表示第i种物体检测方法的检测结果。3.根据权利要求2所述的方法，其特征在于，根据所述检测结果重合率和检测时间进行计算，得到所述图像对的正解方法，包括：预先设置重合率阈值和时间阈值对所述检测结果重合率和检测时间进行计算，得到检测评价值，表示为其中，score
i
表示第i种物体检测方法的检测评价值，t
i
表示第i种物体检测方法的检测时间，OR
th
和t
th
分别表示所述重合率阈值和所述时间阈值，λ表示调整参数；比较多种物体检测方法的检测评价值，选取所述检测评价值最高的物体检测方法作为所述图像对的正解方法。4.根据权利要求1至3任意一项所述的方法，其特征在于，根据两组结构相同的所述主干网络中的注意力网络对所述图像对进行投票赋权，提取得到参考图像特征和目标图像特征，包括：根据所述参考图像中目标物体的位置区域设置目标区域模版，根据所述目标区域模版对所述参考图像和目标图像中的同一位置进行框选；根据所述注意力网络判断所述图像对的目标区域模版中同一像素点的区别，根据区别大小对所述像素点进行投票，得到投票结果；
将所述投票结果与预先设置的投票判断阈值进行比较，根据比较结果对所述像素点赋予权重。5.根据权利要求4所述的方法，其特征在于，根据所述注意力网络判断所述图像对的目标区域模版中同一像素点的区别，根据区别大小对所述像素点进行投票，得到投票结果，表示为示为其中，k(x,y)表示投票值，I
q
表示所述参考图像，I
t
表示所述目标图...

【专利技术属性】
技术研发人员：张逸，李修和，冉金和，沈阳，林忠伟，郭强，桂树，赵顺凯，石倩倩，戴少奇，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：