一种目标检测方法及装置制造方法及图纸

本申请实施例提供了一种目标检测方法及装置，涉及机器学习技术领域，该方法包括：在检测视频中的目标对象时，采用神经网络模型中的第一目标卷积层从待检测视频图像中提取第一图像特征，待检测视频图像为待检测视频中的一帧视频图像，然后采用神经网络模型中的非局部模块，确定第一图像特征与参考视频图像的参考图像特征之间的关联信息，之后再基于第一图像特征和关联信息确定待检测视频图像中的目标对象。采用第一图像特征与参考图像特征之间的关联信息对待检测视频图像中的第一图像特征进行补充，由此获取更多与待检测视频图像中的目标对象相关的信息，从而有效缓解物体遮挡以及运动模糊的情况，提高检测视频中的目标对象的精度。

【技术实现步骤摘要】
一种目标检测方法及装置
本申请实施例涉及机器学习
，尤其涉及一种目标检测方法及装置。
技术介绍
图像目标检测是指对图像中的目标进行位置检测并分类。在目标检测中，通常采用从待检测的图像或者待检测的图像的特征图中提取目标候选框的方法，目标候选框用于指示可能存在目标的矩形区域。但是对视频进行目标检测时，有时视频中某一帧图像中的物体之间会出现遮挡的情况，有时视频中高速移动的物体会出现运动模糊的情况，这时，基于单张图像的目标检测方法难以适应视频中的目标检测。
技术实现思路
由于现有技术中基于单张图像的目标检测方法难以适应视频中的目标检测的问题，本申请实施例提供了一种目标检测方法及装置，用以提高对视频进行目标检测的准确性。一方面，本申请实施例提供了一种目标对象检测方法，包括：采用神经网络模型中的第一目标卷积层从待检测视频图像中提取第一图像特征，所述待检测视频图像为待检测视频中的多帧视频图像的其中一帧视频图像；采用所述神经网络模型中的非局部模块，确定所述待检测视频图像的第一图像特征与参考视频图像的参考图像特征之间的关联信息，所述参考视频图像为所述多帧待检测图像中除所述待检测视频图像之外的其他一帧关联图像，所述参考图像特征为所述第一目标卷积层从所述参考视频图像中提取的；根据所述第一图像特征和所述关联信息，获得所述待检测视频图像中的目标对象。一方面，本申请实施例提供了一种神经网络模型，包括：第一目标卷积层、非局部模块、全连接层；所述第一目标卷积层，用于从待检测视频图像中提取第一图像特征，从参考视频图像中提取参考图像特征，所述待检测视频图像为待检测视频的多帧视频图像中的其中一帧视频图像，所述参考视频图像为所述多帧待检测图像中除所述待检测视频图像之外的其他一帧关联图像；所述非局部模块，用于确定所述待检测视频图像的第一图像特征与所述参考视频图像的参考图像特征之间的关联信息，对所述待检测视频图像的第一图像特征和所述关联信息求和，确定所述待检测视频图像的非局部特征；所述全连接层，用于从所述非局部特征中获得所述待检测视频图像中的目标对象。一方面，本申请实施例提供了一种目标对象检测装置，包括：特征提取模块，用于采用神经网络模型中的第一目标卷积层从待检测视频图像中提取第一图像特征，所述待检测视频图像为待检测视频中的多帧视频图像的其中一帧视频图像；关联模块，用于采用所述神经网络模型中的非局部模块，确定所述待检测视频图像的第一图像特征与参考视频图像的参考图像特征之间的关联信息，所述参考视频图像为所述多帧待检测图像中除所述待检测视频图像之外的其他一帧关联图像，所述参考图像特征为所述第一目标卷积层从所述参考视频图像中提取的；检测模块，用于根据所述第一图像特征和所述关联信息，获得所述待检测视频图像中的目标对象。一方面，本申请实施例提供了一种终端设备，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行目标对象检测方法的步骤。一方面，本申请实施例提供了一种计算机可读介质，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述终端设备执行目标对象检测方法的步骤。本申请实施例中，在检测视频中的目标对象时，采用神经网络模型中的第一目标卷积层从待检测视频图像中提取第一图像特征，待检测视频图像为待检测视频中的一帧视频图像，然后采用神经网络模型中的非局部模块，确定待检测视频图像的第一图像特征与参考视频图像的参考图像特征之间的关联信息，之后再基于待检测图像的第一图像特征和待检测图像与参考视频图像之间的关联信息，确定待检测视频图像中的目标对象。由于在检测待检测视频图像的目标对象时，采用待检测视频图像的第一图像特征与参考视频图像的参考图像特征之间的关联信息对待检测视频图像中的第一图像特征进行补充，由此获取了更多与待检测视频图像中的目标对象相关的信息，从而能有效缓解物体遮挡以及运动模糊的情况，提高检测视频中的目标对象的精度。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种视频图像的示意图；图2为本申请实施例提供的一种视频图像的示意图；图3为本申请实施例适用的一种应用场景的示意图；图4为本申请实施例提供的一种神经网络模型的结构示意图；图5为本申请实施例提供的一种目标对象检测方法的流程示意图；图6a为本申请实施例提供的一种视频图像的示意图；图6b为本申请实施例提供的一种目标候选框的示意图；图6c为本申请实施例提供的一种目标候选框的示意图；图7为本申请实施例提供的一种提取关联信息的方法的流程示意图；图8为本申请实施例提供的一种非局部模块的示意图；图9为本申请实施例提供的一种提取关联信息的方法的流程示意图；图10为本申请实施例提供的一种神经网络模型的结构示意图；图11为本申请实施例提供的一种神经网络模型的结构示意图；图12为本申请实施例提供的一种神经网络模型的结构示意图；图13为本申请实施例提供的一种目标对象检测装置的结构示意图；图14为本申请实施例提供的一种终端设备的结构示意图。具体实施方式为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。在具体实施中，本申请的专利技术人发现，对视频进行目标检测时，有时视频中某一帧图像中的物体之间会出现遮挡的情况，示例性地，如图1所示，图中牛被树木遮挡住了大部分区域。有时视频中高速移动的物体会出现运动模糊的情况，示例性地，如图2所示，图中展示了视频中t-10时刻、t时刻以及t+10时刻的图像，视频中两只猫在高速移动，导致视频中单帧图像出现运动模糊的情况。此时若还采用单帧图像目标检测的方法对视频进行目标检测，将导致从视频中检测出的目标不完整或者模糊，从而影响目标检测效果。对此，考虑到一个目标对象可能在视频中的多帧图像中出现，且在不同帧图像中，该目标对象与其他对象之间的关系可能也不同，故可以在检测视频中的目标对象时，先采用神经网络模型中的卷积层提取待检测视频中待检测视频图像的第一图像特征。然后采用神经网络模型中的非局部模块，确定待检测视频图像的第一图像特征与参考视频图像的参考图像特征之间的关联信息，之后再结合待检测视频图像的第一图像特征以及得到的关联信息确定待检测视频图像的目标对象。由于在检测视频中一帧待检测视频图像的目标对象时，结合了该目标对象在视频其他帧视频图像中的相关信息，从而缓解了检测目标对象时出现的物体遮挡以及运动模糊问题，提高对视频进行目标对象检测的效果。本申请实施例中的目标检测方法可以应用对视频进行目标检测的场景，比如监控安防场景、智能交通场景、军事目标检测场景以及医学导航手术场景等。下面以监控安防场景为例进行示例性说明，如图3所示，该应用场景包括监控设备301、服务器302、终端设备303。监控设备301实时采集待检测视频，然后将采集的待检测视频发送至服务器302，监控设本文档来自技高网...

【技术保护点】
1.一种目标对象检测方法，其特征在于，包括：采用神经网络模型中的第一目标卷积层从待检测视频图像中提取第一图像特征，所述待检测视频图像为待检测视频的多帧视频图像中的其中一帧视频图像；采用所述神经网络模型中的非局部模块，确定所述待检测视频图像的第一图像特征与参考视频图像的参考图像特征之间的关联信息，所述参考视频图像为所述多帧待检测图像中除所述待检测视频图像之外的其他一帧关联图像，所述参考图像特征为所述第一目标卷积层从所述参考视频图像中提取的；根据所述第一图像特征和所述关联信息，获得所述待检测视频图像中的目标对象。

【技术特征摘要】
1.一种目标对象检测方法，其特征在于，包括：采用神经网络模型中的第一目标卷积层从待检测视频图像中提取第一图像特征，所述待检测视频图像为待检测视频的多帧视频图像中的其中一帧视频图像；采用所述神经网络模型中的非局部模块，确定所述待检测视频图像的第一图像特征与参考视频图像的参考图像特征之间的关联信息，所述参考视频图像为所述多帧待检测图像中除所述待检测视频图像之外的其他一帧关联图像，所述参考图像特征为所述第一目标卷积层从所述参考视频图像中提取的；根据所述第一图像特征和所述关联信息，获得所述待检测视频图像中的目标对象。2.如权利要求1所述的方法，其特征在于，所述采用所述神经网络模型中的非局部模块，确定所述待检测视频图像的第一图像特征与参考视频图像的参考图像特征之间的关联信息，包括：将所述第一图像特征进行第一线性映射，确定第一映射特征；将参考视频图像的参考图像特征进行第二线性映射，确定第二映射特征；根据所述第一映射特征与所述第二映射特征确定所述待检测视频图像与所述参考视频图像之间的关联度矩阵；将所述参考视频图像的参考图像特征进行第三线性映射，确定第三映射特征；根据所述第三映射特征以及所述关联度矩阵，获得所述待检测视频图像的第一图像特征与所述参考视频图像的参考图像特征之间的关联信息。3.如权利要求2所述的方法，其特征在于，所述根据所述第一映射特征与所述第二映射特征确定所述待检测视频图像与所述参考视频图像之间的关联度矩阵，包括：确定所述第一映射特征与所述第二映射特征的乘积；将所述乘积的指数确定为所述待检测视频图像与所述参考视频图像之间的关联度矩阵。4.如权利要求2所述的方法，其特征在于，所述根据所述第一映射特征与所述第二映射特征确定所述待检测视频图像与所述参考视频图像之间的关联度矩阵，包括：将所述第一映射特征与所述第二映射特征的乘积确定为所述待检测视频图像与所述参考视频图像之间的关联度矩阵。5.如权利要求2所述的方法，其特征在于，所述根据所述第一映射特征与所述第二映射特征确定所述待检测视频图像与所述参考视频图像之间的关联度矩阵，包括：确定所述第一映射特征中的第一图像特征与所述第二映射特征的参考图像特征的乘积；将所述乘积的指数确定为所述待检测视频图像与所述参考视频图像之间的关联度矩阵。6.如权利要求1至5任一项所述的方法，其特征在于，所述根据所述第一图像特征和所述关联信息，获得所述待检测视频图像中的目标对象，包括：对所述待检测视频图像的第一图像特征和所述关联信息求和，确定所述待检测视频图像的非局部特征；采用所述神经网络模型中的全连接层从所述非局部特征中获得所述待检测视频图像中的目标对象。7.如权利要求1至5任一项所述的方法，其特征在于，所述根据所述第一图像特征和所述关联信息，获得所述待检测视频图像中的目标对象，包括：对所述待检测视频图像的第一图像特征和所述关联信息求和，确定所述待检测视频图像的非局部特征；采用所述神经网络模型中的第二目标卷积层，从所述待检测视频图像的非局部特征中提取所述待检测视频图像的第二图像特征；采用所述神经网络模型中的全连接层，从所述第二图像特征中获得所述待检测视频图像中的目标对象。8.如权利要求1所述的方法，其特征在于，还包括：采用所述神经网络模型中的非局部模块，确定所述待检测视频图像的第一图像特征之间的关联信息。9.如权利要求8所述...

【专利技术属性】
技术研发人员：赵世杰，李峰，易阳，邱日明，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44