遗留物检测方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种遗留物检测方法、装置、设备以及存储介质，涉及人工智能技术领域，尤其涉及图像处理技术领域。具体实现方案为：确定检测视频帧中相对于背景视频帧的新增物品的物品检测框和新增人物的人物检测框，在新增人物的人物检测框中，确定新增物品所属人物的人物检测框，基于新增物品的物品检测框，判断新增物品在检测视频帧之前第一预设帧数的视频帧内是否发生位置变化，若未发生位置变化，则基于新增物品所属人物的人物检测框，判断新增物品的预设范围内是否存在新增物品所属人物，若不存在，则确定新增物品为目标区域内的遗留物。如此，提升了遗留物检测的准确性。提升了遗留物检测的准确性。提升了遗留物检测的准确性。

【技术实现步骤摘要】
遗留物检测方法、装置、设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及图像处理
，具体涉及一种遗留物检测方法、装置、设备以及存储介质。

技术介绍

[0002]遗留物是指被其所属人物携带进入目标区域，进而在其所属人物离开后被遗留在目标区域的物品。目前，在机场、车站或小区等人流量大的公共场所中，如果有人蓄意将不明物品遗留至公共场所时，为避免这些遗留物中可能存在危害公共安全的物品，需要及时识别出此类遗留物并实时告警，预防潜在的危害公共安全的事件发生。

技术实现思路

[0003]本公开提供了一种遗留物检测方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种遗留物检测方法，该方法包括：
[0005]基于目标区域初始时刻的背景视频帧，对该目标区域当前时刻的检测视频帧进行检测，得到该检测视频帧中相对于该背景视频帧的新增物品的物品检测框和新增人物的人物检测框；
[0006]在该新增人物的人物检测框中，确定该新增物品所属人物的人物检测框；
[0007]基于该新增物品的物品检测框，判断该新增物品在该检测视频帧之前第一预设帧数的视频帧内是否发生位置变化，若未发生位置变化，则基于该新增物品所属人物的人物检测框，判断该新增物品的预设范围内是否存在该新增物品所属人物，若不存在，则确定该新增物品为该目标区域内的遗留物。
[0008]根据本公开的另一方面，提供了一种遗留物检测装置，该装置包括：
[0009]检测模块，用于基于目标区域初始时刻的背景视频帧，对该目标区域当前时刻的检测视频帧进行检测，得到该检测视频帧中相对于该背景视频帧的新增物品的物品检测框和新增人物的人物检测框；
[0010]确定模块，用于在该新增人物的人物检测框中，确定该新增物品所属人物的人物检测框；
[0011]判断模块，用于基于该新增物品的物品检测框，判断该新增物品在该检测视频帧之前第一预设帧数的视频帧内是否发生位置变化，若未发生位置变化，则基于该新增物品所属人物的人物检测框，判断该新增物品的预设范围内是否存在该新增物品所属人物，若不存在，则确定该新增物品为该目标区域内的遗留物。
[0012]根据本公开的另一方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与该至少一个处理器通信连接的存储器；其中，
[0015]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开所提供的遗留物检测方法。
[0016]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行本公开所提供的遗留物检测方法。
[0017]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开所提供的遗留物检测方法。
[0018]本公开所提供的技术方案，通过将初始时刻的背景视频帧作为参考帧，对当前时刻的检测视频帧进行检测，考虑到了当前检测帧相对于初始参考帧的变化，能够实现对任意未知变化物品的检测，能够快速检测出新增物品和新增人物，以便后续针对新增物品进行遗留物的判断，同时，在除判断新增物品在连续帧内是否发生位置变化之外，还结合了判断周边是否存在新增物品所属人物的手段，来进一步实现对遗留物的检测，提升了遗留物检测的准确性。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1是本公开实施例示出的一种遗留物检测方法的实施环境示意图；
[0022]图2是本公开实施例示出的一种遗留物检测方法的流程示意图；
[0023]图3是本公开实施例示出的一种遗留物检测方法的流程示意图；
[0024]图4是本公开实施例示出的一种遗留物检测方法的流程示意图；
[0025]图5是本公开实施例示出的一种遗留物检测装置的结构框图；
[0026]图6是用来实现本公开实施例的遗留物检测方法的电子设备的框图。
具体实施方式
[0027]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0028]本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0029]首先，针对本公开实施例涉及的应用场景进行描述，本公开实施例提供的遗留物检测方法可应用于如机场、车站、小区、商场以及广场等公共场所的场景中，具体应用于公共场所中针对遗留物的检测。其中，遗留物是指被其所属人物携带进入公共场所的某一区域，进而在其所属人物离开后被遗留在该区域的物品。本公开实施例后续采用目标区域来指代公共场所中待进行遗留物检测的区域。
[0030]应理解地，在机场、车站或小区等人流量大的公共场所中，如果有人蓄意将不明物品遗留至公共场所时，可能会存在危害公共安全的物品，此时，需要及时识别出此类遗留物并实时告警，预防潜在的危害公共安全的事件发生。
[0031]相关技术中，通常是采集公共场所的图像，通过分析该图像中各个物体的像素变化信息，来对该图像中由运动转变为静止的物体进行检测，再通过机器学习的方式区分人
物和物品，从而识别遗留的物品。然而，由于该方法在检测初期仅需要依赖于像素维度的变化信息，且由于像素变化这一分析算法本身抗干扰的能力不强且算法精度较低，很容易出现误检和漏检的情况，从而导致遗留物检测的准确性较差。或者，在采集公共场所的图像之后，还可以利用通过深度学习算法训练的检测模型，对该图像中的预设类物品进行检测，再通过目标跟踪的方式确定该物品是否被遗留。然而，由于模型训练时的物品类别是固定的，利用该方法仅能检测出预设类别的物品，而无法检测非预设类别的物品，可能会导致无法检测出某些物品(如未用于训练的类别的物品)的情况，从而导致遗留物检测的准确性较差。
[0032]基于此，本公开实施例提供了一种遗留物检测方法，通过将初始时刻的背景视频帧作为参考帧，对当前时刻的检测视频帧进行检测，考虑到了当前检测帧相对于初始参考帧的变化，能够实现对任意未知变化物品的检测，能够快速检测出新增物品和新增人物，以便后续针对新增物品进行遗留物的判断，同时，在除判断新增物品在连续帧内是否发生位置变化之外，还结合了判断周边是否存在新增物品所属人物的手段，来进一步实现对遗留物的检测，提升了遗留物检测的准确性。
[0033]图1是本公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遗留物检测方法，包括：基于目标区域初始时刻的背景视频帧，对所述目标区域当前时刻的检测视频帧进行检测，得到所述检测视频帧中相对于所述背景视频帧的新增物品的物品检测框和新增人物的人物检测框；在所述新增人物的人物检测框中，确定所述新增物品所属人物的人物检测框；基于所述新增物品的物品检测框，判断所述新增物品在所述检测视频帧之前第一预设帧数的视频帧内是否发生位置变化，若未发生位置变化，则基于所述新增物品所属人物的人物检测框，判断所述新增物品的预设范围内是否存在所述新增物品所属人物，若不存在，则确定所述新增物品为所述目标区域内的遗留物。2.根据权利要求1所述的方法，其中，所述基于目标区域初始时刻的背景视频帧，对所述目标区域当前时刻的检测视频帧进行检测，得到所述检测视频帧中相对于所述背景视频帧的新增物品的物品检测框和新增人物的人物检测框，包括：将所述背景视频帧与所述检测视频帧输入目标检测模型，通过所述目标检测模型对所述背景视频帧与所述检测视频帧进行处理，得到所述新增物品的物品检测框和所述新增人物的人物检测框，所述目标检测模型提供有基于所述背景视频帧对所述检测视频帧中新增目标的检测功能。3.根据权利要求1所述的方法，其中，所述基于目标区域初始时刻的背景视频帧，对所述目标区域当前时刻的检测视频帧进行检测，得到所述检测视频帧中相对于所述背景视频帧的新增物品的物品检测框和新增人物的人物检测框，包括：基于所述目标区域初始时刻的背景视频帧，对所述目标区域当前时刻的检测视频帧进行变化检测，得到所述检测视频帧中相对于所述背景视频帧发生变化的物品检测框和人物检测框；在发生变化的所述物品检测框中，确定所述检测视频帧中相对于所述背景视频帧的新增物品的物品检测框，在发生变化的所述人物检测框中，确定所述检测视频帧中相对于所述背景视频帧的新增人物的人物检测框。4.根据权利要求3所述的方法，其中，所述基于所述目标区域初始时刻的背景视频帧，对所述目标区域当前时刻的检测视频帧进行变化检测，得到所述检测视频帧中相对于所述背景视频帧发生变化的物品检测框和人物检测框，包括：将所述背景视频帧与所述检测视频帧输入变化检测模型，通过所述变化检测模型对所述背景视频帧与所述检测视频帧进行处理，得到所述发生变化的物品检测框和人物检测框，所述变化检测模型提供有基于所述背景视频帧对所述检测视频帧进行变化检测的功能。5.根据权利要求1所述的方法，其中，所述基于所述新增物品的物品检测框，判断所述新增物品在所述检测视频帧之前第一预设帧数的视频帧内是否发生位置变化，包括：基于所述新增物品的物品检测框，获取所述新增物品的跟踪序列，所述跟踪序列用于指示在所述初始时刻至所述当前时刻的时间段内所述新增物品的运动轨迹；基于所述新增物品的跟踪序列，判断所述新增物品在所述检测视频帧之前第一预设帧数的视频帧内是否发生位置变化。6.根据权利要求5所述的方法，其中，所述基于所述新增物品的物品检测框，获取所述
新增物品的跟踪序列，包括：对所述检测视频帧的前一视频帧中已有的物品跟踪框进行预测，得到所述物品跟踪框在所述检测视频帧中的跟踪预测框；若所述新增物品的物品检测框与所述跟踪预测框之间的相关度大于第一相关度阈值，则将所述已有的物品跟踪框对应的跟踪序列确定为所述新增物品的跟踪序列，若所述新增物品的物品检测框与所述跟踪预测框之间的相关度小于或等于所述第一相关度阈值，则为所述新增物品新建跟踪序列。7.根据权利要求1所述的方法，其中，所述新增物品所属人物的人物检测框满足下述条件中的至少一项：与所述物品检测框之间的交并比参数大于第一预设阈值，所述交并比参数用于表征所述物品检测框与所述人物检测框之间的重合度；与所述物品检测框之间的交并比参数最大；与所述物品检测框之间的中心点距离小于第二预设阈值，所述中心点距离用于表征所述物品检测框与所述人物检测框之间的距离；与所述物品检测框之间的中心点距离最小。8.根据权利要求1或7所述的方法，其中，所述基于所述新增物品所属人物的人物检测框，判断所述新增物品的预设范围内是否存在所述新增物品所属人物，包括：对所述人物检测框对应的图像块进行特征提取，得到所述新增物品所属人物的特征信息；判断所述新增物品的预设范围内是否存在与所述特征信息之间的相关度大于第二相关度阈值的人物。9.根据权利要求1所述的方法，还包括：在所述初始时刻至所述当前时刻的时间段内，若所述背景视频帧之后...

【专利技术属性】
技术研发人员：徐光耀，陈明根，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：