一种复杂场景下的实时流物品搬移及遗留检测方法及系统技术方案

本发明专利技术提供一种复杂场景下的实时流物品搬移及遗留检测方法及系统，其中，方法包括：步骤1：获取目标场景的实时流视频，并缓存实时帧；步骤2：利用所述实时帧进行实时前景建模；步骤3：利用数字图像处理技术对所述实时前景进行分析，获取变化前景区域；步骤4：结合人员检测深度学习模型，确定所述变化前景区域中的非人员待检测前景区域；步骤5：基于非人员待检测前景区域的当前帧图像和历史帧图像，判断非人员待检测前景区域为物品搬移还是物品遗留。本发明专利技术的复杂场景下的实时流物品搬移及遗留检测方法及系统，实现实时高效的物品搬移及遗留检测。留检测。留检测。

【技术实现步骤摘要】
一种复杂场景下的实时流物品搬移及遗留检测方法及系统


[0001]本专利技术涉及图像检测
，特别涉及一种复杂场景下的实时流物品搬移及遗留检测方法及系统。

技术介绍

[0002]目前，随着智慧城市、智能工厂等的不断普及，通过网络摄像头监控特定场景的物品搬移及遗留事件并告警有着切实广泛的需求。
[0003]已有的物品搬移及遗留算法大多停留在实验室，并不能处理真实场景的复杂多变的环境，且对计算机性能也有比较高的要求，亟需一种在真实复杂场景下实时高效的物品搬移及遗留检测算法以满足广泛智能监控的需要。

技术实现思路

[0004]本专利技术目的之一在于提供了一种复杂场景下的实时流物品搬移及遗留检测方法，实现实时高效的物品搬移及遗留检测。
[0005]本专利技术实施例提供的一种复杂场景下的实时流物品搬移及遗留检测方法，包括：
[0006]步骤1：获取目标场景的实时流视频，并缓存实时帧；
[0007]步骤2：利用所述实时帧进行实时前景建模；
[0008]步骤3：利用数字图像处理技术对所述实时前景进行分析，获取变化前景区域；
[0009]步骤4：结合人员检测深度学习模型，确定所述变化前景区域中的非人员待检测前景区域；
[0010]步骤5：基于非人员待检测前景区域的当前帧图像和历史帧图像，判断非人员待检测前景区域为物品搬移还是物品遗留。
[0011]优选的，所述步骤1，还包括：
[0012]基于预设的分块规则，对实时流视频的每一帧图像进行分块，获得多个图像块；
[0013]对每一图像块进行第一均衡化处理；
[0014]对每一图像块进行第二均衡化处理。
[0015]优选的，所述步骤2：利用所述实时帧进行实时前景建模，包括：
[0016]基于改进ViBe算法，利用所述实时帧进行实时前景建模。
[0017]优选的，所述改进ViBe算法包括：
[0018]获取原始ViBe算法；
[0019]将所述原始ViBe算法的样本集更新概率由原来的1/16改为1/8；
[0020]将所述原始ViBe算法中判断为前景的像素点采用随机更更新到样本集的策略改为直接重置前景区域的样本集。
[0021]优选的，步骤5：基于非人员待检测前景区域的当前帧图像和历史帧图像，判断非人员待检测前景区域为物品搬移还是物品遗留，包括：
[0022]从所述当前帧图像中确定所述待检测物品的第一轮廓区域和所述第一轮廓区域
的第一轮廓外接矩形，同时，从所述历史帧图像中确定所述待检测物品的第二轮廓区域和所述第二轮廓区域的第二轮廓外接矩形；
[0023]计算所述第一轮廓区域与所述第二轮廓区域之间的第一颜色相似度；
[0024]计算所述第一轮廓外接矩形内除所述第一轮廓区域之外的第一非轮廓区域与所述第二轮廓外接矩形内除所述第二轮廓区域之外的第二非轮廓区域之间的第二颜色相似度；
[0025]若所述第一颜色相似度大于预设的第一颜色相似度阈值且所述第二颜色相似度大于预设的第二颜色相似度阈值，确定所述待检测物品遗留；
[0026]若所述第一颜色相似度小于预设的第一颜色相似度阈值且所述第二颜色相似度小于预设的第二颜色相似度阈值，确定所述待检测物品搬移。
[0027]优选的，步骤1中，获取目标场景的实时流视频，包括：
[0028]获取目标场景对应的预设的场景地图；
[0029]从场景地图中确定目标场景内的物品放置区的第一位置以及物品放置区旁的搬运通道的第二位置；
[0030]基于第一位置和由第一位置向第二位置的直线方向，构建第一方向向量；
[0031]从场景地图中确定目标场景内的多个图像采集设备的第三位置和镜头方向；
[0032]基于图像采集设备的第三位置和镜头方向，构建图像采集设备的第二方向向量；
[0033]计算第一方向向量与第二方向向量的向量夹角；
[0034]获取第一位置与第三位置的直线距离；
[0035]基于向量夹角和直线距离，计算图像采集设备的适宜指数，计算公式如下：
[0036][0037]其中，为图像采集设备的适宜指数，θ为向量夹角，l为直线距离，γ1和γ2为预设的权重值；
[0038]通过最大适宜指数对应的图像采集设备获取物品放置区的视频图像，并作为目标场景的实时流视频。
[0039]优选的，复杂场景下的实时流物品搬移及遗留检测方法，还包括：
[0040]获取待检测物品；
[0041]其中，获取待检测物品，包括：
[0042]获取需在目标场景内执行的至少一个搬运任务；
[0043]基于搬运任务，确定待检测物品；
[0044]和/或，
[0045]获取目标场景内多个工作人员的之间的多个对话记录；
[0046]基于多个对话记录，确定待检测物品。
[0047]优选的，基于多个对话记录，确定待检测物品，包括：
[0048]获取多个对话记录的产生时间；
[0049]建立时间轴；
[0050]基于多个对话记录的产生时间，将多个对话记录分别对应设置于时间轴上；
[0051]从时间轴的起点向终点依次遍历对话记录；
[0052]每次遍历时，对遍历到的对话记录进行语义提取，获得第一语义；
[0053]获取预设的有效语义库；
[0054]将第一语义与有效语义库中的有效语义进行匹配；
[0055]若匹配符合，获取匹配符合的有效语义对应的预设的至少一个确认项，确认项包括：确认方向、确认范围、确认语义和确认结果；
[0056]对时间轴上遍历到的对话记录的确认方向上确认范围内的对话记录进行语义提取，获得第二语义；
[0057]将第二语义与确认语义进行匹配；
[0058]若匹配符合，基于确认结果，确定待检测物品；
[0059]若匹配均不符合，获取匹配符合的有效语义对应的有效结果；
[0060]基于有效结果，确定待检测物品。
[0061]本专利技术实施例提供的一种复杂场景下的实时流物品搬移及遗留检测系统，包括：
[0062]第一获取模块，用于获取目标场景的实时流视频，并缓存实时帧；
[0063]建模模块，用于利用所述实时帧进行实时前景建模；
[0064]第二获取模块，用于利用数字图像处理技术对所述实时前景进行分析，获取变化前景区域；
[0065]确定模块，用于结合人员检测深度学习模型，确定所述变化前景区域中的非人员待检测前景区域；
[0066]判断模块，用于基于非人员待检测前景区域的当前帧图像和历史帧图像，判断非人员待检测前景区域为物品搬移还是物品遗留。
[0067]优选的，复杂场景下的实时流物品搬移及遗留检测系统，还包括：
[0068]预处理模块，用于对实时流视频进行预处理；
[0069]其中，所述预处理模块执行如下操作：
...

【技术保护点】

【技术特征摘要】
1.一种复杂场景下的实时流物品搬移及遗留检测方法，其特征在于，包括：步骤1：获取目标场景的实时流视频，并缓存实时帧；步骤2：利用所述实时帧进行实时前景建模；步骤3：利用数字图像处理技术对所述实时前景进行分析，获取变化前景区域；步骤4：结合人员检测深度学习模型，确定所述变化前景区域中的非人员待检测前景区域；步骤5：基于非人员待检测前景区域的当前帧图像和历史帧图像，判断非人员待检测前景区域为物品搬移还是物品遗留。2.如权利要求1所述的一种复杂场景下的实时流物品搬移及遗留检测方法，其特征在于，所述步骤1，还包括：基于预设的分块规则，对所述实时流视频的每一帧图像进行分块，获得多个图像块；对每一所述图像块进行第一均衡化处理；对每一所述图像块进行第二均衡化处理。3.如权利要求1所述的一种复杂场景下的实时流物品搬移及遗留检测方法，其特征在于，所述步骤2：利用所述实时帧进行实时前景建模，包括：基于改进ViBe算法，利用所述实时帧进行实时前景建模。4.如权利要求3所述的一种复杂场景下的实时流物品搬移及遗留检测方法，其特征在于，所述改进ViBe算法包括：获取原始ViBe算法；将所述原始ViBe算法的样本集更新概率由原来的1/16改为1/8；将所述原始ViBe算法中判断为前景的像素点采用随机更更新到样本集的策略改为直接重置前景区域的样本集。5.如权利要求1所述的一种复杂场景下的实时流物品搬移及遗留检测方法，其特征在于，步骤5：基于非人员待检测前景区域的当前帧图像和历史帧图像，判断非人员待检测前景区域为物品搬移还是物品遗留，包括：从所述当前帧图像中确定所述待检测物品的第一轮廓区域和所述第一轮廓区域的第一轮廓外接矩形，同时，从所述历史帧图像中确定所述待检测物品的第二轮廓区域和所述第二轮廓区域的第二轮廓外接矩形；计算所述第一轮廓区域与所述第二轮廓区域之间的第一颜色相似度；计算所述第一轮廓外接矩形内除所述第一轮廓区域之外的第一非轮廓区域与所述第二轮廓外接矩形内除所述第二轮廓区域之外的第二非轮廓区域之间的第二颜色相似度；若所述第一颜色相似度大于预设的第一颜色相似度阈值且所述第二颜色相似度大于预设的第二颜色相似度阈值，确定所述待检测物品遗留；若所述第一颜色相似度小于预设的第一颜色相似度阈值且所述第二颜色相似度小于预设的第二颜色相似度阈值，确定所述待检测物品搬移。6.如权利要求1所述的一种复杂场景下的实时流物品搬移及遗留检测方法，其特征在于，所述步骤1中，获取目标场景的实时流视频，包括：获取目标场景对应的预设的场景地图；从所述场景地图中确定所述目标场景内的物品放置区的第一位置以及所述物品放置
区旁的搬运通道的第二位置；基于所述第一位置和由所述第一位置向所述第二位置的直线方向，构建第一方向向量；从所述场景地图中确定所述目标场景内的多个图像采集设备的第三位置和镜头方向；...

【专利技术属性】
技术研发人员：胡振宏，曾国卿，刘佳宁，朱新潮，刘亚健，李威，
申请(专利权)人：上海可深信息科技有限公司，
类型：发明
国别省市：