候选区域确定方法和装置制造方法及图纸

本申请公开了一种候选区域确定方法和装置。该方法包括：获取监控视频帧；将监控视频帧输入到预先建立的目标检测模型，输出候选区域的类别标识和坐标值，目标检测模型是基于RefineDet网络结构训练而成，该类别标识用于指示候选区域是否包含目标对象，该目标对象包括与被分拣对象接触的分拣行为主体；如果类别标识指示候选区域包含目标对象，则确定监控视频帧为用于分析暴力分拣行为的起始帧。根据本申请实施例的技术方案，通过RefineDet网络结构能够有效地提升候选区域的质量，从而提高暴力分拣行为识别阶段的准确度。

Candidate area determination method and device

【技术实现步骤摘要】
候选区域确定方法和装置
本申请一般涉及计算机视觉领域，尤其涉及候选区域确定方法和装置。
技术介绍
分拣是将物品按品种、出入库先后顺序进行分门别类地堆放的作业。分拣作业时效性直接影响着不同业务提供商的发展前景。目前，在分拣场景中，暴力分拣行为的产生导致业务提供商的服务质量受到严重影响。为更好地提高服务质量，针对暴力分拣行为，提出了基于视频的目标检测分析方法。暴力分拣行为检测可以分为候选区域生成和暴力行为识别两部分，候选区域生成的质量直接影响暴力行为识别的效果，通常候选区域的空间位置一般在单帧视频中确定，然后在时序上进行滑窗处理得到候选区域的时间位置。暴力分拣行为检测中，由于视频场景的复杂性，使得候选区域的数量与行人数量成正比，并导致暴力行为识别阶段的误检率增加，识别时间过长。
技术实现思路
鉴于现有技术中的上述缺陷或不足，期望提供一种暴力分拣行为候选区域确定方法、装置设备及其存储介质，来减少暴力行为分拣行为识别的时耗，并提升识别的正确率。第一方面，本申请实施例提供了一种暴力分拣行为候选区域确定方法，该方法包括：获取监控视频帧；将监控视频帧输入到预先建立的目标检测模型，输出候选区域的类别标识和坐标值，目标检测模型是基于RefineDet网络结构训练而成，该类别标识用于指示候选区域是否包含目标对象，目标对象包括与被分拣对象接触的分拣行为主体；如果类别标识指示候选区域包含目标对象，则确定监控视频帧为用于分析暴力分拣行为的起始帧。第二方面，本申请实施例提供了一种暴力分拣行为候选区域确定装置，其特征在于，该装置包括：视频帧获取模块，用于获取监控视频帧；目标检测模块，用于将监控视频帧输入到预先建立的目标检测模型，输出候选区域的类别标识和坐标值，目标检测模型是基于RefineDet网络结构训练而成，该类别标识用于指示候选区域是否包含目标对象，该目标对象包括与被分拣对象接触的分拣行为主体；确定模块，用于如果类别标识指示候选区域包含目标对象，则确定监控视频帧为用于分析暴力分拣行为的起始帧。本申请实施例提供的暴力分拣行为候选区域的技术方案，通过预先建立的目标检测模型对实时接收的监控视频帧进行识别，得到可以用于暴力分拣行为识别的有效的候选区域，提升候选区域的质量。在训练目标检测模型的过程中，通过标注包含目标对象的视频帧，保留仅包含目标对象的候选区域，有效地减少候选区域的数量，提升暴力分拣行为识别的速度。进一步地，通过确定用于分析暴力分拣行为的结束帧，或在未识别到目标对象时，继续获取新的监控视频帧，可以提高视频图像处理效率。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出了本申请实施例提供的暴力分拣行为候选区域确定方法的流程示意图；图2示出了本申请又一实施例提供的建立目标检测模型方法的流程示意图；图3示出了本申请一个实施例提供的暴力分拣行为候选区域确定装置300的示例性结构框图；图4示出了本申请又一实施例提供的用于建立目标检测模型的装置400的示例性结构框图；图5示出了适于用来实现本申请实施例的服务器的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。请参考图1，图1示出了本申请实施例提供的暴力分拣行为候选区域确定方法的流程示意图。如图1所示，该方法包括：步骤110，获取监控视频帧。本申请实施例中，从视频存储服务器或与其等同的设备，或者视频采集装置获取监控视频数据后，可以将视频数据转换成视频序列，该视频序列即一帧一帧的图像，即监控视频帧。监控视频数据是由视频采集装置实时采集得到与分拣场景相关的视频数据。其中，监控视频帧可以包含物品，行人，车辆等。步骤120，将监控视频帧输入到预先建立的目标检测模型，输出候选区域的类别标识和坐标值。本申请实施例中，通过对监控视频帧逐帧进行行人检测，以识别出候选区域。通过对候选区域的分析来识别暴力分拣行为，暴力分拣行为是指分拣行为主体与被分拣对象从接触到分离时间极为短暂。例如仅几秒甚至1秒的时间间隔。为了在视频图像数据中捕捉到这种短时间的动作变化，需要准确识别出分拣行为主体与被分拣对象接触的起点时刻。本申请实施例通过对视频图像数据检测分析，可以准确地识别暴力分拣行为的起始位置，从而更加准确地识别出暴力分拣行为，提升暴力分拣行为识别阶段的效率。本申请实施例中，将获取的监控视频帧输入到预先建立的目标检测模型中，进行目标检测，得到候选区域的类别标识和候选区域的坐标值。其中，类别标识用于指示候选区域是否包含目标对象，目标对象包括与被分拣对象接触的分拣行为主体。考虑分拣行为主体通常是分拣人员，受体通常是被分拣对象，例如物品或包裹或快递件等。本申请实施例中提出基于目标检测模型分析视频帧，将仅存在分拣人员或被分拣对象的视频帧排除，从而减少候选区域的数量，从而提升暴力分拣行为识别阶段的速度。其中，目标检测模型是基于RefineDet网络结构训练而成。RefineDet网络结构是一种新型的单次检测器，其精度比两阶段的方法高，并保持了单阶段方法的高效率。RefineDet网络结构包括定位细化模块，目标检测模块和转移连接块。定位细化模块旨在滤出不合适的锚框以减少分类的搜索空间，转移连接块将定位细化模块输出的特征图进行转换操作后，输入到目标检测模块。由目标检测模块融合不同侧的特征，然后进行多层分类和回归。通过RefineDet网络结构能够有效地提升候选区域的质量，从而提高暴力分拣行为识别阶段的准确度。类别标识是用于指示候选区域的属性类别的标志。例如可以是数字或字母，或二者的组合，其主要利用该标识指示候选区域的性质，例如指示分拣行为主体与被分拣对象接触或者不接触。例如，在候选区域上标识yes表示候选区域中分拣行为主体与被分拣对象有接触，标识no表示候选区域中分拣行为主体与被分拣对象没有接触。进一步地，类别标识还可以包括候选区域的置信度，其中置信度可以用数字标识，置信度表示模型对候选区域的区分能力。例如在候选区域上标记yes：0.85，表示候选区域属于分拣行为主体与被分拣对象属于接触的情形置信概率。在候选区域上标记no：0.95，表示候选区域属于分拣行为主体与被分拣对象属于不接触的情形的置信概率。步骤130，如果类别标识指示候选区域包含目标对象，则确定监控视频帧为用于分析暴力分拣行为的起始帧。本申请实施例中，如果类别标识指示候选区域包含目标对象，即分拣行为主体与被分拣对象(或称为受体)接触，则确定监本文档来自技高网...

【技术保护点】
1.一种暴力分拣行为候选区域确定方法，其特征在于，该方法包括：/n获取监控视频帧；/n将所述监控视频帧输入到预先建立的目标检测模型，输出候选区域的类别标识和坐标值，所述目标检测模型是基于RefineDet网络结构训练而成，所述类别标识用于指示所述候选区域是否包含目标对象，所述目标对象包括与被分拣对象接触的分拣行为主体；/n如果所述类别标识指示所述候选区域包含所述目标对象，则确定所述监控视频帧为用于分析暴力分拣行为的起始帧。/n

【技术特征摘要】
1.一种暴力分拣行为候选区域确定方法，其特征在于，该方法包括：
获取监控视频帧；
将所述监控视频帧输入到预先建立的目标检测模型，输出候选区域的类别标识和坐标值，所述目标检测模型是基于RefineDet网络结构训练而成，所述类别标识用于指示所述候选区域是否包含目标对象，所述目标对象包括与被分拣对象接触的分拣行为主体；
如果所述类别标识指示所述候选区域包含所述目标对象，则确定所述监控视频帧为用于分析暴力分拣行为的起始帧。


2.根据权利要求1所述的方法，其特征在于，所述预先建立目标检测模型的步骤包括：
获取历史监控视频帧序列；
对所述历史监控视频帧序列中每个历史监控视频帧按照是否包含所述目标对象进行标注；
对标注后的历史监控视频帧序列进行预处理；
利用预处理后的历史监控视频帧序列按照梯度下降算法训练所述RefineDet网络结构，得到目标检测模型。


3.根据权利要求1或2所述的方法，其特征在于，所述类别标识还可以包括类别置信度。


4.根据权利要求3所述的方法，其特征在于，在确定所述监控视频帧为用于分析暴力分拣行为的起始帧之后，该方法还包括：获取用于分析暴力分拣行为的结束帧。


5.根据权利要求1所述的方法，其特征在于，该方法还包括：
如果所述类别标识指示所述候选区域不包含所述目标对象，则继续获取新的监控视频帧。


6.一种暴力分拣行为候选区域确定装置，其特征在于，该装置包括：
视频帧获取模块，用于获取监控视频帧；
目标检测模块，用于将所述监控视频帧输入到预先建立的目标检测模型，输出候选区域的类别标识和坐标值，所述目标检测模型是基于RefineDet网络结构训练...

【专利技术属性】
技术研发人员：虢齐，张玉双，楚梦蝶，冯昊楠，袁益琴，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东;44