投放行为识别方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种投放行为识别方法、装置、设备及存储介质，所述方法包括：确定待识别视频的时域信息；对所述待识别视频进行抽帧处理，得到多个候选视频帧；根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧；根据各所述动作事件对应的所述目标视频帧和所述时域信息，生成与各所述动作事件对应的目标帧序列，用于进行投放行为识别；通过上述技术方案，提高了对投放行为的识别效率。

【技术实现步骤摘要】
投放行为识别方法、装置、设备及存储介质
本申请实施例涉及行为识别
，尤其涉及一种投放行为识别方法、装置、设备及存储介质。
技术介绍
投放行为识别应用于监测不文明垃圾投放行为，包括乱扔垃圾、垃圾不分类、垃圾随处堆放以及恶意损坏公共设施等行为。在智能垃圾投放系统中，投放行为识别具有重要的应用价值。投放行为识别主要是利用计算机自动地分析视频数据，从而识别出投放行为的类别。然而，现有投放行为识别方法存在投放行为识别效率不高问题。
技术实现思路
本申请提供一种投放行为识别方法、装置、设备及存储介质，以提高对投放行为的识别效率。第一方面，本申请实施例提供了一种投放行为识别方法，该方法包括：确定待识别视频的时域信息；对所述待识别视频进行抽帧处理，得到多个候选视频帧；根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧；根据各所述动作事件对应的所述目标视频帧和所述时域信息，生成与各所述动作事件对应的目标帧序列，用于进行投放行为识别。第二方面，本申请实施例还提供了一种投放行为识别装置，该装置包括：时域信息确定模块，用于确定待识别视频的时域信息；候选视频帧获取模块，用于对所述待识别视频进行抽帧处理，得到多个候选视频帧；目标视频帧确定模块，用于根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧；投放行为识别模块，用于根据各所述动作事件对应的所述目标视频帧和所述时域信息，生成与各所述动作事件对应的目标帧序列，用于进行投放行为识别。第三方面，本申请实施例还提供了一种电子设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面实施例所提供的任意一种投放行为识别方法。第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所提供的任意一种投放行为识别方法。本申请实施例通过对待识别视频进行抽帧处理，得到多个候选视频帧，并据此在多个候选视频帧的基础上，筛选出了包含动作事件对应的目标视频帧，最后根据各动作事件对应的目标视频帧和预先从待识别视频中确定的时域信息，生成了与各动作事件对应的目标帧序列，用于进行投放行为识别。通过上述技术方案，筛选出了包含动作事件关键特征的，且在数据量远远小于待识别视频帧数量的目标帧序列，以用于投放行为的识别，有效降低了对待识别视频进行投放行为识别的数据量，提高了对投放行为的识别效率。附图说明图1是本申请实施例一提供的一种投放行为识别方法的流程图；图2是本申请实施例二提供的一种投放行为识别方法的流程图；图3是本申请实施例三提供的一种投放行为识别装置的示意图；图4是本申请实施例四提供的一种电子设备的示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。实施例一图1为本申请实施例一提供的一种投放行为识别方法的流程图。本申请实施例可适用于对在垃圾投放区域所采集的用户进行垃圾投放的视频，进行投放行为识别的情况。该方法可以由一种投放行为识别装置来执行，该装置可以由软件和/或硬件的方式实现，并具体配置于电子设备中，该电子设备可以是移动终端或固定终端。其中，该固定终端可以是进行投放行为识别的后台服务器。参见图1，本申请实施例提供的投放行为识别方法，包括：S110、确定待识别视频的时域信息。其中，待识别视频是指从图像采集装置中获取的视频片段或从图像采集装置所采集的现有视频片段中截取的视频片段。而该视频片段可以是任意时段的视频片段，还可以是固定时段的视频片段，例如，可以每隔一小时，就进行视频片段的获取或截取。时域信息是指待识别视频的开始时间、结束时间和视频时长等信息。其中，开始时间是指待识别视频在监控视频中截取下来的起始时间，结束时间是指待识别视频在监控视频中截取下来的完结时间。此外，时域信息还包括待识别视频中各视频帧的时间信息，而上述时间信息表明了各视频帧发生的先后顺序。本实施例中，监控视频可以通过安装在垃圾桶或垃圾厂房附近的图像采集设备(如监控摄像机)，将采集到的监控视频，存储为视频文件，并定时上传给后台服务器得到，其中，后台服务器用于对监控视频中的投放行为进行识别。例如，图像采集设备每3秒钟就上传一次采集到的监控视频到后台服务器，而每1秒的视频可以由25个画面组成，每一个画面称为一帧。S120、对待识别视频进行抽帧处理，得到多个候选视频帧。其中，抽帧处理是指以一定的采样频率，从原始视频中抽取一定数量的视频帧，以得到多个候选视频帧。其中，上述采样频率可以根据实际需求进行设置，本申请实施例对此不做具体限定。候选视频帧是指经过抽帧处理之后得到的，数量上小于待识别视频帧数目的，但是包括待识别视频中关键特征的候选视频帧。可以理解的是，通过对待识别视频进行抽帧处理，以一定的方式减少了待识别视频的数据量，降低了对投放行为进行识别的复杂度。可选地，可以基于预先确定的采样频率实施抽帧处理操作，以实现从待识别视频进行抽取，得到多个候选视频帧。或者可选地，为了更加合理地实施抽帧处理操作，具体地，对所述待识别视频进行抽帧处理，得到多个候选视频帧，包括：根据所述时域信息，确定所述待识别视频的时间复杂度；根据所述时间复杂度，确定抽帧频率；根据所述抽帧频率，对所述待识别视频进行抽帧处理，得到多个候选视频帧。其中，时间复杂度是指待识别视频的时间变化量，运动程度较高的待识别视频通常会有更高的时间复杂度。抽帧频率是指每间隔一定数量的视频画面就对应抽取一张视频画面。例如，抽帧频率可以是每间隔5帧视频画面就抽取一张视频画面。根据时间复杂度，确定抽帧频率可以是，随着待识别视频的时间复杂度的增加，依次设置更大的抽帧频率。可以理解的是，通过根据待识别视频的时间复杂度确定的抽帧频率，来对待识别视频进行抽帧处理，不仅减少了待识别视频的数据量，降低了对投放行为进行识别的复杂度，而且经过抽帧处理得到的多个候选视频帧，在整体上还保留了所要进行投放行为识别的关键特征。S130、根据多个候选视频帧，确定包含动作事件对应的目标视频帧。其中，动作事件是指与投放行为相关的动作事件，以投递垃圾这一行为为例，动作事件包括抬起手臂、打开垃圾桶和放下手臂等动作事件。通常，各投放行为是由多个不同动作事件组合而成，也可能包含相同动作事件的重复。目前，考虑到对多个动作事件构成的投放行为进行整体的识别与分析的复杂性，以及出于运动分析的可行性，往往需要将投放行为分割成多个动作事件，以此来提高动作识别的效率，降低动作识别的复杂度。...

【技术保护点】
1.一种投放行为识别方法，其特征在于，包括：/n确定待识别视频的时域信息；/n对所述待识别视频进行抽帧处理，得到多个候选视频帧；/n根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧；/n根据各所述动作事件对应的所述目标视频帧和所述时域信息，生成与各所述动作事件对应的目标帧序列，用于进行投放行为识别。/n

【技术特征摘要】
1.一种投放行为识别方法，其特征在于，包括：
确定待识别视频的时域信息；
对所述待识别视频进行抽帧处理，得到多个候选视频帧；
根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧；
根据各所述动作事件对应的所述目标视频帧和所述时域信息，生成与各所述动作事件对应的目标帧序列，用于进行投放行为识别。


2.根据权利要求1所述的方法，其特征在于，所述根据所述多个候选视频帧，确定包含动作事件对应的目标视频帧，包括：
针对任一当前动作事件，确定所述当前动作事件的初始动作帧；
根据所述初始动作帧之后的至少两个候选视频帧和所述初始动作帧，生成至少一个参考动作帧；
根据各所述参考动作帧和所述多个候选视频帧，确定截止动作帧；
将所述初始动作帧、所述截止动作帧和位于所述初始动作帧与所述截止动作帧之间的候选视频帧，作为所述当前动作事件对应的目标视频帧。


3.根据权利要求2所述的方法，其特征在于，所述确定所述当前动作事件的初始动作帧，包括：
依次确定至少两个候选视频帧的图片相似度，并根据所述图片相似度识别初始动作帧；或者，
将前一动作事件的截止动作帧作为所述当前动作事件的初始动作帧。


4.根据权利要求2所述的方法，其特征在于，所述根据所述初始动作帧之后的至少两个候选视频帧和所述初始动作帧，生成至少一个参考动作帧，包括：
根据所述初始动作中之后的至少两个候选视频帧和所述初始动作帧，确定所述当前动作事件的动作变化信息；所述动作变化信息包括动作变化幅度；
根据所述动作变化幅度，生成至少一个参考动作帧。


5.根据权利要求4所述的方法，其特征在于，所述动作变化信息还包括动作变化率；
相应的，所述根据各所述参考动作帧和所述多个候选视频帧，确定截止动作帧，包括：
...

【专利技术属性】
技术研发人员：王鑫，朱李娟，李兰，
申请(专利权)人：上海肯汀通讯科技有限公司，
类型：发明
国别省市：上海;31