一种视频处理方法及装置制造方法及图纸

本发明专利技术实施例提供一种视频处理方法及装置，通过对基础视频中的视频帧进行识别并生成包含各目标结构化语义信息的集合信息，然后根据各视频帧所对应的时间信息将各视频帧划分到对应的时间组，对时间组中的各视频帧所对应的结构化语义信息进行聚合，得到组内结构化语义信息，能够将基础视频帧中记录的图像信息转换成包含时间信息的结构化语义信息，并利用目标活动具有持续性的特点，在时间段内聚合各目标的结构化语义信息，得到该时间段的组内结构化语义信息。让用户在需要了解基础视频中记录的视频信息时，基于各时间段对应的组内结构化语义信息即可基本了解基础视频中记录的信息，极大地减少了用户的浏览量，减轻了用户负担，提升了用户体验。

A Video Processing Method and Device

The embodiment of the present invention provides a video processing method and device. By recognizing the video frames in the basic video and generating the set information containing the structural semantic information of each target, the video frames are divided into corresponding time groups according to the corresponding time information of each video frame, and the corresponding structural semantic information of each video frame in the time group is aggregated to obtain the corresponding structural semantic information. Structured semantic information within a group can transform the image information recorded in the basic video frame into structured semantic information containing time information, and aggregate the structured semantic information of each target in a time period to obtain the structured semantic information within the group in that time period by utilizing the persistence of the target activity. When users need to understand the video information recorded in the basic video, they can basically understand the information recorded in the basic video based on the structured semantic information within the group corresponding to each time period, which greatly reduces the user's browsing volume, reduces the user's burden and improves the user experience.

【技术实现步骤摘要】
一种视频处理方法及装置
本专利技术涉及计算机领域，尤其涉及一种视频处理方法及装置。
技术介绍
在安防领域中，视频监控是一种非常重要的手段，也是使用最为广泛的一种方案，例如公共交通领域，商用、民用防盗领域等，监控摄像头都随处可见。由于监控摄像头总是客观地记录自己所监控区域内的图像，因此，能够在人们进行溯往查询的时候提供可信的依据。但也正是因为监控摄像头会客观记录所有的画面，所以很多摄像头拍摄得到的视频中包含较多无用的信息，这在民用安防领域中尤为突出：例如，如果用户希望通过安装在自家的摄像头所记录的视频了解星期一在自己家里发生的事情，则用户需要完整浏览摄像头在星期一所记录的全部视频，这需要耗费大量的时间。基本不会有用户花费这么长的时间来进行仔细浏览，而是会根据主观猜测从完整视频中选择部分时段的视频进行查看。但这种浏览方式带有太大的主观性，容易导致用户漏掉比较重要的视频信息。对于用户而言，其期望了解的只是在星期一是否有人或动物在监控区域出没行动，对于另外一些完全静止的画面并没有兴趣。所以现有的视频处理方案中，会通过移动侦测技术保留有运动信息的视频帧给用户浏览。这种方案虽然能够为用户筛除部分无用视频帧，但是其保留的视频依然很长，不利于用户抓住要点，且容易记录大量无意义运动视频，如光照变化、窗帘被风吹动等等。所以现在亟需提供一种新的视频处理方案，用于从大量的视频中提取出用户感兴趣的信息，减少用户了解视频信息时需要花费大量时间，用户体验低的问题。
技术实现思路
本专利技术实施例提供的一种视频处理方法及装置，主要解决的技术问题是：解决现有视频处理方案中通过移动侦测技术保留有运动信息的视频帧给用户浏览，导致用户需要浏览大量视频，导致用户体验低的问题。为解决上述技术问题，本专利技术实施例提供一种视频处理方法，包括：对基础视频中的视频帧进行目标识别，并根据识别结果为各所述视频帧生成集合信息，所述集合信息包括所述视频帧内各目标的结构化语义信息，所述结构化语义信息中包含按照预设顺序排列的时间信息、目标信息及目标行为信息；根据各所述视频帧所对应的时间信息将各所述视频帧划分到对应的时间组；对所述时间组中的各所述视频帧所对应的结构化语义信息进行聚合，得到针对所述时间组的组内结构化语义信息。本专利技术实施例还提供一种视频处理装置，包括处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的终端软件测试程序，以实现以下步骤：对基础视频中的视频帧进行目标识别，并根据识别结果为各所述视频帧生成集合信息，所述集合信息包括所述视频帧内各目标的结构化语义信息，所述结构化语义信息中包含按照预设顺序排列的时间信息、目标信息及目标行为信息；根据各所述视频帧所对应的时间信息将各所述视频帧划分到对应的时间组；对所述时间组中的各所述视频帧所对应的结构化语义信息进行聚合，得到针对所述时间组的组内结构化语义信息。本专利技术实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行前述的任一项的视频处理方法。本专利技术的有益效果是：本专利技术实施例提供的视频处理方法、装置以及计算机存储介质，通过对基础视频中的视频帧进行目标识别，并根据识别结果为各视频帧生成包含各目标结构化语义信息的集合信息，然后根据各视频帧所对应的时间信息将各视频帧划分到对应的时间组，随后，对时间组中的各视频帧所对应的结构化语义信息进行聚合，得到针对时间组的组内结构化语义信息。本专利技术提供的视频处理处理方案，能够将基础视频帧中记录的图像信息转换成包含时间信息的结构化语义信息，同时利用目标活动具有持续性的特点，在时间段内对各目标的结构化语义信息进行聚合，得到该时间段的组内结构化语义信息。让用户在需要了解基础视频中记录的视频信息时，基于基础视频中各时间段对应的组内结构化语义信息即可基本了解基础视频中记录的信息。这极大地减少了用户的浏览量，减轻了用户负担，提升了用户体验。附图说明图1为本专利技术实施例一中提供的视频处理方法的一种流程图；图2为本专利技术实施例二中提供的视频处理方法的一种流程图；图3为本专利技术实施例二中提供的在各视频帧的集合信息中查找到针对同一目标的结构化语义信息的流程图；图4为本专利技术实施例二中提供的一种视频帧中各目标之行为位置的关系示意图；图5为与图4视频帧中相邻的后帧中各目标之行为位置的关系示意图；图6为本专利技术实施例三中提供的视频处理方法的一种流程图；图7为本专利技术实施例四中提供的视频处理装置的一种硬件结构示意图；图8为本专利技术实施例五中提供的视频处理装置的一种硬件结构示意图。具体实施方式下面通过具体实施方式结合附图对本专利技术实施例作进一步详细说明。实施例一：为了解决现有视频处理方案中通过移动侦测技术保留有运动信息的视频帧给用户浏览，导致用户需要浏览大量视频，导致用户体验低的问题，本专利技术提供一种视频处理方法，请参见图1示出的视频处理方法的一种流程图：S102、对基础视频中的视频帧进行目标识别，并根据识别结果为各视频帧生成集合信息。所谓目标，通常是指用户比较感兴趣的被监控对象，例如人、宠物等。应当理解的是，静物，诸如家庭中的电器、家具等在没有人力作用下，常年也不会发生任何空间位置改变，所以用户安装监控摄像头实际上并不是为了对监控摄像头监控范围内的静物进行监测，而是为了对会发生空间位置变化，能够有动作行为的人或动物等进行监控，从而根据监控所得视频了解人或动物的行为。本实施例中，视频处理装置在视频帧中进行目标识别时可以采用智能视频分析法，例如传统特征描述子+分类器法、深度学习法等。一个视频帧的集合信息中包括该视频帧内各目标的结构化语义信息，所谓结构化语义信息就是将视频中的目标相关的信息按照预设的排列顺序，例如，在本实施例中的结构化语义信息中包括目标信息、目标行为信息与目标做出相关行为的时间信息，且时间信息与目标信息与目标行为信息总是按照固定顺序排列，例如针对第i帧中的第j个目标，其结构化语义信息可以表征为：SMi,j＝[时间信息,目标信息,目标行为信息]T应当理解的是，第i帧中的第j个目标结构化语义信息中的时间信息也就是第i个视频帧所对应的时间信息。毫无疑义的是，视频处理装置也可以按照其他顺序对三者进行排序，只是，一旦对第i帧中第j个目标的结构化语义信息进行了调整，则需要对基础视频中所有视频帧的所有目标的结构化语义信息进行同样的调整，从而保证所有视频帧中所有目标的结构化语义信息都符合同一标准，方便后续处理。本实施例中，将一个视频帧内目标总数称为“帧内数目”，假定第i帧的帧内数目为J，其中J的取值可以大于等于1。其中第i帧的集合信息为：SMi＝{SMij|0<j<J}在本实施例的一种示例当中，视频处理装置可以直接将监控摄像头采集到的原始视频作为基础视频。但考虑到原始视频中有相当多的视频帧并不包含目标，所以在本实施例中，视频处理装置并不会直接将原始视频作为基础视频。所以在对基础视频中的视频帧进行目标识别之前，视频处理装置还需要先从原始视频中获取到基础视频。视频处理装置从原始视频中筛选获得基础视频主要是要筛除原始视频中不包含运动信息的视频帧，所以，视频处理装置会对原始视频中的各视频帧进行运动信息检测，然后筛本文档来自技高网...

【技术保护点】
1.一种视频处理方法，包括：对基础视频中的视频帧进行目标识别，并根据识别结果为各所述视频帧生成集合信息，所述集合信息包括所述视频帧内各目标的结构化语义信息，所述结构化语义信息中包含按照预设顺序排列的时间信息、目标信息及目标行为信息；根据各所述视频帧所对应的时间信息将各所述视频帧划分到对应的时间组；对所述时间组中的各所述视频帧所对应的结构化语义信息进行聚合，得到针对所述时间组的组内结构化语义信息。

【技术特征摘要】
1.一种视频处理方法，包括：对基础视频中的视频帧进行目标识别，并根据识别结果为各所述视频帧生成集合信息，所述集合信息包括所述视频帧内各目标的结构化语义信息，所述结构化语义信息中包含按照预设顺序排列的时间信息、目标信息及目标行为信息；根据各所述视频帧所对应的时间信息将各所述视频帧划分到对应的时间组；对所述时间组中的各所述视频帧所对应的结构化语义信息进行聚合，得到针对所述时间组的组内结构化语义信息。2.如权利要求1所述的视频处理方法，其特征在于，所述对基础视频中的各视频帧进行目标识别之前还包括：对原始视频中的各视频帧进行运动信息检测；筛除所述原始视频中不包含运动信息的视频帧后获得所述基础视频。3.如权利要求1所述的视频处理方法，其特征在于，所述根据各所述视频帧所对应的时间信息将各所述视频帧划分到对应的时间组包括：根据用户设置的预设时长及各所述视频帧所对应的时间信息将所述基础视频中的各所述视频帧划分到对应的时间组，划分后所述时间组中起始帧与终止帧间的时间差不超过所述预设时长。4.如权利要求1所述的视频处理方法，其特征在于，所述对所述时间组中的各所述视频帧所对应的结构化语义信息进行聚合之前还包括：在所述时间组内计算各视频帧帧内数目的组内均值，保留帧内数目最接近所述组内均值的所述视频帧，筛除剩余视频帧，所述帧内数目为各视频帧中包含目标的个数；或，保留所述时间组内帧内数目等于组内高频数目的视频帧，筛除剩余视频帧，所述帧内数目为各视频帧中包含目标的个数，所述组内高频数目为在所述时间组内出现频率最高的帧内数目。5.如权利要求1-4任一项所述的视频处理方法，其特征在于，所述对所述时间组中的各所述视频帧所对应的结构化语义信息进行聚合包括：在各所述视频帧的集合信息中查找到针对同一目标的结构化语义信息；将针对所述目标的结构化语义信息进行聚合得到针对所述目标的组内结构化语义信息。6.如权利要求5所述的视频处理方法，其特征在于，所述结构化语义信息中还包括目标的行为位置，所述在各所述视频帧的集合信息中查找到针对同一目标的结构化语义信息包括：若所述时间组的各视频帧中只有一个目标，则将各所述集合信息中唯一的结构化语义信息均作为针对所述目标的结构化语义信息；若所述时间组的各视频帧中包括J个目标，所述J大于等于2，则：对于任意两个相邻视频帧，将前帧集合信息中各结构化语义信息之排列顺序作为标准顺序；对后帧集合信息中各结构化语义信息进行排序，得到J！种待选排序；根据所述前帧与后帧中各结构化语义信息中的行为位置分别计算待选排序中...

【专利技术属性】
技术研发人员：王勃飞，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44