一种视频的处理方法、装置及电子设备制造方法及图纸

本说明书公开了一种视频的处理方法、装置及电子设备，该方法包括：获取待处理的目标视频；对目标对象分别进行第一分割处理和第二分割处理；其中，目标图片选自目标视频；根据第一分割处理的结果和第二分割处理的结果，从目标图片中选取关键图片；基于预设的时空记忆网络，根据关键图片和关键图片的指定分割结果，对目标视频中的目标对象进行最终分割处理；其中，指定分割结果为第一分割处理的结果或第二分割处理的结果。

【技术实现步骤摘要】
一种视频的处理方法、装置及电子设备
本说明书涉及视频处理
，更具体地，涉及一种视频的处理方法、一种直播视频的处理方法、一种监控视频的处理方法、一种视频的处理装置、一种电子设备、及一种计算机可读存储介质。
技术介绍
视频人体分割是从视频的每帧图片中将人体区域分割出来，其中，人体区域包括人体自身区域、手持物和人体的附属物区域。人体分割是计算机视觉中的常见任务,对于计算机理解人类活动有着重要的作用,广泛应用于视频处理、视频监控、人体姿势估计、3D建模和个人娱乐等领域。现有的无监督视频物体分割方法，只适合简单的视频场景，例如人和背景颜色差别较大，人体服饰简单、没有手持物和附属物等场景。如果场景稍微复杂一些，就会导致分割区域闪烁，分割效果较差。
技术实现思路
本说明书的一个目的是提供一种对视频中的目标对象进行分割的新技术方案。根据本说明书的第一方面，提供了一种视频的处理方法，包括：获取待处理的目标视频；对目标图片中的目标对象分别进行第一分割处理和第二分割处理；其中，所述目标图片选自所述目标视频；根据所述第一分割处理的结果和所述第二分割处理的结果，从所述目标图片中选取关键图片；基于预设的时空记忆网络，根据所述关键图片和所述关键图片的指定分割结果，对所述目标视频中的目标对象进行最终分割处理；其中，所述指定分割结果为第一分割处理的结果或第二分割处理的结果。可选的，对目标图片中的目标对象进行第一分割处理包括：识别所述目标图片中包含目标对象的区域，作为目标对象区域；对所述目标图片对应的所述目标对象区域中的目标对象进行第一分割处理，得到第一分割处理的结果。可选的，所述识别所述目标图片中包含目标对象的区域，作为目标对象区域包括：识别所述目标图片中包含目标类别的对象的区域，作为目标类别区域；其中，所述目标类别为所述目标对象所属的类别；选取符合预设条件的目标类别区域，作为所述目标对象区域。可选的，对所述目标图片中的所述目标对象进行第二分割处理包括：基于预设的时空记忆网络，根据指定图片和所述指定图片的第一分割处理的结果，对第二图片中的目标对象进行第二分割处理，得到所述第二图片的第二分割处理的结果；其中，所述指定图片为任一所述目标图片，所述第二图片为所述目标图片中除所述指定图片以外的图片；所述根据所述第一分割处理的结果和所述第二分割处理的结果，从所述目标图片中选取关键图片包括：根据所述第一分割处理的结果和所述第二分割处理的结果，从所述第二图片中选取所述关键图片。可选的，所述基于预设的时空记忆网络，根据指定图片和所述指定图片的第一分割处理的结果，对第二图片中的目标对象进行第二分割处理，得到所述第二图片的第二分割处理的结果包括：将与所述指定图片相邻的第二图片，作为下一图片；基于所述时空记忆网络，根据所述指定图片和所述指定图片的第一分割处理的结果，对与所述下一图片中的目标对象进行第二分割处理，得到与所述下一图片的第二分割处理的结果；将所述下一图片作为已处理图片；将与所述已处理图片相邻的、未进行第二分割处理的第二图片，作为当前图片；基于所述时空记忆网络，根据所述指定图片和所述指定图片的第一分割处理的结果、及所述已处理图片和所述已处理图片的第二分割处理的结果，对所述当前图片中的目标对象进行第二分割处理，得到所述当前图片的第二分割处理的结果；将所述当前图片作为所述已处理图片。可选的，所述根据所述第一分割处理的结果和所述第二分割处理的结果，从所述目标图片中选取关键图片包括：确定所述目标图片的第一分割处理的结果和第二分割处理的结果的相似度；根据所述相似度从所述目标图片中选取所述关键图片。可选的，所述根据所述相似度从所述目标图片中选取所述关键图片包括：选取相似度大于或等于预设的相似度阈值的目标图片，作为所述关键图片；或者，根据所述相似度，对所述目标图片进行排序，并获取每帧所述目标图片的排序值；选取排序值在设定范围内的所述目标图片，作为所述关键图片。可选的，所述基于预设的时空记忆网络，根据所述关键图片和所述关键图片的指定分割结果，对所述目标视频中的目标对象进行最终分割处理包括：基于所述时空记忆网络，根据所述关键图片和所述关键图片的指定分割结果，对第一图片中的目标对象进行最终分割处理，得到所述第一图片的最终分割处理的结果；其中，所述第一图片为所述目标视频中除所述关键图片以外的图片；将所述关键图片的指定分割结果，作为所述关键图片的最终分割处理的结果。可选的，还包括：获取预设的背景视频；根据所述背景视频和所述目标视频的最终分割处理的结果，得到新的视频。可选的，还包括：获取所述目标视频的弹幕信息；在展示所述目标视频的过程中，将对应的弹幕信息显示在所述目标视频的最终分割处理的结果之下。根据本说明书的第二方面，提供了一种直播视频的处理方法，包括：获取直播视频；对目标图片中的目标对象分别进行第一分割处理和第二分割处理；其中，所述目标图片选自所述直播视频；根据所述第一分割处理的结果和所述第二分割处理的结果，从所述目标图片中选取关键图片；基于预设的时空记忆网络，根据所述关键图片和所述关键图片的指定分割结果，对所述直播视频中的目标对象进行最终分割处理；其中，所述指定分割结果为第一分割处理的结果或第二分割处理的结果。根据本说明书的第三方面，提供了一种监控视频的处理方法，包括：获取监控视频；对目标图片中的目标对象分别进行第一分割处理和第二分割处理；其中，所述目标图片选自所述监控视频；根据所述第一分割处理的结果和所述第二分割处理的结果，从所述目标图片中选取关键图片；基于预设的时空记忆网络，根据所述关键图片和所述关键图片的指定分割结果，对所述监控视频中的目标对象进行最终分割处理；其中，所述指定分割结果为第一分割处理的结果或第二分割处理的结果。根据本说明书的第四方面，提供了一种视频的处理方法，包括：提供用于上传目标视频的第一入口；通过所述第一入口获取待处理的目标视频；对目标图片中的目标对象分别进行第一分割处理和第二分割处理；其中，所述目标图片选自所述目标视频；根据所述第一分割处理的结果和所述第二分割处理的结果，从所述目标图片中选取关键图片；提供用于选取所述第一分割处理的结果或者所述第二分割处理的结果的第二入口；通过所述第二入口获取所选的分割处理的结果，作为指定分割结果；基于预设的时空记忆网络，根据所述关键图片和所述关键图片的指定分割结果，对所述目标视频中的目标对象进行最终分割处理。根据本说明书的第五方面，提供了一种视频的处理装置，包括：视频获取模块，用于获取待处理的目标视频；初始分割模块，用于对目标图片中的目标对象分别进行第本文档来自技高网...

【技术保护点】
1.一种视频的处理方法，包括：/n获取待处理的目标视频；/n对目标图片中的目标对象分别进行第一分割处理和第二分割处理；其中，所述目标图片选自所述目标视频；/n根据所述第一分割处理的结果和所述第二分割处理的结果，从所述目标图片中选取关键图片；/n基于预设的时空记忆网络，根据所述关键图片和所述关键图片的指定分割结果，对所述目标视频中的目标对象进行最终分割处理；其中，所述指定分割结果为第一分割处理的结果或第二分割处理的结果。/n

【技术特征摘要】
1.一种视频的处理方法，包括：
获取待处理的目标视频；
对目标图片中的目标对象分别进行第一分割处理和第二分割处理；其中，所述目标图片选自所述目标视频；
根据所述第一分割处理的结果和所述第二分割处理的结果，从所述目标图片中选取关键图片；
基于预设的时空记忆网络，根据所述关键图片和所述关键图片的指定分割结果，对所述目标视频中的目标对象进行最终分割处理；其中，所述指定分割结果为第一分割处理的结果或第二分割处理的结果。


2.根据权利要求1所述的方法，对目标图片中的目标对象进行第一分割处理包括：
识别所述目标图片中包含目标对象的区域，作为目标对象区域；
对所述目标图片对应的所述目标对象区域中的目标对象进行第一分割处理，得到第一分割处理的结果。


3.根据权利要求2所述的方法，所述识别所述目标图片中包含目标对象的区域，作为目标对象区域包括：
识别所述目标图片中包含目标类别的对象的区域，作为目标类别区域；其中，所述目标类别为所述目标对象所属的类别；
选取符合预设条件的目标类别区域，作为所述目标对象区域。


4.根据权利要求1所述的方法，对所述目标图片中的所述目标对象进行第二分割处理包括：
基于预设的时空记忆网络，根据指定图片和所述指定图片的第一分割处理的结果，对第二图片中的目标对象进行第二分割处理，得到所述第二图片的第二分割处理的结果；其中，所述指定图片为任一所述目标图片，所述第二图片为所述目标图片中除所述指定图片以外的图片；
所述根据所述第一分割处理的结果和所述第二分割处理的结果，从所述目标图片中选取关键图片包括：
根据所述第一分割处理的结果和所述第二分割处理的结果，从所述第二图片中选取所述关键图片。


5.根据权利要求4所述的方法，所述基于预设的时空记忆网络，根据指定图片和所述指定图片的第一分割处理的结果，对第二图片中的目标对象进行第二分割处理，得到所述第二图片的第二分割处理的结果包括：
将与所述指定图片相邻的第二图片，作为下一图片；
基于所述时空记忆网络，根据所述指定图片和所述指定图片的第一分割处理的结果，对与所述下一图片中的目标对象进行第二分割处理，得到与所述下一图片的第二分割处理的结果；
将所述下一图片作为已处理图片；
将与所述已处理图片相邻的、未进行第二分割处理的第二图片，作为当前图片；
基于所述时空记忆网络，根据所述指定图片和所述指定图片的第一分割处理的结果、及所述已处理图片和所述已处理图片的第二分割处理的结果，对所述当前图片中的目标对象进行第二分割处理，得到所述当前图片的第二分割处理的结果；
将所述当前图片作为所述已处理图片。


6.根据权利要求1所述的方法，所述根据所述第一分割处理的结果和所述第二分割处理的结果，从所述目标图片中选取关键图片包括：
确定所述目标图片的第一分割处理的结果和第二分割处理的结果的相似度；
根据所述相似度从所述目标图片中选取所述关键图片。


7.根据权利要求6所述的方法，所述根据所述相似度从所述目标图片中选取所述关键图片包括：
选取相似度大于或等于预设的相似度阈值的目标图片，作为所述关键图片；或者，
根据所述相似度，对所述目标图片进行排序，并获取每帧所述目标图片的排序值；
选取排序值在设定范围内的所述目标图片，作为所述关键图片。


8.根据权利要求1所述的方法，所述基于预设的时空记忆网络，根据所述关键图片和所述关键图片的指定分割结果，对所述目标视频中...

【专利技术属性】
技术研发人员：刘晓宇，吉恒杉，蒋小龙，任海兵，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY