关键帧的确定方法和装置制造方法及图纸

本发明专利技术提供了一种关键帧的确定方法和装置，涉及人工智能领域；方法包括：对视频进行抽帧处理，得到多个视频帧；对多个视频帧中的第一视频帧进行对象特征提取处理，得到第一视频帧的对象特征，并对第一视频帧之后的第二视频帧进行对象特征提取处理，得到第二视频帧的对象特征；对第一视频帧的对象特征以及第二视频帧的对象特征进行比对；当比对结果表征第一视频帧中的对象与第二视频帧中的对象不同时，将第二视频帧确定为视频的对象关键帧。通过本发明专利技术，能够准确地抽取视频中的对象关键帧。

【技术实现步骤摘要】
关键帧的确定方法和装置
专利技术涉及人工智能技术，尤其涉及一种关键帧的确定方法、装置、电子设备及计算机可读存储介质。
技术介绍
人工智能（ArtificialIntelligence，AI）是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。视频对象识别是人工智能领域的重要应用之一，视频对象识别是指从视频中识别出对象的过程。视频对象识别在文字识别系统、人脸识别系统等中都有广泛的应用，即视频对象识别是这些复杂系统的基础组件。但是，相关技术中的视频对象识别需要对视频中的每一视频帧进行识别，使得识别过程计算量大、效率低。
技术实现思路
本专利技术实施例提供一种关键帧的确定方法、装置、电子设备及计算机可读存储介质，能够准确地抽取视频中的对象关键帧，以提高后续对象识别的效率。本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供一种关键帧的确定方法，包括：对视频进行抽帧处理，得到多个视频帧；对所述多个视频帧中的第一视频帧进行对象特征提取处理，得到所述第一视频帧的对象特征，并对所述第一视频帧之后的第二视频帧进行对象特征提取处理，得到所述第二视频帧的对象特征；对所述第一视频帧的对象特征以及所述第二视频帧的对象特征进行比对；当比对结果表征所述第一视频帧中的对象与所述第二视频帧中的对象不同时，将所述第二视频帧确定为所述视频的对象关键帧。上述技术方案中，所述方法还包括：当所述第一视频帧是所述多个视频帧中播放次序在首位的视频帧时，将所述第一视频帧确定为对象关键帧。上述技术方案中，所述对视频进行抽帧处理，得到多个视频帧之后，还包括：对所述多个视频帧进行尺寸缩放，得到缩放后的多个视频帧；对所述缩放后的多个视频帧进行对比度调整，得到待处理的多个视频帧。本专利技术实施例提供一种关键帧的确定装置，包括：抽帧模块，用于对视频进行抽帧处理，得到多个视频帧；提取模块，用于对所述多个视频帧中的第一视频帧进行对象特征提取处理，得到所述第一视频帧的对象特征，并对所述第一视频帧之后的第二视频帧进行对象特征提取处理，得到所述第二视频帧的对象特征；处理模块，用于对所述第一视频帧的对象特征以及所述第二视频帧的对象特征进行比对；当比对结果表征所述第一视频帧中的对象与所述第二视频帧中的对象不同时，将所述第二视频帧确定为所述视频的对象关键帧。上述技术方案中，所述第一视频帧和所述第二视频帧为所述多个视频帧中任意相邻的两个视频帧，或者，所述第一视频帧与所述第二视频帧是所述多个视频帧中间隔的视频帧，且所述第一视频帧是距离所述第二视频帧最近的对象关键帧。上述技术方案中，所述装置还包括：确定模块，用于当所述第一视频帧是所述多个视频帧中播放次序在首位的视频帧时，将所述第一视频帧确定为对象关键帧。上述技术方案中，当所述对象为所述视频中处于动态位置的内容时，所述提取模块还用于对所述第一视频帧进行特征提取处理，得到所述第一视频帧的位置特征和内容特征；对所述第一视频帧的位置特征以及内容特征进行融合处理，得到所述第一视频帧的对象特征；对所述第二视频帧进行特征提取处理，得到所述第二视频帧的位置特征和内容特征；对所述第二视频帧的位置特征以及内容特征进行融合处理，得到所述第二视频帧的对象特征。上述技术方案中，当所述对象为所述视频中处于静态位置的内容时，所述提取模块还用于对所述第一视频帧进行特征提取处理，得到所述第一视频帧的位置特征和内容特征；根据所述第一视频帧的对象位置掩码信息，对所述第一视频帧的位置特征以及内容特征进行融合处理，得到所述第一视频帧的对象特征；对所述第二视频帧进行特征提取处理，得到所述第二视频帧的位置特征和内容特征；根据所述第二视频帧的对象位置掩码信息，对所述第二视频帧的位置特征以及内容特征进行融合处理，得到所述第二视频帧的对象特征。上述技术方案中，所述提取模块还用于对所述第一视频帧进行内容特征提取处理，得到包含所述第一视频帧的对象的轮廓信息的内容特征；对所述第一视频帧进行位置特征提取处理，得到包含所述第一视频帧的对象的内容信息的位置特征。上述技术方案中，所述提取模块还用于对所述第一视频帧的位置特征进行通道压缩处理，得到压缩后的位置特征；对所述压缩后的位置特征进行非线性映射处理，得到所述第一视频帧的对象位置掩码信息；其中，所述对象位置掩码信息用于表征所述第一视频帧中的各区域是否存在对象。上述技术方案中，所述提取模块还用于对所述第一视频帧的对象位置掩码信息以及所述第一视频帧的位置特征进行融合处理，得到所述第一视频帧的对象位置特征；对所述第一视频帧的对象位置掩码信息以及所述第一视频帧的内容特征进行融合处理，得到所述第一视频帧的对象内容特征；对所述第一视频帧的对象位置特征以及所述第一视频帧的对象内容特征进行拼接处理，得到所述第一视频帧的对象特征。上述技术方案中，所述提取模块还用于针对所述第一视频帧的位置特征中的各区域的特征执行以下处理：将所述第一视频帧的对象位置掩码信息中对应所述区域的位置掩码信息、与所述区域的特征相乘，以得到所述区域的对象位置特征；对所述第一视频帧的各区域的对象位置特征进行组合处理，得到所述第一视频帧的对象位置特征。上述技术方案中，所述处理模块还用于对所述第一视频帧的对象特征以及所述第二视频帧的对象特征进行融合处理，得到对象融合特征；将所述对象融合特征映射为所述第一视频帧中的对象与所述第二视频帧中的对象是不同对象的概率；当所述概率大于概率阈值时，确定所述第一视频帧中的对象与所述第二视频帧中的对象不同。上述技术方案中，所述处理模块还用于针对所述第一视频帧的对象特征中的各区域的特征执行以下处理：将所述第二视频帧的对象特征中对应所述区域的特征、与所述区域的特征相减，以得到所述区域的差异特征；对各区域的差异特征进行组合处理，得到所述对象融合特征；对所述对象融合特征进行卷积处理，得到对应所述第一视频帧与所述第二视频帧的对象融合概率图；对所述对象融合概率图进行非线性映射处理，得到所述第一视频帧中的对象与所述第二视频帧中的对象是不同对象的概率。上述技术方案中，所述抽帧模块还用于通过以下任一方式对视频进行抽帧处理，以得到多个视频帧：对所述视频进行第一尺度抽帧处理，得到第一视频帧序列，并对所述视频进行第二尺度抽帧处理，得到第二视频帧序列，其中，所述第一尺度大于所述第二尺度；对所述视频进行第一尺度抽帧处理，得到第一视频帧序列，并对所述第一视频帧序列进行第二尺度抽帧处理，得到第二视频帧序列，其中，所述第一尺度大于所述本文档来自技高网...

【技术保护点】
1.一种关键帧的确定方法，其特征在于，包括：/n对视频进行抽帧处理，得到多个视频帧；/n对所述多个视频帧中的第一视频帧进行对象特征提取处理，得到所述第一视频帧的对象特征，并对所述第一视频帧之后的第二视频帧进行对象特征提取处理，得到所述第二视频帧的对象特征；/n对所述第一视频帧的对象特征以及所述第二视频帧的对象特征进行比对；/n当比对结果表征所述第一视频帧中的对象与所述第二视频帧中的对象不同时，将所述第二视频帧确定为所述视频的对象关键帧。/n

【技术特征摘要】
1.一种关键帧的确定方法，其特征在于，包括：
对视频进行抽帧处理，得到多个视频帧；
对所述多个视频帧中的第一视频帧进行对象特征提取处理，得到所述第一视频帧的对象特征，并对所述第一视频帧之后的第二视频帧进行对象特征提取处理，得到所述第二视频帧的对象特征；
对所述第一视频帧的对象特征以及所述第二视频帧的对象特征进行比对；
当比对结果表征所述第一视频帧中的对象与所述第二视频帧中的对象不同时，将所述第二视频帧确定为所述视频的对象关键帧。


2.根据权利要求1所述的方法，其特征在于，
所述第一视频帧和所述第二视频帧为所述多个视频帧中任意相邻的两个视频帧，或者，
所述第一视频帧与所述第二视频帧是所述多个视频帧中间隔的视频帧，且所述第一视频帧是距离所述第二视频帧最近的对象关键帧。


3.根据权利要求1所述的方法，其特征在于，
当所述对象为所述视频中处于动态位置的内容时，所述对所述多个视频帧中的第一视频帧进行对象特征提取处理，得到所述第一视频帧的对象特征，包括：
对所述第一视频帧进行特征提取处理，得到所述第一视频帧的位置特征和内容特征；
对所述第一视频帧的位置特征以及内容特征进行融合处理，得到所述第一视频帧的对象特征；
相应地，所述对所述第一视频帧之后的第二视频帧进行对象特征提取处理，得到所述第二视频帧的对象特征，包括：
对所述第二视频帧进行特征提取处理，得到所述第二视频帧的位置特征和内容特征；
对所述第二视频帧的位置特征以及内容特征进行融合处理，得到所述第二视频帧的对象特征。


4.根据权利要求1所述的方法，其特征在于，
当所述对象为所述视频中处于静态位置的内容时，所述对所述多个视频帧中的第一视频帧进行对象特征提取处理，得到所述第一视频帧的对象特征，包括：
对所述第一视频帧进行特征提取处理，得到所述第一视频帧的位置特征和内容特征；
根据所述第一视频帧的对象位置掩码信息，对所述第一视频帧的位置特征以及内容特征进行融合处理，得到所述第一视频帧的对象特征；
相应地，所述对所述第一视频帧之后的第二视频帧进行对象特征提取处理，得到所述第二视频帧的对象特征，包括：
对所述第二视频帧进行特征提取处理，得到所述第二视频帧的位置特征和内容特征；
根据所述第二视频帧的对象位置掩码信息，对所述第二视频帧的位置特征以及内容特征进行融合处理，得到所述第二视频帧的对象特征。


5.根据权利要求4所述的方法，其特征在于，所述对所述第一视频帧进行特征提取处理，得到所述第一视频帧的位置特征和内容特征，包括：
对所述第一视频帧进行内容特征提取处理，得到包含所述第一视频帧的对象的轮廓信息的内容特征；
对所述第一视频帧进行位置特征提取处理，得到包含所述第一视频帧的对象的内容信息的位置特征。


6.根据权利要求4所述的方法，其特征在于，所述对所述第一视频帧的位置特征以及内容特征进行融合处理之前，还包括：
对所述第一视频帧的位置特征进行通道压缩处理，得到压缩后的位置特征；
对所述压缩后的位置特征进行非线性映射处理，得到所述第一视频帧的对象位置掩码信息；
其中，所述对象位置掩码信息用于表征所述第一视频帧中的各区域是否存在对象。


7.根据权利要求6所述的方法，其特征在于，所述根据所述第一视频帧的对象位置掩码信息，对所述第一视频帧的位置特征以及内容特征进行融合处理，得到所述第一视频帧的对象特征，包括：
对所述第一视频帧的对象位置掩码信息以及所述第一视频帧的位置特征进行融合处理，得到所述第一视频帧的对象位置特征；
对所述第一视频帧的对象位置掩码信息以及所述第一视频帧的内容特征进行融合处理，得到所述第一视频帧的对象内容特征；
对所述第一视频帧的对象位置特征以及所述第一视频帧的对象内容特征进行拼接处理，得到所述第一视频帧的对象特征。


8.根据权利要求7所述的方法，其特征在于，所述对所述第一视频帧的对象位置掩码信息以及所述第一视频帧的位置特征进行融合处理，得到所述第一视频帧的对象位置特征，包括：
针对所述第一视频帧的位置特征中的各区域的特征执行以下处理：
将所述第一视频帧的对象位置掩码信息中对应所述区域的位置掩码信息、与所述区域的特征相乘，以得到所述区域的对象位置特征；
对所述第一视频帧的各区域的对象位置特征进行组合处理，得到所述第一视频帧的对象位置特征。


9.根据权利要求1所述的方法，其特征在于，所述对所述第一视频帧的对象特征以及所述第二视频帧的对象特征进行比对，包括：
对所述第一视频帧的对象特征以及所述第二视频帧的对象特征进行融合处理，得到对象融合特征；
将所述对象融合特征映射为所述第一...

【专利技术属性】
技术研发人员：彭健腾，王兴华，康斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44