基于视频信息处理模型的视频信息处理方法及装置制造方法及图纸

本方面提供了一种基于视频信息处理模型的视频信息处理方法，包括：获取待处理视频，通过图像处理网络对关键帧进行处理，以获取与关键帧相匹配的图像特征向量；对标题文本信息进行处理，以获取与标题文本信息对应的标题文本处理结果；确定图像特征向量与标题文本处理结果的相关性参数，并根据图像特征向量与标题文本处理结果的相关性参数确定相应的待推荐封面图像帧；获取相应的兴趣标签向量，本发明专利技术还提供了信息处理装置、电子设备及存储介质。本发明专利技术能够实现通过目标用户的兴趣标签向量与待推荐封面图像帧的相关性参数，确定与目标用户兴趣相匹配的待推荐封面图像帧。

Video information processing method and device based on video information processing model

【技术实现步骤摘要】
基于视频信息处理模型的视频信息处理方法及装置
本专利技术涉及信息处理技术，尤其涉及视频信息处理模型的训练方法、装置、电子设备及存储介质。
技术介绍
传统技术条件下，多媒体信息的需求量呈现爆发式增长，传统的信息处理技术已无法应对多媒体数据在向用户进行定向推广等任务上的需求。用自然语言对视频、图像等进行描述，对于人类来说非常简单，但对机器来说却是一项很难的任务，这需要机器能够跨越对图像理解的语义鸿沟，正确融合计算机视觉和自然语言处理这两项技术。近年来，很多基于深度学习的方法和系统被开发出来处理混合语音信号的分离和识别，如深度吸引网络。为此，人工智能技术(AI，ArtificialIntelligence)提供了训练适当的语音识别网络来支持上述应用的方案。其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能，在语音处理领域中，也就是通过利用数字计算机或者数字计算机控制的机器实现对语音的识别。目前，该方向的研究收到了广泛的关注，能够实现在安防、家居、医疗、教学等领域得到有效应用，但是这一过程中，视频文件的封面图像帧也存在着与用户的兴趣无法匹配、使得用户错过了可能感兴趣的视频，最终导致视频的播放率降低的缺点。
技术实现思路
有鉴于此，本专利技术实施例提供一种基于视频信息处理模型的视频信息处理方法、装置、电子设备及存储介质，实现了提升视频信息内容的分享速度，扩大了视频信息内容的分享场景，解决了传统技术中无法通过机器处理确定与目标用户兴趣相匹配的待推荐封面图像帧的问题。本专利技术通过了一种基于视频信息处理模型的视频信息处理方法，所述方法包括：获取待处理视频，并对所述待处理视频进行解析以实现获取所述待处理视频的关键帧和标题文本信息；通过所述视频信息处理模型的图像处理网络对所述关键帧进行处理，以获取与所述关键帧相匹配的图像特征向量；通过所述视频信息处理模型的文本处理网络对所述标题文本信息进行处理，以获取与所述标题文本信息对应的标题文本处理结果；通过所述视频信息处理模型，确定所述图像特征向量与所述标题文本处理结果的相关性参数，并根据所述图像特征向量与所述标题文本处理结果的相关性参数确定相应的待推荐封面图像帧；获取目标用户的兴趣参数，并对兴趣参数进行解析以实现获取相应的兴趣标签向量；通过所述视频信息处理模型，确定所述目标用户的兴趣标签向量与待推荐封面图像帧的相关性参数，以实现通过所述目标用户的兴趣标签向量与待推荐封面图像帧的相关性参数，确定与所述目标用户兴趣相匹配的待推荐封面图像帧。本专利技术实施例还提供了一种基于视频信息处理模型的处理装置，其特征在于，所述装置包括：信息传输模块，用于获取待处理视频，并对所述待处理视频进行解析以实现获取所述待处理视频的关键帧和标题文本信息；信息处理模块，用于通过所述视频信息处理模型的图像处理网络对所述关键帧进行处理，以获取与所述关键帧相匹配的图像特征向量；所述信息处理模块，用于通过所述视频信息处理模型的文本处理网络对所述标题文本信息进行处理，以获取与所述标题文本信息对应的标题文本处理结果；所述信息处理模块，用于通过所述视频信息处理模型，确定所述图像特征向量与所述标题文本处理结果的相关性参数，并根据所述图像特征向量与所述标题文本处理结果的相关性参数确定相应的待推荐封面图像帧；所述信息处理模块，用于获取目标用户的兴趣参数，并对兴趣参数进行解析以实现获取相应的兴趣标签向量；所述信息处理模块，用于通过所述视频信息处理模型，确定所述目标用户的兴趣标签向量与待推荐封面图像帧的相关性参数，以实现通过所述目标用户的兴趣标签向量与待推荐封面图像帧的相关性参数，确定与所述目标用户兴趣相匹配的待推荐封面图像帧。上述方案中，所述信息处理模块，用于对所述待处理视频进行解析，获取所述待处理视频的时序信息；所述信息处理模块，用于根据所述待处理视频的时序信息，对所述待处理视频所对应的视频图像帧状态信息进行解析，获取所述待处理视频的关键帧；所述信息处理模块，用于对所述待处理视频的关键帧所包括的标题信息进行分词处理，以形成相应的标题文本信息。上述方案中，所述信息处理模块，用于确定与所述视频信息处理模型的使用环境相匹配的动态噪声阈值；所述信息处理模块，用于根据所述动态噪声阈值对所述待处理视频的关键帧所包括的标题信息进行去噪处理，并触发与所述动态噪声阈值相匹配的第一分词策略；所述信息处理模块，用于根据与所述动态噪声阈值相匹配的第一分词策略，对所述关键帧所包括的标题信息进行分词处理，形成相应的标题文本信息。上述方案中，所述信息处理模块，用于确定与所述视频信息处理模型的使用环境相匹配的固定噪声阈值；所述信息处理模块，用于根据所述固定噪声阈值对所述待处理视频的关键帧所包括的标题信息进行去噪处理，并触发与所述固定噪声阈值相匹配的第二分词策略；所述信息处理模块，用于根据与所述固定噪声阈值相匹配的第二分词策略，对所述关键帧所包括的标题信息进行分词处理，形成相应的标题文本信息。上述方案中，所述信息处理模块，用于响应于所述时序信息，确定与所述关键帧相匹配的关键帧特征；所述信息处理模块，用于通过所述视频信息处理模型的图像处理网络利用所述时序信息，对所述关键帧特征进行处理，形成与所述关键帧相匹配的图像特征向量。上述方案中，所述信息处理模块，用于获取与所述待处理视频的播放界面相对应的目标分辨率；所述信息处理模块，用于响应于所述目标分辨率，通过所述视频信息处理模型中的图像处理网络对相应的关键帧进行分辨率增强处理，并获取相应关键帧特征，以实现所述图像特征向量与所述待处理视频的播放界面相对应的目标分辨率相适配。上述方案中，所述信息处理模块，用于通过文本处理网络提取与所述标题文字特征相匹配的文字特征向量；所述信息处理模块，用于通过所述文本处理网络，根据所述文字特征向量确定与标题文字特征所对应的至少一个词语级的隐变量；所述信息处理模块，用于通过所述文本处理网络，根据所述至少一个词语级的隐变量，生成与所述词语级的隐变量相对应的处理词语以及所述处理词语的被选取概率；所述信息处理模块，用于根据所述处理结果的被选取概率，选取至少一个处理词语组成与所述标题文字特征相对应的文本处理结果。上述方案中，所述信息处理模块，用于确定与所述待处理视频的播放环境相匹配的码率信息；所述信息处理模块，用于通过所述视频信息处理模型中的图像处理网络，利用所述图像特征向量中的视觉特征向量，对所述待处理视频的码率进行调整，以实现待处理视频的码率与所述播放环境的码率信息相匹配。上述方案中，所述信息处理模块，用于获取所述目标用户的观看历本文档来自技高网...

【技术保护点】
1.一种基于视频信息处理模型的视频信息处理方法，其特征在于，所述方法包括：/n获取待处理视频，并对所述待处理视频进行解析以实现获取所述待处理视频的关键帧和标题文本信息；/n通过所述视频信息处理模型的图像处理网络对所述关键帧进行处理，以获取与所述关键帧相匹配的图像特征向量；/n通过所述视频信息处理模型的文本处理网络对所述标题文本信息进行处理，以获取与所述标题文本信息对应的标题文本处理结果；/n通过所述视频信息处理模型，确定所述图像特征向量与所述标题文本处理结果的相关性参数，并根据所述图像特征向量与所述标题文本处理结果的相关性参数确定相应的待推荐封面图像帧；/n通过所述视频信息处理模型，确定目标用户的兴趣标签向量与待推荐封面图像帧的相关性参数，以实现通过所述目标用户的兴趣标签向量与待推荐封面图像帧的相关性参数，确定与所述目标用户兴趣相匹配的待推荐封面图像帧。/n

【技术特征摘要】
1.一种基于视频信息处理模型的视频信息处理方法，其特征在于，所述方法包括：
获取待处理视频，并对所述待处理视频进行解析以实现获取所述待处理视频的关键帧和标题文本信息；
通过所述视频信息处理模型的图像处理网络对所述关键帧进行处理，以获取与所述关键帧相匹配的图像特征向量；
通过所述视频信息处理模型的文本处理网络对所述标题文本信息进行处理，以获取与所述标题文本信息对应的标题文本处理结果；
通过所述视频信息处理模型，确定所述图像特征向量与所述标题文本处理结果的相关性参数，并根据所述图像特征向量与所述标题文本处理结果的相关性参数确定相应的待推荐封面图像帧；
通过所述视频信息处理模型，确定目标用户的兴趣标签向量与待推荐封面图像帧的相关性参数，以实现通过所述目标用户的兴趣标签向量与待推荐封面图像帧的相关性参数，确定与所述目标用户兴趣相匹配的待推荐封面图像帧。


2.根据权利要求1所述的方法，其特征在于，所述获取待处理视频，并对所述待处理视频进行解析以实现获取所述待处理视频的关键帧和标题文本信息，包括：
对所述待处理视频进行解析，获取所述待处理视频的时序信息；
根据所述待处理视频的时序信息，对所述待处理视频所对应的视频图像帧状态信息进行解析，获取所述待处理视频的关键帧；
对所述待处理视频的关键帧所包括的标题信息进行分词处理，以形成相应的标题文本信息。


3.根据权利要求2所述的方法，其特征在于，所述对所述待处理视频的关键帧所包括的标题信息进行分词处理，以形成相应的标题文本信息，包括：
确定与所述视频信息处理模型的使用环境相匹配的动态噪声阈值；
根据所述动态噪声阈值对所述待处理视频的关键帧所包括的标题信息进行去噪处理，并触发与所述动态噪声阈值相匹配的第一分词策略；
根据与所述动态噪声阈值相匹配的第一分词策略，对所述关键帧所包括的标题信息进行分词处理，形成相应的标题文本信息。


4.根据权利要求2所述的方法，其特征在于，所述对所述待处理视频的关键帧所包括的标题信息进行分词处理，以形成相应的标题文本信息，包括：
确定与所述视频信息处理模型的使用环境相匹配的固定噪声阈值；
根据所述固定噪声阈值对所述待处理视频的关键帧所包括的标题信息进行去噪处理，并触发与所述固定噪声阈值相匹配的第二分词策略；
根据与所述固定噪声阈值相匹配的第二分词策略，对所述关键帧所包括的标题信息进行分词处理，形成相应的标题文本信息。


5.根据权利要求2所述的方法，其特征在于，所述通过所述视频信息处理模型的图像处理网络对所述关键帧进行处理，以获取与所述关键帧相匹配的图像特征向量，包括：
响应于所述时序信息，确定与所述关键帧相匹配的关键帧特征；
通过所述视频信息处理模型的图像处理网络利用所述时序信息，对所述关键帧特征进行处理，形成与所述关键帧相匹配的图像特征向量。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取与所述待处理视频的播放界面相对应的目标分辨率；
响应于所述目标分辨率，通过所述视频信息处理模型中的图像处理网络对相应的关键帧进行分辨率增强处理，并获取相应关键帧特征，以实现所述图像特征向量与所述待处理视频的播放界面相对应的目标分辨率相适配。


7.根据权利要求1所述的方法，其特征在于，所述通过所述视频信息处理模型的文本处理网络对所述标题文本信息进行处理，以获取与所述标题文本信息对应的标题文本处理结果，包括：
通过文本处理网络提取与所述标题文字特征相匹配的文字特征向量；
通过所述文本处理网络，根据所述文字特征向量确定与标题文字特征所对应的至少一个词语级的隐变量；
通过所述文本处理网络，根据所述至少一个词语级的隐变量，生成与所述...

【专利技术属性】
技术研发人员：陈小帅，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44