【技术实现步骤摘要】
本专利技术涉及视频理解，尤其涉及一种视频理解、模型训练方法、装置、计算机设备及存储介质，本专利技术可以用于视频搜索、智能家居、在线教育等领域。
技术介绍
1、视频理解是当前计算机视觉研究领域中备受学术界和工业界关注的方向。随着视频行业的高速发展，如何利用人工智能技术更好地对视频内容进行理解变得越来越重要。
2、相关技术中，将视频文件的内容理解任务看作视觉识别和分类任务(visualrecognition and classifications)。
3、然而，相关技术中通过视觉识别和分类的方式得到的视频内容的完整性有待提升。
技术实现思路
1、本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术提出一种视频理解、模型训练方法、装置、计算机设备及存储介质。
2、本专利技术提出一种视频理解方法，所述方法包括：
3、获取待理解视频文件对应的多个图像文本对；其中，所述图像文本对包括图像帧和所述图像帧对应的文本；
4、...
【技术保护点】
1.一种视频理解方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述任意两个图像文本对包括第一图像文本对、第二图像文本对；所述目标视频理解模型的训练方式，包括：
3.根据权利要求2所述的方法，其特征在于，所述初始视频理解模型包括编码网络、排序处理组件；所述预测概率分布数据的确定方式，包括：
4.根据权利要求3所述的方法，其特征在于，所述初始视频理解模型还包括聚类处理组件；所述第一特征分布数据的确定方式，包括：
5.根据权利要求4所述的方法，其特征在于，所述第二特征分布数据的确定方式包括：>
6.根据权利...
【技术特征摘要】
1.一种视频理解方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述任意两个图像文本对包括第一图像文本对、第二图像文本对；所述目标视频理解模型的训练方式，包括：
3.根据权利要求2所述的方法，其特征在于，所述初始视频理解模型包括编码网络、排序处理组件；所述预测概率分布数据的确定方式，包括：
4.根据权利要求3所述的方法，其特征在于，所述初始视频理解模型还包括聚类处理组件；所述第一特征分布数据的确定方式，包括：
5.根据权利要求4所述的方法，其特征在于，所述第二特征分布数据的确定方式包括：
6.根据权利要求3所述的方法，其特征在于，所述编码网络包括第一编码网络和第二编码网络；所述第一融合特征和所述第二融合特征的确定方式，包括：
7.根据权利要求6所述的方法，其特征在于，所述第一编码网络包括共同训练得到的图像编码分支和文本编码分支；所述通过所述第一编码网络对所述第一图像文本对中的图像帧和文本进行特征提取，得到第一图像特征和第一文本特征，包括：
8.根据权利要求2至7任一项所述的方法，其特征...
【专利技术属性】
技术研发人员：郑子隆，汪江汇，汪宇轩，
申请(专利权)人：北京通用人工智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。