多媒体资源信息的展示方法、装置、设备以及存储介质制造方法及图纸

本申请公开了一种多媒体资源信息的展示方法、装置、设备以及存储介质，属于图像识别领域。方法包括：将视频图像中的人脸图像输入图像识别模型中，由图像识别模型对人脸图像进行卷积处理，得到人脸图像对应的目标特征图；基于目标特征图，对人脸图像所包括的对象进行识别，得到对象的对象身份信息；基于对象身份信息进行查询，展示查询得到的对象身份信息所关联的多媒体资源信息。通过本申请提供的技术方案，计算机设备可以基于图像识别模型对视频图像中的人脸图像进行识别，得到人脸图像所包括的对象的身份信息。基于对象的身份信息进行查询，可以缩小计算机设备查询多媒体资源信息的范围，提升查询速度，减少计算资源的消耗。

Display method, device, equipment and storage medium of multimedia resource information

【技术实现步骤摘要】
多媒体资源信息的展示方法、装置、设备以及存储介质
本申请涉及图像识别领域，特别涉及一种多媒体资源信息的展示方法、装置、设备以及存储介质。
技术介绍
随着计算机技术的发展，越来越多的用户通过各类计算机设备观看视频。用户在观看视频的过程中，可能会发现一些感兴趣但是却不认识的演员。在这种情况下，用户可能会有想观看该演员其他作品的想法。相关技术中，用户可以在观看视频的过程中对包含该演员的视频图像进行截图，并将图像输入搜索引擎，由搜索引擎基于截取图像进行搜索，确定与截取图像相关的信息。但是，在进行图像搜索的过程中，搜索引擎需要从大量的数据库中寻找与该图像相关的信息，需要耗费较多的时间。数据库中还可能存在一些与表面上与截取图像相近但是本质上不相关的数据，图像的识别精度较低，导致搜索出的结果可能与用户截取图像的相关性不强，多媒体资源信息的展示效果不佳。
技术实现思路
本申请实施例提供了一种多媒体资源信息的展示方法、装置、设备以及存储介质，可以提升展示的多媒体资源信息的展示效果。所述技术方案如下：一方面，提供了一种多媒体资源信息的展示方法，所述方法包括：将视频图像中的人脸图像输入图像识别模型中，由所述图像识别模型对所述人脸图像进行卷积处理，得到所述人脸图像对应的目标特征图；基于所述目标特征图，对所述人脸图像所包括的对象进行识别，得到所述对象的对象身份信息；基于所述对象身份信息进行查询，展示查询得到的所述对象身份信息所关联的多媒体资源信息。一方面，提供了一种多媒体资源信息的展示装置，所述装置包括：输入模块，用于将视频图像中的人脸图像输入图像识别模型中，由所述图像识别模型对所述人脸图像进行卷积处理，得到所述人脸图像对应的目标特征图；识别模块，用于基于所述目标特征图，对所述人脸图像所包括的对象进行识别，得到所述对象的对象身份信息；查询模块，用于基于所述对象身份信息进行查询，展示查询得到的所述对象身份信息所关联的多媒体资源信息。在一种可能的实施方式中，所述识别模块包括：相似度确定单元，用于基于所述目标特征图和图像集中多个参照人脸图像对应的参照特征图，确定所述人脸图像与所述多个参照人脸图像的相似度；身份信息确定单元，用于将所述相似度符合目标相似度条件的参照人脸图像对应的对象身份信息确定为所述对象的身份信息。在一种可能的实施方式中，所述输入模块还用于将所述图像集中多个参照人脸图像输入所述图像识别模型中，由所述图像识别模型对所述多个参照人脸图像进行卷积处理，得到与所述多个参照人脸图像对应的多个参照特征图。在一种可能的实施方式中，所述查询模块还用于确定所述视频图像对应的视频类型，基于所述对象身份信息和所述目标视频类型进行查询，展示查询得到的所述对象身份信息和所述目标视频类型所关联的多媒体信息。在一种可能的实施方式中，所述查询模块还用于将所述视频图像输入视频类型识别模型中，由所述视频类型识别模型基于所述视频图像进行预测，得到所述视频图像属于多个视频类型的概率，将概率最高的视频类型确定为所述视频图像对应的视频类型。在一种可能的实施方式中，所述视频类型识别模型的训练方法包括：将视频类型识别模型的样本图像输入初始视频类型识别模型，由所述初始视频类型识别模型基于所述视频类型识别模型的样本图像进行预测，得到所述视频类型识别模型的样本图像属于多个视频类型的概率；将所述概率最高的视频类型确定为样本视频类型；基于所述样本视频类型与所述视频类型识别模型的样本图像对应的实际视频类型的差异，调整所述初始视频类型识别模型的模型参数，直至所述初始视频类型识别模型符合视频类型识别模型的迭代截至条件，将此时的初始视频类型识别模型作为所述视频类型识别模型。在一种可能的实施方式中，所述查询模块还用于获取所述视频图像对应视频的风格标签，将所述风格标签确定为所述视频图像对应的视频类型。在一种可能的实施方式中，所述查询模块还用于获取所述视频图像对应视频的标题，基于所述标题确定所述视频对应的视频类型。在一种可能的实施方式中，所述图像识别模型的训练方法包括：将图像识别模型的样本图像输入初始图像识别模型，由所述初始图像识别模型基于所述图像识别模型的样本图像进行预测，得到所述图像识别模型的样本图像与所述图像集中图像的相似度；将相似度最高的图像确定为目标图像；基于所述目标图像与所述图像识别模型的样本图像对应的实际图像的差异，调整所述初始图像识别模型的模型参数，直至所述初始图像识别模型符合图像识别模型的迭代截至条件，将此时的初始图像识别模型作为所述图像识别模型。在一种可能的实施方式中，所述输入模块还用于将所述视频图像输入区域确定模型，由所述区域确定模型将所述视频图像划分成多个备选区域；所述装置还包括：第一卷积处理模块，用于对所述多个备选区域中的至少一个备选区域进行卷积处理，得到所述至少一个备选区域对应的备选特征图；第三概率确定模块，用于基于所述备选特征图，确定所述至少一个备选区域为人脸区域的概率；人脸图像确定模块，用于将概率符合目标概率条件的备选区域确定为所述视频图像中的人脸图像。在一种可能的实施方式中，所述区域确定模型的训练方法包括：将区域确定模型的样本图像输入初始区域确定模型，由所述初始区域确定模型将所述区域确定模型的样本图像划分成多个训练备选区域；对所述多个训练备选区域进行卷积处理，得到所述多个训练备选区域对应的多个训练备选特征图；基于所述多个训练备选特征图，确定所述多个备选区域属于第一类型的概率，将概率最高的训练备选区域确定为第一类型。基于所述概率最高的训练备选区域对应的实际区域类型和所述第一类型的差异，调整所述初始区域确定模型的模型参数，直至所述初始区域确定模型符合区域确定模型的迭代截至条件，将此时的初始区域确定模型作为所述区域确定模型。在一种可能的实施方式中，所述查询模块包括：多媒体资源信息查询单元，用于基于所述对象身份信息，查询所述对象身份信息所关联的多媒体资源；角色定位信息确定单元，用于确定所述多媒体资源中所述对象的角色定位信息；展示单元，用于将所述对象身份信息所关联的多媒体资源信息按照所述角色定位信息的不同进行展示。一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述指令由所述一个或多个处理器加载并执行以实现所述多媒体资源信息的展示方法所执行的操作。一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述多媒体资源信息的展示方法所执行的操作。通过本申请实施例提供的技术方案，计算机设备可以基于图像识别模型对视频图像中的人脸图像进行识别，得到人脸图像所包括的对象的身份信息。基于对象的身份信息进行查询，可以缩小计算机设本文档来自技高网...

【技术保护点】
1.一种多媒体资源信息的展示方法，其特征在于，所述方法包括：/n将视频图像中的人脸图像输入图像识别模型中，由所述图像识别模型对所述人脸图像进行卷积处理，得到所述人脸图像对应的目标特征图；/n基于所述目标特征图，对所述人脸图像所包括的对象进行识别，得到所述对象的对象身份信息；/n基于所述对象身份信息进行查询，展示查询得到的所述对象身份信息所关联的多媒体资源信息。/n

【技术特征摘要】
1.一种多媒体资源信息的展示方法，其特征在于，所述方法包括：
将视频图像中的人脸图像输入图像识别模型中，由所述图像识别模型对所述人脸图像进行卷积处理，得到所述人脸图像对应的目标特征图；
基于所述目标特征图，对所述人脸图像所包括的对象进行识别，得到所述对象的对象身份信息；
基于所述对象身份信息进行查询，展示查询得到的所述对象身份信息所关联的多媒体资源信息。


2.根据权利要求1所述的方法，其特征在于，所述基于所述目标特征图，对所述人脸图像所包括的对象进行识别，得到所述对象的对象身份信息包括：
基于所述目标特征图和图像集中多个参照人脸图像对应的参照特征图，确定所述人脸图像与所述多个参照人脸图像的相似度；
将所述相似度符合目标相似度条件的参照人脸图像对应的对象身份信息确定为所述对象的身份信息。


3.根据权利要求2所述的方法，其特征在于，所述基于所述目标特征图和图像集中多个参照人脸图像对应的参照特征图，确定所述人脸图像与所述多个参照人脸图像的相似度之前，所述方法还包括：
将所述图像集中多个参照人脸图像输入所述图像识别模型中，由所述图像识别模型对所述多个参照人脸图像进行卷积处理，得到与所述多个参照人脸图像对应的多个参照特征图。


4.根据权利要求1所述的方法，其特征在于，所述基于所述对象身份信息进行查询，展示查询得到的所述对象身份信息所关联的多媒体资源信息包括：
确定所述视频图像对应的视频类型，基于所述对象身份信息和所述目标视频类型进行查询，展示查询得到的所述对象身份信息和所述目标视频类型所关联的多媒体信息。


5.根据权利要求4所述的方法，其特征在于，所述确定所述视频图像对应的视频类型包括：
将所述视频图像输入视频类型识别模型中，由所述视频类型识别模型基于所述视频图像进行预测，得到所述视频图像属于多个视频类型的概率，将概率最高的视频类型确定为所述视频图像对应的视频类型。


6.根据权利要求5所述的方法，其特征在于，所述视频类型识别模型的训练方法包括：
将视频类型识别模型的样本图像输入初始视频类型识别模型，由所述初始视频类型识别模型基于所述视频类型识别模型的样本图像进行预测，得到所述视频类型识别模型的样本图像属于多个视频类型的概率；
将概率最高的视频类型确定为样本视频类型；
基于所述样本视频类型与所述视频类型识别模型的样本图像对应的实际视频类型的差异，调整所述初始视频类型识别模型的模型参数，直至所述初始视频类型识别模型符合视频类型识别模型的迭代截至条件，将此时的初始视频类型识别模型作为所述视频类型识别模型。


7.根据权利要求4所述的方法，其特征在于，所述确定所述视频图像对应的目标视频类型包括：
获取所述视频图像对应视频的风格标签，将所述风格标签确定为所述视频图像对应的视频类型。


8.根据权利要求4所述的方法，其特征在于，所述确定所述视频图像对应的目标视频类型包括：
获取所述视频图像对应视频的标题，基于所述标题确定所述视频对应的视频类型。


9.根据权利要求1所述的方法，其特征在于，所述图像识别模型的训练方法包括：
将图像识别模型的样本图像输入初...

【专利技术属性】
技术研发人员：彭江军，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44