一种数据处理方法、设备以及计算机可读存储介质技术

本申请实施例公开基于人工智能的一种数据处理方法、设备以及计算机可读存储介质，其中，方法包括：获取与查询文本相关联的第一素材；获取查询图像风格向量，获取与查询图像语义向量相关联的第二素材；将第一素材以及第二素材确定为候选素材，获取目标素材图像风格向量、目标素材图像语义向量以及目标素材文本；基于查询文本、查询图像语义向量、查询图像风格向量、目标素材文本、目标素材图像语义向量，以及目标素材图像风格向量，对候选素材进行排序处理，从排序处理后的候选素材中确定推荐素材。采用本申请，可以提高检索目的的描述准确性，进而可以提高推荐素材的准确性。本申请实施例可应用于云技术、人工智能、智慧交通、区块链等各种场景。链等各种场景。链等各种场景。

【技术实现步骤摘要】
一种数据处理方法、设备以及计算机可读存储介质
[0001]本申请为在2021年09月29日提交中国专利局、申请号为2021111475451、申请名称为“一种数据处理方法、设备以及计算机可读存储介质”的中国专利申请的分案申请，其全部内容通过引用结合在本申请中。


[0002]本申请涉及互联网
，尤其涉及一种数据处理方法、设备以及计算机可读存储介质。

技术介绍

[0003]随着多媒体技术的普及以及计算机互联网的发展，图像数据以惊人的规模飞速增长。用户提交检索要求，素材数据库返回满足要求的图像素材或视频素材，这一过程可以被称为素材检索。
[0004]如何在海量素材数据库中寻找心仪的素材，已经成为计算机视觉领域的一大研究热点。当前，素材检索网站都使用文本进行素材检索，即使用文字进行图像、视频的素材检索；对于图像素材而言，不仅包含主体以及场景等信息，还包含主体属性、多主体之间的关系等复杂的信息；视频内容包含更为丰富的动作信息以及交互信息，所以仅靠查询文本很难准确描述检索目的，在检索目的描述不准确的情况下，素材检索网站可能推送不准确的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取目标视频帧对应的视频帧标识，将所述视频帧标识作为素材标识；获取所述目标视频帧对应的视频帧文本，将所述视频帧文本作为素材文本，根据所述素材标识以及所述素材文本构建索引属性为文本属性的索引键值对，将索引属性为文本属性的索引键值对存储于所述素材数据库；获取所述目标视频帧对应的素材图像语义向量，以及所述目标视频帧对应的素材图像风格向量；将所述素材标识作为索引键，将所述素材图像语义向量作为索引值，构建索引属性为图像语义属性的索引键值对，将索引属性为图像语义属性的索引键值对存储于所述素材数据库；将所述素材图像风格向量以及所述素材标识关联存储于所述素材数据库。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取视频素材，提取所述视频素材中的至少两帧视频帧；所述至少两帧视频帧包括视频帧A
b
，b为正整数，且b小于或等于所述至少两帧视频帧的总数量；获取所述视频帧A
b
以及剩余视频帧之间的相似度；所述剩余视频帧包括所述至少两帧视频帧中除了所述视频帧A
b
之外的视频帧；若所述相似度等于或大于相似度阈值，则将所述视频帧A
b
确定为重复视频帧，从所述至少两帧视频帧中删除所述重复视频帧，得到待剪裁视频帧；对所述待剪裁视频帧进行区域识别处理，得到所述待剪裁视频帧的待剪裁区域，对所述待剪裁视频帧中的所述待剪裁区域进行剪裁处理，得到所述目标视频帧。3.根据权利要求1所述的方法，其特征在于，所述文本属性包括分词属性；所述根据所述素材标识以及所述素材文本构建索引属性为文本属性的索引键值对，将索引属性为文本属性的索引键值对存储于所述素材数据库，包括：对所述素材文本进行切分处理，得到所述素材文本对应的素材分词；将所述素材标识作为索引键，将所述素材分词作为索引值，构建索引属性为所述分词属性的索引键值对；将所述索引属性为所述分词属性的索引键值对存储于所述素材数据库。4.根据权利要求1所述的方法，其特征在于，所述文本属性包括文本语义属性；所述根据所述素材标识以及所述素材文本构建索引属性为文本属性的索引键值对，将索引属性为文本属性的索引键值对存储于所述素材数据库，包括：获取所述素材文本对应的素材文本语义向量；将所述素材标识作为索引键，将所述素材文本语义向量作为索引值，构建索引属性为所述文本语义属性的索引键值对；将索引属性为所述文本语义属性的索引键值对存储于所述素材数据库。5.根据权利要求1所述的方法，其特征在于，所述素材图像语义向量包括素材主体语义向量、素材整体语义向量以及素材局部语义向量；所述获取所述目标视频帧对应的素材图像语义向量，以及所述目标视频帧对应的素材图像风格向量，包括：将所述目标视频帧输入至图像分类模型，通过所述图像分类模型得到所述目标视频帧
的素材分类信息；将所述目标视频帧输入至与所述素材分类信息相关联的素材主体提取模型，通过所述素材主体提取模型提取所述目标视频帧的主体语义特征，得到所述素材主体语义向量；将所述目标视频帧输入至与所述素材分类信息相关联的素材局部提取模型，通过所述素材局部提取模型提取所述目标视频帧的局部语义特征，得到所述素材局部语义向量；将所述目标视频帧输入至与所述素材分类信息相关联的素材整体提取模型，通过所述素材整体提取模型提取所述目标视频帧的整体语义特征，得到所述素材整体语义向量；将所述目标视频帧输入至与所述素材分类信息相关联的素材风格提取模型，通过所述素材风格提取模型，提取所述目标视频帧的图像颜色特征以及所述目标视频帧的图像形状特征，对所述目标视频帧的图像颜色特征以及所述目标视频帧的图像形状特征进行特征聚合处理，得到所述素材图像风格向量。6.根据权利要求1所述的方法，其特征在于，所述素材图像语义向量包括素材主体语义向量、素材整体语义向量以及素材局部语义向量；所述将所述素材标识作为索引键，将所述素材图像语义向量作为索引值，构建索引属性为图像语义属性的索引键值对，将索引属性为图像语义属性的索引键值对存储于所述素材数据库，包括：将所述素材标识作为索引主体键，将所述素材主体语义向量作为索引主体值，构建索引属性为图像主体语义属性的索引主体键值对；将所述素材标识作为索引整体键，将所述素材整体语义向量作为索引整体值，构建索引属性为图像整体语义属性的索引整体键值对；将所述素材标识作为索引局部键，将所述素材局部语义向量作为索引局部值，构建索引属性为图像局部语义属性的索引局部键值对；将所述索引主体键值对、所述索引整体键值以及所述索引局部键值对均存储于所述素材数据库。7.根据权利要求1所述的方法，其特征在于，所述素材图像语义向量包括素材主体语义向量、素材整体语义向量以及素材局部语义向量；所述将所述素材标识作为索引键，将所述素材图像语义向量作为索引值，构建索引属性为图像语义属性的索引键值对，将索引属性为图像语义属性的索引键值对存储于所述素材数据库，包括：对所述素材主体语义向量进行向量压缩处理，得到向量压缩处理后的素材主体语义向量，将所述素材标识作为索引主体键，将所述向量压缩处理后的素材主体语义向量作为索引主体值，构建索引属性为图像主体语义属性的索引主体键值对；对所述素材整体语义向量进行向量压缩处理，得到向量压缩后的素材整体语义向量，将所述素材标识作为索引整体键，将所述向量压缩处理后的素材整体语义向量作为索引整体值，构建索引属性为图像整体语义属性的索引整体键值对；对所述素材局部语义向量进行向量压...

【专利技术属性】
技术研发人员：胡风，康秋生，罗雨，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：