图像处理方法、装置、计算机存储介质及电子设备制造方法及图纸

本公开提供了图像处理方法、装置，涉及人工智能领域。方法包括：获取待处理图像集和历史图像集，历史图像集包括用户的历史感兴趣图像；通过图像处理模型对历史感兴趣图像进行特征提取，并基于所提取的特征获取历史兴趣信息描述；同时通过图像处理模型对待处理图像集中的待处理图像进行特征提取，以获取与待处理图像对应的特征信息；根据特征信息和历史兴趣信息描述确定与待处理图像对应的兴趣权重，并基于与待处理图像对应的特征信息和兴趣权重从待处理图像集中确定封面图像。本公开根据历史兴趣信息描述和待处理图像集的特征信息挖掘历史感兴趣图像与待处理图像的内在关联性，进而从待处理图像集中确定封面图像，提高了图像推荐的效率和精准度。

Image processing method, device, computer storage medium and electronic equipment

【技术实现步骤摘要】
图像处理方法、装置、计算机存储介质及电子设备
本公开涉及人工智能
，具体而言，涉及一种图像处理方法、图像处理装置、计算机存储介质及电子设备。
技术介绍
随着计算机技术的快速发展，为了适应不同的用户需求，提高平台点击率，各个平台开始建立个性化推荐系统并向客户推出个性化推荐服务，个性化推荐系统是互联网和电子商务发展的产物，它是建立在海量数据挖掘基础上的一种高级商务智能平台，向顾客提供个性化的信息服务和决策支持。目前，已有的推荐方案在使用用户历史数据时一般只是简单的将历史数据信息特征与推荐数据进行形似度对比，未能挖掘历史数据信息与推荐数据之间的内在关联信息。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的实施例提供了一种图像处理方法、图像处理装置、计算机存储介质及电子设备，进而至少在一定程度上可以挖掘用户历史感兴趣图像和待处理图像集的内在关联性，进而更有针对性地、更准确地对用户进行个性化推荐。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开实施例的一个方面，提供了一种图像处理方法，包括：获取待处理图像集和历史图像集，所述历史图像集包括用户的历史感兴趣图像；通过图像处理模型对所述历史感兴趣图像进行特征提取，并基于所提取的特征获取历史兴趣信息描述；同时通过所述图像处理模型对所述待处理图像集中的待处理图像进行特征提取，以获取与所述待处理图像对应的特征信息；根据所述特征信息和所述历史兴趣信息描述确定与所述待处理图像对应的兴趣权重，并基于与所述待处理图像对应的特征信息和所述兴趣权重从所述待处理图像集中确定封面图像。根据本公开实施例的一个方面，提供了一种图像处理装置，包括：获取模块，用于获取待处理图像集和历史图像集，所述历史图像集包括用户的历史感兴趣图像；特征提取模块，用于通过图像处理模型对所述历史感兴趣图像进行特征提取，并基于所提取的特征获取历史兴趣信息描述；同时通过所述图像处理模型对所述待处理图像集中的待处理图像进行特征提取，以获取与所述待处理图像对应的特征信息；图像确定模块，用于根据所述特征信息和所述历史兴趣信息描述确定与所述待处理图像对应的兴趣权重，并基于与所述待处理图像对应的特征信息和兴趣权重从所述待处理图像集中确定封面图像。在本公开的一些实施例中，所述图像处理模型包括第一双向门控循环单元；基于前述方案，所述图像确定模块配置为：将所述特征信息与所述历史兴趣信息描述输入至所述第一双向门控循环单元，通过所述第一双向门控循环单元对所述特征信息与所述历史兴趣信息描述进行特征提取；根据所述特征信息对应的特征和所述历史兴趣信息描述对应的特征确定所述特征信息与所述历史兴趣信息描述之间的重合度，并将所述重合度作为所述兴趣权重。在本公开的一些实施例中，所述图像处理模型包括第一全连接层和第一归一化层；基于前述方案，所述图像确定模块包括：加权单元，用于根据所述兴趣权重对所述特征信息进行加权处理，以获取兴趣点特征信息；全连接单元，用于将所述兴趣点特征信息输入至所述第一全连接层，通过所述第一全连接层对所述兴趣点特征信息进行非线性变换处理，以获取与所述待处理图像对应的全连接特征信息；归一化单元，用于将所述全连接特征信息输入至所述第一归一化层，通过所述第一归一化层对所述全连接特征信息进行归一化处理，以获取与所述待处理图像对应的概率值；图像获取单元，用于获取具有最大概率值的待处理图像，并将所述具有最大概率值的待处理图像作为所述封面图像。在本公开的一些实施例中，基于前述方案，所述全连接单元配置为：根据公式(1)对所述兴趣点特征信息进行非线性变换处理：Z＝f(w1X+b1)(1)其中，f()为激活函数，w1为权重矩阵，b1为偏置常量，X为所述兴趣点特征信息，Z为所述全连接特征信息；所述归一化单元配置为：根据公式(2)对所述全连接特征信息进行归一化处理：其中，zj为所述全连接特征信息中的第j个子特征信息，K为所述全连接特征信息包含的子特征信息的总数量，σ(z)j为与所述待处理图像对应的概率值。在本公开的一些实施例中，所述图像处理模型包括第一卷积单元和第二双向门控循环单元；基于前述方案，所述特征提取模块配置为：通过所述第一卷积单元对所述历史感兴趣图像进行特征提取，以获取感兴趣图像特征信息；将所述感兴趣图像特征信息输入至所述第二双向门控循环单元，通过所述第二双向门控循环单元对所述感兴趣图像特征信息进行特征提取，以获取所述历史兴趣信息描述。在本公开的一些实施例中，所述图像处理模型包括第二卷积单元；基于前述方案，所述特征提取模块包括：第一特征提取单元，用于通过所述第二卷积单元对所述待处理图像进行特征提取，以获取与所述待处理图像对应的特征信息。在本公开的一些实施例中，基于前述方案，所述第一特征提取单元配置为：根据预设规则从所述待处理图像集中获取多个目标待处理图像；通过所述第二卷积单元对各所述目标待处理图像进行特征提取，以获取与各所述目标待处理图像对应的特征信息。在本公开的一些实施例中，基于前述方案，所述图像处理装置还配置为：获取待处理视频，对所述待处理视频进行解析以获取图像帧；根据所述待处理视频中所有的图像帧形成所述待处理图像集。在本公开的一些实施例中，基于前述方案，所述图像处理装置还包括：样本获取模块，用于获取多组训练样本，每组所述训练样本包括视频样本、视频类别样本、视频封面样本和历史感兴趣图像样本；模型训练模型，用于根据所述视频样本、所述视频类别样本、所述视频封面样本和所述历史感兴趣图像样本对待训练图像处理模型进行训练，以获取所述图像处理模型。在本公开的一些实施例中，所述待训练图像处理模型包括第一训练支路、第二训练支路和第三训练支路；基于前述方案，所述模型训练模块包括：第二特征提取单元，用于通过所述第一训练支路对所述历史感兴趣图像样本进行特征提取，以获取与所述历史感兴趣图像样本对应的兴趣分布信息描述；通过所述第二训练支路对所述视频样本进行特征提取，基于所提取的特征和所述兴趣分布信息描述获取与所述视频样本对应的推荐图像信息；通过所述第三训练支路对所述视频样本进行特征提取，以获取与所述视频样本对应的类别信息；损失函数确定单元，用于根据所述推荐图像信息和所述视频封面样本确定第一损失函数，根据所述类别信息和所述视频类别样本确定第二损失函数；调参单元，用于通过调节所述待训练图像处理模型的参数，以使所述第一损失函数和所述第二损失函数的加权和最小，并获取所述图像处理模型。在本公开的一些实施例中，所述第一训练支路包括待训练第一卷积单元和待训练第二双向门控循环单元；基于前述方案，所述第二特征提取单元配置为：通过所述待训练第一卷积单元中的卷积层对所述历史感兴趣图像样本进行特征提取，以获取与所述历史感兴趣图像样本对应的兴趣分布特征信息；将与所述历史感兴趣图像样本对应的兴趣分布特征信息输本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取待处理图像集和历史图像集，所述历史图像集包括用户的历史感兴趣图像；/n通过图像处理模型对所述历史感兴趣图像进行特征提取，并基于所提取的特征获取历史兴趣信息描述；同时通过所述图像处理模型对所述待处理图像集中的待处理图像进行特征提取，以获取与所述待处理图像对应的特征信息；/n根据所述特征信息和所述历史兴趣信息描述确定与所述待处理图像对应的兴趣权重，并基于与所述待处理图像对应的特征信息和所述兴趣权重从所述待处理图像集中确定封面图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取待处理图像集和历史图像集，所述历史图像集包括用户的历史感兴趣图像；
通过图像处理模型对所述历史感兴趣图像进行特征提取，并基于所提取的特征获取历史兴趣信息描述；同时通过所述图像处理模型对所述待处理图像集中的待处理图像进行特征提取，以获取与所述待处理图像对应的特征信息；
根据所述特征信息和所述历史兴趣信息描述确定与所述待处理图像对应的兴趣权重，并基于与所述待处理图像对应的特征信息和所述兴趣权重从所述待处理图像集中确定封面图像。


2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理模型包括第一双向门控循环单元；
所述根据所述特征信息和所述历史兴趣信息描述确定与所述待处理图像对应的兴趣权重，包括：
将所述特征信息与所述历史兴趣信息描述输入至所述第一双向门控循环单元，通过所述第一双向门控循环单元对所述特征信息与所述历史兴趣信息描述进行特征提取；
根据所述特征信息对应的特征和所述历史兴趣信息描述对应的特征确定所述特征信息与所述历史兴趣信息描述之间的重合度，并将所述重合度作为所述兴趣权重。


3.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理模型包括第一全连接层和第一归一化层；
所述基于与所述待处理图像对应的特征信息和所述兴趣权重从所述待处理图像集中确定封面图像，包括：
根据所述兴趣权重对所述特征信息进行加权处理，以获取兴趣点特征信息；
将所述兴趣点特征信息输入至所述第一全连接层，通过所述第一全连接层对所述兴趣点特征信息进行非线性变换处理，以获取与所述待处理图像对应的全连接特征信息；
将所述全连接特征信息输入至所述第一归一化层，通过所述第一归一化层对所述全连接特征信息进行归一化处理，以获取与所述待处理图像对应的概率值；
获取具有最大概率值的待处理图像，并将所述具有最大概率值的待处理图像作为所述封面图像。


4.根据权利要求3所述的图像处理方法，其特征在于，
所述通过所述第一全连接层对所述兴趣点特征信息进行非线性变换处理，包括：
根据公式(1)对所述兴趣点特征信息进行非线性变换处理：
Z＝f(w1X+b1)(1)
其中，f()为激活函数，w1为权重矩阵，b1为偏置常量，X为所述兴趣点特征信息，Z为所述全连接特征信息；
所述通过所述第一归一化层对所述全连接特征信息进行归一化处理，包括：
根据公式(2)对所述全连接特征信息进行归一化处理：



其中，zj为所述全连接特征信息中的第j个子特征信息，K为所述全连接特征信息包含的子特征信息的总数量，σ(z)j为与所述待处理图像对应的概率值。


5.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理模型包括第一卷积单元和第二双向门控循环单元；
所述通过图像处理模型对所述历史感兴趣图像进行特征提取，并基于所提取的特征获取历史兴趣信息描述，包括：
通过所述第一卷积单元对所述历史感兴趣图像进行特征提取，以获取感兴趣图像特征信息；
将所述感兴趣图像特征信息输入至所述第二双向门控循环单元，通过所述第二双向门控循环单元对所述感兴趣图像特征信息进行特征提取，以获取所述历史兴趣信息描述。


6.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理模型包括第二卷积单元；
所述通过所述图像处理模型对所述待处理图像集中的待处理图像进行特征提取，以获取与所述待处理图像对应的特征信息，包括：
根据预设规则从所述待处理图像集中获取多个目标待处理图像；
通过所述第二卷积单元对各所述目标待处理图像进行特征提取，以获取与各所述目标待处理图像对应的特征信息。


7.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：
获取待处理视频，对所述待处理视频进行解析以获取图像帧；
根据所述待处理视频中所有的图像帧形成所述待处理图像集。


8.根据权利要求1或7所述的图像处理方法，其特征在于，所述方法还包括：
获取多组训练样本，每组所述训练样本包括视频样本、视频类别样本、视频封面样本和历史感兴趣图像样本；
根据所述视频样本、所述视频类别样本、所述视频封面样本和所述历史感兴趣图像样本对待训练图像处理模型进行训练，以获取所述图像处理模型。


9.根据权利要求8所述的图像...

【专利技术属性】
技术研发人员：梁涛，张晗，马连洋，衡阵，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44