视觉风格网络训练方法、视觉风格识别方法、装置及设备制造方法及图纸

本申请提供一种视觉风格网络训练方法、视觉风格识别方法、装置及设备，应用于云技术、人工智能、地图领域、智慧交通、辅助驾驶、车载等各种场景，该视觉风格网络训练方法包括：获取至少两个样本数据对，以及每个样本数据对所包含的各个数据对应的对象互动数据；确定初始样本数据对；获取与初始样本数据对所包含的各个数据的进行互动的目标候选对象；根据目标候选对象的对象属性信息，确定目标样本数据对；根据目标样本数据对构建训练视觉风格网络的正样本数据、负样本数据和锚定目标样本数据。本申请实施例通过无监督与弱监督结合的方式，提升视觉风格网络的训练精度和效率，使用视觉风格网络能够对所有视觉风格进行标签识别，提升推荐范围。推荐范围。推荐范围。

【技术实现步骤摘要】
视觉风格网络训练方法、视觉风格识别方法、装置及设备


[0001]本申请属于计算机
，具体涉及一种视觉风格网络训练方法、视觉风格识别方法、装置及设备。

技术介绍

[0002]在信息流推荐系统中，由于内容现有分类体系和标签体系无法满足终端对象多样化需求，也无法精准控制整体的视觉风格，因此需要从刻画视觉风格的维度，对内容进行刻画(例如，低调性、年轻化等)，同时将视觉风格标签作为一种推荐特征，联合推荐侧召回和排序，实现精准推荐。其中，视觉风格可以指的是指终端对象(例如，用户)在信息流当中看到的所消费内容的标题，或者是内容封面图及作者对象的一个直观感受，其可能表现内容的表达情绪(例如夸张体)，或者是内容上带给终端对象的直接情绪感受(例如低调性、年轻化)，或者是内容创作者的创作风格等。
[0003]相关技术中刻画视觉风格的方法是标注视觉风格数据，根据标注的视觉风格数据进行有监督模型的训练。然而标注数据主要针对目前内容场景下优先级较高的标签进行标注，无法对内容数据中存在的全部视觉风格进行标注，无法覆盖更全面的标签结合，从而降低推荐范围和推荐精度；此外，标注的标准主观性较高，且标注速度较慢，从而降低了推荐精度和推荐效率，增加了推荐过程对系统资源的消耗。

技术实现思路

[0004]为了解决上述技术问题，本申请提供一种视觉风格网络训练方法、视觉风格识别方法、装置及设备。
[0005]一方面，本申请提出了一种视觉风格网络训练方法，所述方法包括：
[0006]获取至少两个样本数据对，以及每个样本数据对所包含的各个数据对应的对象互动数据；每个样本数据对所包含的各个数据的展示数据相同、且每个样本数据对所包含的各个数据的内容相匹配；
[0007]根据所述对象互动数据，从所述至少两个样本数据对中确定出初始样本数据对；所述初始样本数据对包括初始正样本数据对和初始负样本数据对；所述初始正样本数据对所包含的各个数据对应的对象互动数据，满足第一预设条件；所述初始负样本数据对所包含的各个数据对应的对象互动数据，满足第二预设条件；
[0008]向候选对象集展示所述初始样本数据对所包含的各个数据，并从所述候选对象集中，获取与所述初始样本数据对所包含的各个数据进行互动的目标候选对象；
[0009]根据所述目标候选对象的对象属性信息，从所述初始样本数据对中确定出目标样本数据对；所述目标样本数据对包括从所述初始正样本数据对中确定得到的目标正样本数据对，以及从所述初始负样本数据对中确定得到的目标负样本数据对，所述目标正样本数据对所包含的各个数据的视觉风格相匹配，所述目标负样本数据对所包含的各个数据的视觉风格不匹配；
[0010]根据所述目标样本数据对，构建正样本数据、负样本数据和锚定目标样本数据；所述正样本数据的内容与所述锚定目标样本数据的内容相匹配，所述负样本数据的内容与所述锚定目标样本数据的内容不匹配；
[0011]基于所述正样本数据与所述锚定目标样本数据之间的差异，以及所述负样本数据与所述锚定目标样本数据之间的差异，计算损失数据，基于所述损失数据训练预设网络，得到视觉风格网络。
[0012]另一方面，本申请提出了一种视觉风格识别方法，该方法包括：
[0013]获取至少两个待处理数据；
[0014]将所述至少两个待处理数据输入视觉风格网络进行视觉风格识别，得到所述至少两个待处理数据各自对应的视觉风格特征向量；
[0015]聚类所述至少两个待处理数据各自对应的视觉风格特征向量，得到所述至少两个待处理数据对应的视觉风格特征聚类结果；
[0016]发送所述视觉风格特征聚类结果至客户端，以使所述客户端基于所述视觉风格特征聚类结果进行信息推荐；
[0017]其中，所述视觉风格网络为采用上述的视觉风格网络训练方法训练得到。
[0018]另一方面，本申请提出了一种视觉风格网络的训练装置，该装置包括：
[0019]样本数据对和互动数据获取模块，用于获取至少两个样本数据对，以及每个样本数据对所包含的各个数据对应的对象互动数据；每个样本数据对所包含的各个数据的展示数据相同、且每个样本数据对所包含的各个数据的内容相匹配；
[0020]初始样本数据对确定模块，用于根据所述对象互动数据，从所述至少两个样本数据对中确定出初始样本数据对；所述初始样本数据对包括初始正样本数据对和初始负样本数据对；所述初始正样本数据对所包含的各个数据对应的对象互动数据，满足第一预设条件；所述初始负样本数据对所包含的各个数据对应的对象互动数据，满足第二预设条件；
[0021]目标候选对象获取模块，用于向候选对象集展示所述初始样本数据对所包含的各个数据，并从所述候选对象集中，获取与所述初始样本数据对所包含的各个数据进行互动的目标候选对象；
[0022]目标样本数据对确定模块，用于根据所述目标候选对象的对象属性信息，从所述初始样本数据对中确定出目标样本数据对；所述目标样本数据对包括从所述初始正样本数据对中确定得到的目标正样本数据对，以及从所述初始负样本数据对中确定得到的目标负样本数据对，所述目标正样本数据对所包含的各个数据的视觉风格相匹配，所述目标负样本数据对所包含的各个数据的视觉风格不匹配；
[0023]构建模块，用于根据所述目标样本数据对，构建正样本数据、负样本数据和锚定目标样本数据；所述正样本数据的内容与所述锚定目标样本数据的内容相匹配，所述负样本数据的内容与所述锚定目标样本数据的内容不匹配；
[0024]训练模块，用于基于所述正样本数据与所述锚定目标样本数据之间的差异，以及所述负样本数据与所述锚定目标样本数据之间的差异，计算损失数据，基于所述损失数据训练预设网络，得到视觉风格网络。
[0025]另一方面，本申请实施例提供了一种视觉风格识别装置，所述装置包括：
[0026]待处理数据获取模块，用于获取至少两个待处理数据；
[0027]识别模块，用于将所述至少两个待处理数据输入所述视觉风格网络进行视觉风格识别，得到所述至少两个待处理数据各自对应的视觉风格特征向量；
[0028]聚类模块，用于对所述至少两个待处理数据各自对应的视觉风格特征向量进行聚类处理，得到所述至少两个待处理数据对应的视觉风格特征聚类结果；
[0029]发送模块，用于发送所述风格特征聚类结果至客户端，以使所述客户端基于所述视觉风格特征聚类结果进行信息推荐；其中，所述视觉风格网络为采用上述视觉风格网络训练方法训练得到。
[0030]另一方面，本申请提出了一种视觉风格网络训练或视觉风格识别的电子设备，所述电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述所述的视觉风格网络训练方法或视觉风格识别方法。
[0031]另一方面，本申请提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉风格网络训练方法，其特征在于，所述方法包括：获取至少两个样本数据对，以及每个所述样本数据对所包含的各个数据对应的对象互动数据；每个所述样本数据对所包含的各个数据的展示数据相同、且每个所述样本数据对所包含的各个数据的内容相匹配；根据所述对象互动数据，从所述至少两个样本数据对中确定出初始样本数据对；所述初始样本数据对包括初始正样本数据对和初始负样本数据对；所述初始正样本数据对所包含的各个数据对应的对象互动数据，满足第一预设条件；所述初始负样本数据对所包含的各个数据对应的对象互动数据，满足第二预设条件；向候选对象集展示所述初始样本数据对所包含的各个数据，并从所述候选对象集中，获取与所述初始样本数据对所包含的各个数据进行互动的目标候选对象；根据所述目标候选对象的对象属性信息，从所述初始样本数据对中确定出目标样本数据对；所述目标样本数据对包括从所述初始正样本数据对中确定得到的目标正样本数据对，以及从所述初始负样本数据对中确定得到的目标负样本数据对，所述目标正样本数据对所包含的各个数据的视觉风格相匹配，所述目标负样本数据对所包含的各个数据的视觉风格不匹配；根据所述目标样本数据对，构建正样本数据、负样本数据和锚定目标样本数据；所述正样本数据的内容与所述锚定目标样本数据的内容相匹配，所述负样本数据的内容与所述锚定目标样本数据的内容不匹配；基于所述正样本数据与所述锚定目标样本数据之间的差异，以及所述负样本数据与所述锚定目标样本数据之间的差异，计算损失数据，基于所述损失数据训练预设网络，得到视觉风格网络。2.根据权利要求1所述的方法，其特征在于，所述根据所述对象互动数据，从所述至少两个样本数据对中确定出初始样本数据对，包括：基于所述对象互动数据，从所述至少两个样本数据对中确定出所述初始正样本数据对和所述初始负样本数据对；所述初始正样本数据对所包含的各个数据对应的对象互动数据相匹配；所述初始负样本数据对所包含的各个数据对应的对象互动数据之间的差异，大于预设差异阈值；确定所述初始正样本数据对和所述初始负样本数据对，为所述初始样本数据对。3.根据权利要求1所述的方法，其特征在于，所述初始样本数据对的数量为至少两个，每个所述初始样本数据对包括第一数据和第二数据，所述目标候选对象包括与所述第一数据进行互动的第一目标候选对象以及与所述第二数据进行互动的第二目标候选对象，所述根据所述目标候选对象的对象属性信息，从所述初始样本数据对中确定出目标样本数据对，包括：获取所述第一目标候选对象的第一对象属性信息和所述第二目标候选对象的第二对象属性信息；确定所述第一对象属性信息和所述第二对象属性信息之间的对象属性信息交并比，得到每个所述初始样本数据对的对象属性信息交并比；将对象属性信息交并比大于预设交并比阈值的初始正样本数据对，确定为所述目标正样本数据对，将对象属性信息交并比小于或等于所述预设交并比阈值的初始负样本数据
对，确定为所述目标负样本数据对；确定所述目标正样本数据对和所述目标负样本数据对，为所述目标样本数据对。4.根据权利要求1所述的方法，其特征在于，所述根据所述目标样本数据对，构建正样本数据、负样本数据和锚定目标样本数据，包括：确定所述目标正样本数据对中的任意一个数据为所述锚定目标样本数据；将所述目标正样本数据对中，内容与所述锚定目标样本数据的内容匹配的数据作为所述正样本数据；将所述目标负样本数据对中，内容与所述锚定目标样本数据的内容不匹配的数据确定为所述负样本数据。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于所述正样本数据与所述锚定目标样本数据之间的差异，以及所述负样本数据与所述锚定目标样本数据之间的差异，计算损失数据，基于所述损失数据训练预设网络，得到视觉风格网络，包括：将所述正样本数据、所述负样本数据和所述锚定目标样本数据，输入所述预设网络进行视觉风格特征提取，得到所述正样本数据对应的正样本数据向量、所述负样本数据对应的负样本数据向量和所述锚定目标样本数据对锚定样本数据向量；计算所述锚定样本数据向量与所述负样本数据向量之间的第一差异，以及所述锚定样本数据向量与所述正样本数据向量之间的第二差异；根据所述第一差异和所述第二差异，计算所述损失数据；根据所述损失数据调整所述预设网络的网络参数，直至满足预设训练结束条件，得到所述视觉风格网络。6.根据权利要求5所述的方法，其特征在于，所述预设网络包括特征提取层、特征连接层和特征融合层，所述正样本数据、所述负样本数据和所述锚定目标样本数据各自包括多模态数据；所述将所述正样本数据、所述负样本数据和所述锚定目标样本数据，输入所述预设网络进行视觉风格特征提取，得到所述正样本数据对应的正样本数据向量、所述负样本数据对应的负样本数据向量和所述锚定目标样本数据对锚定样本数据向量，包括：将所述正样本数据、所述负样本数据和所述锚定目标样本数据各自包括的多模态数据，输入所述特征提取层进行视觉风格特征提取处理，得到所述正样本数据、所述负样本数据和所述锚定目标样本数据各自包括的多模态数据的特征提取结果；将所述多模态数据的特征提取结果输入所述特征连接层进行视觉风格...

【专利技术属性】
技术研发人员：刘刚，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：