触觉特征信息获取方法、装置、系统、设备及介质制造方法及图纸

本公开提供了一种触觉特征信息获取方法、装置、系统、设备及介质，涉及计算机技术领域。该方法具体包括：在接收到目标实体的触觉特征信息获取请求后，若查询数据库中不存在目标实体对应的触觉特征信息且存在目标实体的图片特征信息和文本特征信息，则获取目标实体对应的图片特征信息和文本特征信息，从目标实体的图片特征信息和文本特征信息中提取触觉相关图片特征信息和触觉相关文本特征信息，并进行特征融合，重构得目标实体的触觉特征信息，并响应触觉特征信息获取请求。通过上述方式，可以解决相关技术中触觉特征信息采集困难的问题，使得开展各种业务不受数据库中的触觉特征信息少的限制。信息少的限制。信息少的限制。

【技术实现步骤摘要】
触觉特征信息获取方法、装置、系统、设备及介质


[0001]本公开涉及计算机
，尤其涉及一种触觉特征信息获取方法、装置、系统、设备及介质。

技术介绍

[0002]随着人工智能和计算机等
的飞速发展，很多现实生活中的实体对应的触觉信号能够运用的领域已经越来越多。由于触觉信号一般需要接触实体才可以获得，所以，很多实体的触觉信号采集难度相比于图片信号和文本信号要大的多。所以，导致数据库中存储的实体的可用触觉特征信息要比图片特征信息和文本特征信息少的多，部分实体所对应的触觉特征信息是完全没有的。
[0003]相关技术中，一般在使用触觉特征信息时，通过数据库进行获取，但是数据库中可用的触觉特征信息类型特别少，对于数据库中没有的触觉特征信息即无法传递。为此，触觉及多模态业务的开展容易受限制。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开提供一种触觉特征信息获取方法、装置、系统、设备及介质，至少可以解决相关技术中由于触觉特征信息采集困难，类型少，对各种业务开展的限制。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]第一方面，本公开中的实施例提供一种触觉特征信息获取方法，所述方法包括：
[0008]接收目标实体的触觉特征信息获取请求；其中，所述触觉特征信息获取请求用于请求从数据库中查询所述目标实体的触觉特征信息，其中，所述数据库中存储有多个实体的图片特征信息、文本特征信息和/或触觉特征信息；
[0009]若所述数据库中不存在所述目标实体对应的触觉特征信息且存在所述目标实体的图片特征信息和文本特征信息，则获取所述目标实体对应的图片特征信息和文本特征信息；
[0010]从所述目标实体的图片特征信息和文本特征信息中提取触觉相关图片特征信息和触觉相关文本特征信息，并进行特征融合，重构得到所述目标实体的触觉特征信息；
[0011]根据重构得到的触觉特征信息，响应所述触觉特征信息获取请求。
[0012]在一种可能的实施例中，所述方法还包括：
[0013]若所述数据库中存在所述目标实体对应的触觉特征信息，则根据所述数据库中查询到的触觉特征信息，响应所述触觉特征信息获取请求。
[0014]在一种可能的实施例中，所述从所述目标实体的图片特征信息和文本特征信息中提取触觉相关图片特征信息和触觉相关文本特征信息，并进行特征融合，重构得到所述目
标实体的触觉特征信息，包括：
[0015]从所述图片特征信息中提取与触觉相关的特征信息，得到所述触觉相关图片特征信息；
[0016]从所述文本特征信息中提取与触觉相关的特征信息，得到所述触觉相关文本特征信息；
[0017]将所述触觉相关图片特征信息和所述触觉相关文本特征信息进行特征对齐，得到所述触觉相关图片特征信息和所述触觉相关文本特征信息中包含的触觉相关特征信息对齐之后的第一图片特征信息和第一文本特征信息；
[0018]将所述第一图片特征信息和所述第一文本特征信息进行特征融合，得到触觉相关语义特征信息；
[0019]对所述触觉相关语义特征信息进行特征重构，确定所述目标实体的触觉特征信息。
[0020]在一种可能的实施例中，所述从所述目标实体的图片特征信息和文本特征信息中提取触觉相关图片特征信息和触觉相关文本特征信息，并进行特征融合，重构得到所述目标实体的触觉特征信息，包括：
[0021]通过预先训练好的神经网络模型，从所述图片特征信息和所述文本特征信息提取到所述触觉相关图片特征信息和所述触觉相关文本特征信息；
[0022]将所述触觉相关图片特征信息和所述触觉相关文本特征信息输入到预先训练好的神经网络模型的全连接层中进行特征对齐和特征融合，得到触觉相关语义特征信息；
[0023]将所述触觉相关语义特征信息输入到已训练的生成
‑
判别模型中进行特征重构，得到所述目标实体的触觉特征信息。
[0024]在一种可能的实施例中，所述接收目标实体的触觉特征信息获取请求之后，所述方法还包括：
[0025]若所述数据库中不存在所述目标实体，则确定相似实体；所述相似实体为与所述目标实体的类别相似度大于第一预设阈值的实体；
[0026]通过自定义网络接口获取所述目标实体对应的文本信息和图片信息；
[0027]若所述目标实体对应的文本信息和图片信息与所述相似实体的文本信息和图片信息之间的相似度大于第二预设阈值，则根据所述目标实体对应的文本信息和图片信息，确定所述目标实体的第三触觉特征信息；
[0028]将所述目标实体的第三触觉特征信息存储到所述数据库中。
[0029]第二方面，本公开中的实施例提供一种触觉特征信息获取系统，包括请求接收模块、图片特征信息获取模块、文本特征信息获取模块、触觉特征信息确定模块和触觉特征信息发送模块；
[0030]所述请求接收模块用于接收目标实体的触觉特征信息获取请求；其中，所述触觉特征信息获取请求用于请求从数据库中查询所述目标实体的触觉特征信息，其中，所述数据库中存储有多个实体的图片特征信息、文本特征信息和/或触觉特征信息；
[0031]若所述数据库中不存在所述目标实体对应的触觉特征信息且存在所述目标实体的图片特征信息和文本特征信息，所述图片特征信息获取模块用于获取所述目标实体对应的图片特征信息，以及所述文本特征信息获取模块用于获取所述目标实体对应的文本特征
信息；
[0032]所述触觉特征信息确定模块用于从所述目标实体的图片特征信息和文本特征信息中提取触觉相关图片特征信息和触觉相关文本特征信息，并进行特征融合，重构得到所述目标实体的触觉特征信息；
[0033]触觉特征信息发送模块用于根据重构得到的触觉特征信息，响应所述触觉特征信息获取请求。
[0034]在一种可能的实施例中，所述触觉特征信息确定模块包括：图片特征信息迁移子模块、文本特征信息迁移子模块、特征信息对齐子模块、特征信息融合子模块和触觉特征信息重构子模块；
[0035]图片特征信息迁移子模块用于从所述图片特征信息中提取与触觉相关的特征信息，得到所述触觉相关图片特征信息；
[0036]文本特征信息迁移子模块用于从所述文本特征信息中提取与触觉相关的特征信息，得到所述触觉相关文本特征信息；
[0037]特征信息对齐子模块用于将所述触觉相关图片特征信息和所述触觉相关文本特征信息进行特征对齐，得到所述触觉相关图片特征信息和所述触觉相关文本特征信息中包含的触觉相关特征信息对齐之后的第一图片特征信息和第一文本特征信息；
[0038]特征信息融合子模块用于将所述第一图片特征信息和所述第一文本特征信息进行特征融合，得到触觉相关语义特征信息；
[0039]触觉特征信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种触觉特征信息获取方法，其特征在于，所述方法包括：接收目标实体的触觉特征信息获取请求；其中，所述触觉特征信息获取请求用于请求从数据库中查询所述目标实体的触觉特征信息，其中，所述数据库中存储有多个实体的图片特征信息、文本特征信息和/或触觉特征信息；若所述数据库中不存在所述目标实体对应的触觉特征信息且存在所述目标实体的图片特征信息和文本特征信息，则获取所述目标实体对应的图片特征信息和文本特征信息；从所述目标实体的图片特征信息和文本特征信息中提取触觉相关图片特征信息和触觉相关文本特征信息，并进行特征融合，重构得到所述目标实体的触觉特征信息；根据重构得到的触觉特征信息，响应所述触觉特征信息获取请求。2.根据权利要求1所述的触觉特征信息获取方法方法，其特征在于，所述方法还包括：若所述数据库中存在所述目标实体对应的触觉特征信息，则根据所述数据库中查询到的触觉特征信息，响应所述触觉特征信息获取请求。3.根据权利要求1所述的触觉特征信息获取方法方法，其特征在于，所述从所述目标实体的图片特征信息和文本特征信息中提取触觉相关图片特征信息和触觉相关文本特征信息，并进行特征融合，重构得到所述目标实体的触觉特征信息，包括：从所述图片特征信息中提取与触觉相关的特征信息，得到所述触觉相关图片特征信息；从所述文本特征信息中提取与触觉相关的特征信息，得到所述触觉相关文本特征信息；将所述触觉相关图片特征信息和所述触觉相关文本特征信息进行特征对齐，得到所述触觉相关图片特征信息和所述触觉相关文本特征信息中包含的触觉相关特征信息对齐之后的第一图片特征信息和第一文本特征信息；将所述第一图片特征信息和所述第一文本特征信息进行特征融合，得到触觉相关语义特征信息；对所述触觉相关语义特征信息进行特征重构，确定所述目标实体的触觉特征信息。4.根据权利要求1所述的触觉特征信息获取方法方法，其特征在于，所述从所述目标实体的图片特征信息和文本特征信息中提取触觉相关图片特征信息和触觉相关文本特征信息，并进行特征融合，重构得到所述目标实体的触觉特征信息，包括：通过预先训练好的神经网络模型，从所述图片特征信息和所述文本特征信息提取到所述触觉相关图片特征信息和所述触觉相关文本特征信息；将所述触觉相关图片特征信息和所述触觉相关文本特征信息输入到预先训练好的神经网络模型的全连接层中进行特征对齐和特征融合，得到触觉相关语义特征信息；将所述触觉相关语义特征信息输入到已训练的生成
‑
判别模型中进行特征重构，得到所述目标实体的触觉特征信息。5.根据权利要求1所述的触觉特征信息获取方法方法，其特征在于，所述接收目标实体的触觉特征信息获取请求之后，所述方法还包括：若所述数据库中不存在所述目标实体，则确定相似实体；所述相似实体为与所述目标实体的类别相似度大于第一预设阈值的实体；通过自定义网络接口获取所述目标实体对应的文本信息和图片信息；
若所述目标实体对应的文本信息和图片信息与所述相似实体的文本信息和图片信息之间的相似度大于第二预设阈值，则根据所述目标实体对应的文本信息和图片信息，确定所述目标实体的触觉特征信息；将所述目标实体的触觉特征信息存储到所述数据库中...

【专利技术属性】
技术研发人员：朱应钊，仝建刚，李嫚，乔宏明，陈龙杰，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：