一种确定建材真伪的方法和系统技术方案

本发明专利技术提供了一种确定建材真伪的方法和系统，包括：上传产品图片；将产品图片输入图文审核模型，模型确定产品图片是否符合要求；基于产品的产品信息，获取产品知识图谱；产品信息为商家给出的有关产品的信息；获取产品图片；产品图片是指客户上传的待确定真伪的产品的图片；将产品知识图谱和产品图片输入真伪识别模型，模型输出产品的真伪；包括：基于产品知识图谱，获取产品的文本特征；基于产品图片，获取产品的图片特征；基于互注意力机制，确定文本特征和图片特征的匹配概率；基于匹配概率，确定产品的真伪，通过采用产品信息和产品微观特征的图像识别方法来鉴别产品真伪，可以防止产品被调包。产品被调包。产品被调包。

【技术实现步骤摘要】
一种确定建材真伪的方法和系统


[0001]本专利技术涉及真伪识别
，具体而言，涉及一种确定建材真伪的方法和系统。

技术介绍

[0002]建筑材料使用广泛，市场上充斥着各种各样不同价位，质量的建材。好的厂家生产的建材总是容易遭到一些不法商家的模仿和盗版。同时，产品在运输过程中也容易被调包。不良商家或者个人使用劣质的材料来替换好的材料，这样不仅对生产厂家的名义和经济造成不可挽回的损失，也会直接伤害消费者的利益。为了防止产品被调包或者仿造，研究者们使用WSN（无线传感器网络）、RFID（无线射频识别）等技术来跟踪、检测、识别产品的真伪。但这些技术也会被不良商家拿来应用。另外，由于商家和客户均需要提供产品的图文信息，因此对图文信息的审核也至关重要。图文信息的审核主要是检查图片是否涉黄涉暴、是否是广告图、明星图及水印图等。产品文字审核也是检查文字是否涉及敏感词汇，是否涉黄涉暴。这些海量的图片和文字如果是由人工来进行检查和审核，将是一项非常费时费力的工作。因此，在鉴别真伪之前，我们需要使用一个图文审核模型来过滤不良信息，这样才能进行下一步的鉴别工作。
[0003]有鉴于此，本申请提出了一种确定建材真伪的方法和系统，基于产品信息和产品微观特征的图像识别来鉴别产品真伪，防止产品被调包。。

技术实现思路

[0004]本专利技术的目的在于提供一种确定建材真伪的方法，包括：上传产品图片；所述产品图片包括商品图片和产品信息；所述商品图片包括产品的主图、总体展示图和细节展示图；所述产品信息包括产品名称、推广标题、产品属性和使用场景；将所述产品图片输入图文审核模型，模型确定所述产品图片是否符合要求；若是，基于产品的产品信息，获取产品知识图谱；所述产品信息为商家给出的有关产品的信息；获取产品图片；产品图片是指客户上传的待确定真伪的产品的图片；将所述产品知识图谱和所述产品图片输入真伪识别模型，模型输出产品的真伪；包括：基于所述产品知识图谱，获取所述产品的文本特征；基于所述产品图片，获取所述产品的图片特征；基于互注意力机制，确定所述文本特征和所述图片特征的匹配概率；基于所述匹配概率，确定所述产品的真伪。
[0005]进一步的，所述基于所述产品知识图谱，获取所述产品的文本特征，包括：基于TransH模型，得到所述产品知识图谱的实体表示矩阵和关系表示矩阵；提取所述产品知识图谱中的三元组，得到多个产品三元组；对于每个所述产品三元组：从所述实体表示矩阵和所述关系表示矩阵中获取该产品三元组的头实体向量、关系向量和尾实体向量；将所述头实体向量、所述关系向量和所述尾实体向量进行拼接，得到产品三元组向量；将多个所述产品三元组向量进行拼接，得到向量序列；将所述向量序列输入LSTM模型，模型输出每个所述产品三元组的文本特征。
[0006]进一步的，所述基于TransH模型，得到所述产品知识图谱的实体表示矩阵和关系
表示矩阵，包括：将所述知识图谱中三元组的头实体向量和尾实体向量投影到关系所对应的超平面，得到投影后的头实体向量和投影后的尾实体向量；其中，得到所述投影后的头实体向量和所述投影后的尾实体向量的表达式为：体向量和所述投影后的尾实体向量的表达式为：其中，表示所述投影后的头实体向量，表示头实体向量，表示转置向量，表示关系所对应的超平面的法向量，表示所述投影后的尾实体向量，表示尾实体向量。
[0007]基于评分函数，训练所述TransH模型，得到实体和关系的表示向量；所述评分函数用于表征三元组的头实体和尾实体的相关程度；其中，所述评分函数的表达式为：其中，表示评分，表示L2范数。
[0008]基于所述知识图谱中多个三元组的实体和关系的表示向量，得到所述实体表示矩阵和所述关系表示矩阵。
[0009]进一步的，将所述向量序列输入双向LSTM模型，模型输出每个所述产品三元组的文本特征，包括：获取当前时间步的隐状态，当前时间步的隐状态分别受到前一时间步和后一时间步的影响，最终表示如下：后一时间步的影响，最终表示如下：其中，表示该三元组向量在上一时间步的隐状态下的隐状态，表示第个三元组向量，表示上一时间步的隐状态，表示该三元组向量在下一时间步的隐状态下的隐状态，表示下一时间步的隐状态，表示长短时记忆网络；将所述上一时间步的隐状态和所述下一时间步的隐状态进行组合，得到实体和关系的隐状态；其中，得到所述实体和关系的隐状态的表达式为：其中，表示该三元组向量的实体和关系的隐状态；将多个所述实体和关系的隐状态进行组合，得到所述文本特征；其中，得到所述文本特征的表达式为:
其中，表示文本特征，表示第一个三元组向量的实体和关系的隐状态，表示第二个三元组向量的实体和关系的隐状态，表示第n个三元组向量的实体和关系的隐状态，n为三元组向量的个数。
[0010]进一步的，所述基于所述产品图片，获取图片特征为：将所述产品图片输入卷积神经网络，所述卷积神经网络输出所述图片特征。
[0011]进一步的，所述基于互注意力机制，确定所述文本特征和所述图片特征的匹配概率，包括：将所述文本特征和所述图片特征投射到同一向量空间，得到匹配矩阵；基于所述匹配矩阵、所述文本特征和所述图片特征，得到实体及关系信息注意力映射和图片注意力映射；基于所述实体及关系信息注意力映射和所述图片注意力映射，得到所述产品图片的各个区域的注意力概率和实体及关系的注意力概率；基于所述各个区域的注意力概率和所述实体及关系的注意力概率，得到图片注意力向量和文本注意力向量；计算所述图片注意力向量和所述文本注意力向量的匹配值；基于所述匹配值，确定所述匹配概率。
[0012]进一步的，所述得到匹配矩阵的表达式为：其中，表示匹配矩阵，表示文本特征，表示权重矩阵，表示图片特征，表示转置向量，表示激活函数；所述得到所述实体及关系信息注意力映射和所述图片注意力映射的表达式为：所述得到所述实体及关系信息注意力映射和所述图片注意力映射的表达式为：其中，表示实体及关系信息注意力映射，和表示两个不同的权重矩阵，表示图片注意力映射；所述得到所述产品图片的各个区域的注意力概率和实体及关系的注意力概率的表达式为：表达式为：其中，表示图片中各个区域的注意力概率，和表示两个不同的权重矩阵，表示实体及关系的注意力概率，表示激活函数；所述得到图片注意力向量和文本注意力向量的表达式为：
其中，表示图片注意力向量，表示变量，表示图片中区域的总数，表示图片中第个区域的注意力概率，表示图片中第个区域的注意力向量，表示文本注意力向量，表示变量，表示三元组向量的总数，表示第个三元组向量的实体及关系的注意力概率，表示第个三元组向量的实体和关系的隐状态；所述计算所述图片注意力向量和所述文本注意力向量的匹配值的表达式为：其中，表示匹配值，表示激活函数，表示权重矩阵；所述确定所述匹配概率的表达式为：其中，表示匹配概率，表示函数，表示权重矩阵。
[0013]进一步的，所述真伪识别模型的优化函数的表达式为：其中，表示损失函数，表示所述产品信息与商品图片的匹配概率，表示对数函数，表示真实的标签。
[0014]进一步的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定建材真伪的方法，其特征在于，包括：上传产品图片；所述产品图片包括商品图片和产品信息；所述商品图片包括产品的主图、总体展示图和细节展示图；所述产品信息包括产品名称、推广标题、产品属性和使用场景；将所述产品图片输入图文审核模型，模型确定所述产品图片是否符合要求；若是，基于所述产品信息，获取产品知识图谱；所述产品信息为商家给出的有关产品的信息；获取产品图片；产品图片是指客户上传的待确定真伪的产品的图片；将所述产品知识图谱和所述产品图片输入真伪识别模型，模型输出产品的真伪；包括：基于所述产品知识图谱，获取所述产品的文本特征；基于所述产品图片，获取所述产品的图片特征；基于互注意力机制，确定所述文本特征和所述图片特征的匹配概率；基于所述匹配概率，确定所述产品的真伪。2.根据权利要求1所述的确定建材真伪的方法，其特征在于，所述基于所述产品知识图谱，获取所述产品的文本特征，包括：基于TransH模型，得到所述产品知识图谱的实体表示矩阵和关系表示矩阵；提取所述产品知识图谱中的三元组，得到多个产品三元组；对于每个所述产品三元组：从所述实体表示矩阵和所述关系表示矩阵中获取该产品三元组的头实体向量、关系向量和尾实体向量；将所述头实体向量、所述关系向量和所述尾实体向量进行拼接，得到产品三元组向量；将多个所述产品三元组向量进行拼接，得到向量序列；将所述向量序列输入LSTM模型，模型输出每个所述产品三元组的文本特征。3.根据权利要求2所述的确定建材真伪的方法，其特征在于，所述基于TransH模型，得到所述产品知识图谱的实体表示矩阵和关系表示矩阵，包括：将所述知识图谱中三元组的头实体向量和尾实体向量投影到关系所对应的超平面，得到投影后的头实体向量和投影后的尾实体向量；其中，得到所述投影后的头实体向量和所述投影后的尾实体向量的表达式为：述投影后的尾实体向量的表达式为：其中，表示所述投影后的头实体向量，表示头实体向量，表示转置向量，表示关系所对应的超平面的法向量，表示所述投影后的尾实体向量，表示尾实体向量；基于评分函数，训练所述TransH模型，得到实体和关系的表示向量；所述评分函数用于表征三元组的头实体和尾实体的相关程度；其中，所述评分函数的表达式为：
其中，表示评分，表示L2范数；基于所述知识图谱中多个三元组的实体和关系的表示向量，得到所述实体表示矩阵和所述关系表示矩阵。4.根据权利要求2所述的确定建材真伪的方法，其特征在于，将所述向量序列输入双向LSTM模型，模型输出每个所述产品三元组的文本特征，包括：获取当前时间步的隐状态，当前时间步的隐状态分别受到前一时间步和后一时间步的影响，最终表示如下：的影响，最终表示如下：其中，表示该三元组向量在上一时间步的隐状态下的隐状态，表示第个三元组向量，表示上一时间步的隐状态，表示该三元组向量在下一时间步的隐状态下的隐状态，表示下一时间步的隐状态，表示长短时记忆网络；将所述上一时间步的隐状态和所述下一时间步的隐状态进行组合，得到实体和关系的隐状态；其中，得到所述实体和关系的隐状态的表达式为：其中，表示该三元组向量的实体和关系的隐状态；将多个所述实体和关系的隐状态进行组合，得到所述文本特征；其中，得到所述文本特征的表达式为:其中，表示文本特征，表示第一个三元组向量的实体和关系的隐状态，表示第二个三元组向量的实体和关系的隐状态，表示第n个三元组向量的实体和关系的隐状态，n为三元组向量的个数。5.根据权利要求1所述的确定建材真伪的方法，其特征在于，所述基于所述产品图片，获取图片特征为：将所述产品图片输入卷积神经网络，所述卷积神经网络输出所述图片特征。6.根据权利要求1所述的确定建材真伪的方法，其特征在于，所述基...

【专利技术属性】
技术研发人员：张勇，
申请(专利权)人：云筑信息科技成都有限公司，
类型：发明
国别省市：