文本查重方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能，公开一种文本查重方法、装置、设备及存储介质，该方法包括：获取待查重文本，从待查重文本中提取预设维度的初始数据；对初始数据进行预处理并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据；基于预设查重语料库及重要程度依次对待查重数据进行相似度计算获取各待查重数据的相似度；根据相似度获取待查重文本的查重结果，由于是根据预设维度来提取初始数据，从而保证了数据维度的多样性；又因为是根据预设分类策略将处理后的数据划分为不同重要程度的待查重数据，然后根据预设查重语料库以及重要程度来依次计算待查重数据的相似度，从而使得文本查重具有较强的针对性，保证了查重结果的准确度以及查重效率。

【技术实现步骤摘要】
文本查重方法、装置、设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种文本查重方法、装置、设备及存储介质。
技术介绍
目前，为了避免政府财政专项资金扶持项目被重复多次申请而造成资金的浪费，提高资金的使用效率，需要对企业申报的财政专项资金扶持项目进行查重。当前不同的财政专项资金扶持计划项目归属不同部门管理，部门之间项目申报信息共享程度低，查重较为困难。同时，现有的查重方式主要的关注点又在于如何利用算法实现和提高文本的匹配相似度，在计算相似度时往往笼统的采用的项目标题、项目描述、申请人等信息进行匹配，数据维度太过单一，查重效果准确度欠佳。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供了一种文本查重方法、装置、设备及存储介质，旨在解决现有技术在进行文本查重时，所使用的数据维度单一，查重效果准确度欠佳的技术问题。为实现上述目的，本专利技术提供了一种文本查重方法，所述方法包括以下步骤：获取待查重文本，从所述待查重文本中提取预设维度的初始数据；对所述初始数据进行预处理，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据；基于预设查重语料库以及所述重要程度依次对所述待查重数据进行相似度计算，获取各待查重数据的相似度；根据所述相似度获取所述待查重文本的查重结果。优选地，所述对所述初始数据进行预处理，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据的步骤，包括：按预设数据类型对所述初始数据进行数据提取以获取待处理数据，所述预设数据类型包括文本类型、属性类型以及数值类型；对所述待处理数据进行预处理以获取处理后的数据，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据。优选地，所述待处理数据包括文本数据；所述对所述待处理数据进行预处理以获取处理后的数据的步骤，包括：对所述文本数据进行分词以获取对应的词汇文本，去除所述词汇文本中包含的停用词，获得目标文本；按所述目标文本的词汇序列将所述目标文本向量化，获取所述目标文本对应的数字向量，并将所述数字向量作为处理后的数据。优选地，所述待处理数据还包括属性数据；所述对所述待处理数据进行预处理以获取处理后的数据的步骤，包括：提取所述属性数据中包含的属性词，在预先构建的属性词和属性标识之间的映射关系中查找所述属性词对应的目标属性标识；根据所述目标属性标识对所述属性数据中对应的属性词进行替换，获取目标属性数据，并将所述目标属性数据作为处理后的数据。优选地，所述待处理数据还包括数值数据；所述对所述待处理数据进行预处理以获取处理后的数据的步骤，包括：对所述数值数据进行数据维度划分，获取不同数据维度的数值数据集；按从小到大的顺序将所述数值数据集中包含的数值数据等频分箱到若干区间；对各区间进行编码，获取各区间对应的区间编码；将各区间内包含的数值数据映射至对应的区间编码，以获取各区间对应的目标数值数据，并将所述目标数值数据作为处理后的数据。优选地，所述重要程度包括第一重要程度、第二重要程度以及第三重要程度；所述基于预设查重语料库以及所述重要程度依次对所述待查重数据进行相似度计算，获取各待查重数据的相似度的步骤，包括：基于预设查重语料库获取所述第一重要程度的待查重数据对应的第一基准查重文本，利用预设相似度算法计算所述第一基准查重文本与所述第一重要程度的待查重数据之间的第一相似度；检测所述第一相似度是否高于第一预设阈值以及所述第一相似度是否低于第二预设阈值，其中，所述第一预设阈值大于所述第二预设阈值；若所述第一相似度低于所述第一预设阈值且高于所述第二预设阈值，则获取所述第二重要程度的待查重数据对应的第二基准查重文本，并对所述第二基准查重文本与所述第二重要程度的待查重数据进行字段匹配，根据字段匹配结果获取对应的第二相似度；在检测到所述第二相似度满足预设相似度条件时，获取所述第三重要程度的待查重数据对应的第三基准查重文本，并对所述第三基准查重文本与所述第三重要程度的待查重数据进行检索匹配，根据检索匹配结果获取对应的第三相似度。优选地，所述根据所述相似度获取所述待查重文本的查重结果的步骤，包括：根据获取到的所述第一相似度、所述第二相似度以及所述第三相似度通过预设公式，确定所述待查重文本的查重结果；其中，所述预设公式为，式中，f(x)为查重结果，f(x)＝1表示有重复，f(x)＝0表示没有重复，s1为第一相似度，s2为第二相似度，s3为第三相似度，α为第一预设阈值，β为第二预设阈值，且α和β的取值范围为：0<α<β<1。此外，为实现上述目的，本专利技术还提出一种文本查重装置，所述装置包括：数据获取模块，用于获取待查重文本，从所述待查重文本中提取预设维度的初始数据；数据提取模块，用于对所述初始数据进行预处理，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据；文本匹配模块，用于基于预设查重语料库以及所述重要程度依次对所述待查重数据进行相似度计算，获取各待查重数据的相似度；结果获取模块，用于根据所述相似度获取所述待查重文本的查重结果。此外，为实现上述目的，本专利技术还提出一种文本查重设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文本查重程序，所述文本查重程序配置为实现如上文所述的文本查重方法的步骤。此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有文本查重程序，所述文本查重程序被处理器执行时实现如上文所述的文本查重方法的步骤。本专利技术通过获取待查重文本，从待查重文本中提取预设维度的初始数据；对初始数据进行预处理，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据；基于预设查重语料库以及重要程度依次对待查重数据进行相似度计算，获取各待查重数据的相似度；根据相似度获取待查重文本的查重结果，由于是根据预设维度来提取初始数据，从而保证了数据维度的多样性；又因为是根据预设分类策略将处理后的数据划分为不同重要程度的待查重数据，然后根据预设查重语料库以及重要程度来依次计算待查重数据的相似度，从而使得文本查重具有较强的针对性，保证了查重结果的准确度以及查重效率。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的文本查重设备的结构示意图；图2为本专利技术文本查重方法第一实施例的流程示意图；图3为本专利技术文本查重方法第二实施例的流程示意图；图4为本专利技术文本查重方法第三实施例的流程示意图；图5为本专利技术文本查重装置第一实施例的结构框图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。参照图1，图1为本专利技术实施例方案涉及的硬件运行环境的文本查重设备结构示意图。如图1所示，该文本查重设备可以包括：处理器1001，例如中央处理器(CentralProcessingUnit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选本文档来自技高网...

【技术保护点】
1.一种文本查重方法，其特征在于，所述方法包括：获取待查重文本，从所述待查重文本中提取预设维度的初始数据；对所述初始数据进行预处理，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据；基于预设查重语料库以及所述重要程度依次对所述待查重数据进行相似度计算，获取各待查重数据的相似度；根据所述相似度获取所述待查重文本的查重结果。

【技术特征摘要】
1.一种文本查重方法，其特征在于，所述方法包括：获取待查重文本，从所述待查重文本中提取预设维度的初始数据；对所述初始数据进行预处理，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据；基于预设查重语料库以及所述重要程度依次对所述待查重数据进行相似度计算，获取各待查重数据的相似度；根据所述相似度获取所述待查重文本的查重结果。2.如权利要求1所述的方法，其特征在于，所述对所述初始数据进行预处理，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据的步骤，包括：按预设数据类型对所述初始数据进行数据提取以获取待处理数据，所述预设数据类型包括文本类型、属性类型以及数值类型；对所述待处理数据进行预处理以获取处理后的数据，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据。3.如权利要求2所述的方法，其特征在于，所述待处理数据包括文本数据；所述对所述待处理数据进行预处理以获取处理后的数据的步骤，包括：对所述文本数据进行分词以获取对应的词汇文本，去除所述词汇文本中包含的停用词，获得目标文本；按所述目标文本的词汇序列将所述目标文本向量化，获取所述目标文本对应的数字向量，并将所述数字向量作为处理后的数据。4.如权利要求3所述的方法，其特征在于，所述待处理数据还包括属性数据；所述对所述待处理数据进行预处理以获取处理后的数据的步骤，包括：提取所述属性数据中包含的属性词，在预先构建的属性词和属性标识之间的映射关系中查找所述属性词对应的目标属性标识；根据所述目标属性标识对所述属性数据中对应的属性词进行替换，获取目标属性数据，并将所述目标属性数据作为处理后的数据。5.如权利要求4所述的方法，其特征在于，所述待处理数据还包括数值数据；所述对所述待处理数据进行预处理以获取处理后的数据的步骤，包括：对所述数值数据进行数据维度划分，获取不同数据维度的数值数据集；按从小到大的顺序将所述数值数据集中包含的数值数据等频分箱到若干区间；对各区间进行编码，获取各区间对应的区间编码；将各区间内包含的数值数据映射至对应的区间编码，以获取各区间对应的目标数值数据，并将所述目标数值数据作为处理后的数据。6.如权利要求1至5任一项所述的方法，其特征在于，所述重要程度包括第一重要程度、第二重要程度以及第三重要程度；所述基于预设查重语料库以及所述重要程度依次对所述待查重...

【专利技术属性】
技术研发人员：崔德冠，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东,44