【技术实现步骤摘要】
本申请属于计算机领域，具体涉及一种数据清洗方法、装置、电子设备和可读存储介质。
技术介绍
1、在保险业务中，审核人员常常会面对复杂的证明材料，涉及到多种不同类型的数据，且数据之间的关联关系复杂，严重影响业务的进展。
2、因此，通过一种快捷的方式清洗数据，获取证明材料中重点内容的规范数据是业务过程中的迫切需求。
技术实现思路
1、本申请实施例提供一种数据清洗方法、装置、电子设备和可读存储介质，能够对文本数据进行清洗，得到规范数据。
2、第一方面，本申请实施例提供了一种数据清洗方法，该方法包括：
3、获取目标用户的目标文本数据，所述目标文本数据为经过预处理后的数据；
4、对所述目标文本数据进行实体词识别，得到m个实体词；
5、对所述m个实体词进行归一化处理，得到n个标准词和k个非标准词；n+k小于或等于m，其中，k、m和n均为整数；
6、从所述n个标准词和所述k个非标准词中确定出候选名词项，形成候选名词项集合；
7、基于所述候选名词项集合，确定出满足目标条件的目标名词项集合。
8、第二方面，本申请实施例提供一种数据清洗装置，该装置包括：
9、获取模块，用于获取目标用户的目标文本数据，所述目标文本数据为经过预处理后的数据；
10、识别模块，用于对所述目标文本数据进行实体词识别，得到m个实体词；
11、归一化模块，用于对所述m个实体词进行归一化处理，得到n个标
12、确定模块，用于从所述n个标准词和所述k个非标准词中确定出候选名词项，形成候选名词项集合；基于所述候选名词项集合，确定出满足目标条件的目标名词项集合。
13、第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
14、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
15、在本申请实施例中，获取目标用户的目标文本数据，所述目标文本数据为经过预处理后的数据；对所述目标文本数据进行实体词识别，得到m个实体词；对所述m个实体词进行归一化处理，得到n个标准词和k个非标准词；n+k小于或等于m，其中，k、m和n均为整数；从所述n个标准词和所述k个非标准词中确定出候选名词项，形成候选名词项集合；基于所述候选名词项集合，确定出满足目标条件的目标名词项集合。在此过程中，获取经过预处理后的数据，通过实体词识别对所述经过预处理后的数据进行过滤，抛弃没有实质意义的词，得到m个实体词。此后，对m个实体词进行归一化，将表示同一含义的实体词归一化成标准词，不能归一化的实体词作为非标准词保留，得到n个标准词和m-n个非标准词。再通过目标条件对n个标准词和m-n个非标准词生成的候选名词项集合进行筛选，进而确定出目标名词项集合，实现了对目标文本数据的清洗，得到了经过清洗后的规范数据。
本文档来自技高网...【技术保护点】
1.一种数据清洗方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述目标名词项集合包括多条名词项记录，每一条名词项记录包括至少两个候选名词项。
3.根据权利要求2所述的方法，其特征在于，所述目标条件包括支持度条件和置信度条件；所述基于所述候选名词项集合，确定出满足目标条件的目标名词项集合，包括：
4.根据权利要求3所述的方法，其特征在于，所述目标名词项集合中的每一条名词项记录包括存在关联关系的两个候选名词项。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述目标文本数据包括多个词语；所述对所述目标文本数据进行实体词识别，得到M个实体词，包括：
6.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述M个实体词进行归一化处理，包括：
7.根据权利要求4所述的方法，其特征在于，所述目标文本数据包括保险理赔文本数据，存在关联关系的两个候选名词项为疾病名称和药物名称。
8.一种数据清洗装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括处理器和存储器，
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令被执行时实现如权利要求1-7任一项所述的方法的步骤。
...【技术特征摘要】
1.一种数据清洗方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述目标名词项集合包括多条名词项记录，每一条名词项记录包括至少两个候选名词项。
3.根据权利要求2所述的方法，其特征在于，所述目标条件包括支持度条件和置信度条件；所述基于所述候选名词项集合，确定出满足目标条件的目标名词项集合，包括：
4.根据权利要求3所述的方法，其特征在于，所述目标名词项集合中的每一条名词项记录包括存在关联关系的两个候选名词项。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述目标文本数据包括多个词语；所述对所述目标文本数据进行实体词识别，得到m个实体词，包括：
...
【专利技术属性】
技术研发人员：李依尘，李昊，马双梅，何骥，汪强，常宇航，
申请(专利权)人：人保信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。