时态数据集上的实体识别方法技术

本发明专利技术涉及计算机技术领域，提供一种时态数据集上的实体识别方法。该方法主要包括以下步骤：S1：基于规则对数据进行预处理；S2：框架聚类；S3：类融合。本发明专利技术首次针对无时间戳的时态数据集合上实体识别问题上提出了解决方法，定义了时态数据集上属性的不确定性，并相应地对记录之间的相似度计算采用了动态权重的计算方法，这种动态权重计算方法的效果是明显优于固定权重的。本发明专利技术有效地结合了否定匹配依赖规则和时序约束规则，减少了算法运行的时间并保证了算法输出的结果，对于实体识别中的聚类分析阶段，提出了新颖的时态聚类算法。

【技术实现步骤摘要】
时态数据集上的实体识别方法
本专利技术涉及计算机
，尤其涉及一种时态数据集上的实体识别方法。
技术介绍
现实世界中的数据往往存在诸多质量问题：不一致、重复、不精确、不完整、过时等。有效的数据质量管理有助于这些问题的解决。而实体识别技术在数据质量管理过程中具有基础性作用，实体识别的结果可以在数据质量管理的其他环节得到广泛应用，如冗余消除、错误检测、不一致检测、冲突消解等。实体识别技术的目的是，发现数据集中同一现实世界实体的不同表现形式。实体识别中使用最广泛的方法即基于阈值的方法。基于阈值的方法分为两步：首先，对集合中的记录两两计算相似度；然后，按相似度进行聚类，将相似度高的聚为一类。那么相同类别中的记录即指向同一实体。基于阈值的方法主要有两个问题。首先，同一个实体的某些属性会随着时间而改变，在不同时间点观测的两条记录之间会有较低的相似度。于是，较高的阈值会导致召回率过低，而较低的阈值会导致误报率偏高。此外，由于需要对初始集合中的所有记录之间计算相似度，基于阈值的方法运行时间极为漫长，效率低下。
技术实现思路
本专利技术要解决的技术问题是提供一种时态数据集上的实体识别方法，能够提高时态本文档来自技高网...

【技术保护点】
1.一种时态数据集上的实体识别方法，其特征在于，包括以下步骤：S1：基于规则对数据进行预处理，根据否定匹配依赖规则将初始数据集合S分成多个小集合，利用时序约束规则对不可能指向同一实体的记录对之间标记符号“‑”，每个小集合中未被标记符号“‑”的记录之间使用符号“·”进行连接并计算它们的相似度sim(t1,t2)；S2：框架聚类，当两条记录t1,t2之间有符号“·”连接且它们的相似度sim(t1,t2)大于阈值θh时，使用符号“+”连接这两条记录，在存在“+”关系的记录对上计算传递闭包以得到初始数据集S的框架聚类结果Q；S3：类融合，定义所述框架聚类结果Q中只包含一条记录的类为单体类，包含多条记录...

【技术特征摘要】
1.一种时态数据集上的实体识别方法，其特征在于，包括以下步骤：S1：基于规则对数据进行预处理，根据否定匹配依赖规则将初始数据集合S分成多个小集合，利用时序约束规则对不可能指向同一实体的记录对之间标记符号“-”，每个小集合中未被标记符号“-”的记录之间使用符号“·”进行连接并计算它们的相似度sim(t1,t2)；S2：框架聚类，当两条记录t1,t2之间有符号“·”连接且它们的相似度sim(t1,t2)大于阈值θh时，使用符号“+”连接这两条记录，在存在“+”关系的记录对上计算传递闭包以得到初始数据集S的框架聚类结果Q；S3：类融合，定义所述框架聚类结果Q中只包含一条记录的类为单体类，包含多条记录的类为实体类，将所述单体类选择性地融合到所述实体类中转化为候选类，所述实体类直接转化为候选类，进一步对所述候选类进行融合。2.根据权利要求1所述的一种时态数据集上的实体识别方法，其特征在于，所述步骤S1中，利用式(1)中的否定匹配依赖规则划分初始数据集S：此规则表明当任意两条记录t1与t2，在属性Aj上不相同时，它们一定指向不同实体。3.根据权利要求1所述的一种时态数据集上的实体识别方法，其特征在于，步骤S1中的所述初始数据集合S为职员信息管理数据，所述时序约束规则为式(2)、(3)、(4)其中，salary表示职员的报酬，status表示职员的婚姻状态，address表示职员的家庭住址，对于同一职员在数据集合中的两条记录t1和t2，规则ψ1表示如果t1在报酬属性上的值低于t2，则判定t2在报酬属性上时效性高于t1；规则ψ2表示如果记录t1在...

【专利技术属性】
技术研发人员：王宏志，丁小欧，李建中，高宏，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23