人为填写的地址文本相似度处理方法和系统技术方案

本发明专利技术实施例公开了一种人为填写的地址文本相似度处理方法和系统。本发明专利技术实施例以一种合理的方式去除地址中出现的常规字符，从而去除地址常规字符所引起的错误的相似度贡献。用较低的时间复杂度计算出两个地址中所有大于两个长度的公共子串。设计出能够将公共子串长度序列映射成[0,1]空间的增函数，该函数合理的描述了由人为填写地址数据的特点。并设计了一种能够将并不相似但实际为相同地址识别出来的地址聚类算法。出来的地址聚类算法。出来的地址聚类算法。

【技术实现步骤摘要】
人为填写的地址文本相似度处理方法和系统
[0001]本申请为2018年4月10日提交的申请号为CN201810316265.0、公开号CN108536657A、专利技术名称为“人为填写的地址文本相似度处理方法和系统”的分案申请。


[0002]本专利技术涉及电子
，特别是一种人为填写的地址文本相似度处理方法和系统。

技术介绍

[0003]地址是用于邮寄各种物品必不可少的环节，随着快递业和电商的发展，现在社会通过邮寄的方式输送的各种文件和商品已经成为了人们生活中不可或缺的一部分。同时地址不仅仅是邮寄各种物品的重要环节，还在进行用户画像时具有非常重要的意义。在进行用户画像时，地址数据以及地址周边环境数据的重要程度非常高。在贷款前审批、贷款后失联修复、反欺诈等领域，地址数据在进行统计建模或数据挖掘过程中都起到非常重要的作用。
[0004]在电子化填写地址时，可以通过地址数据匹配的方式引导使用者完善地址数据。但是在手填地址时，由于人工填写具有很大的随意性，很容易导致地址缺失或错误。由于地址填写是给快递员看的，这就给用户填写地址时带来很大的随意性。这种随意性人类很容易辨别，但是计算机却无能为力；而如何能够使得计算机在海量数据中识别非格式化的地址并进行后续的相应操作一直是数据处理、数据挖掘领域的关注要点。对于计算机来说地址就是一串字符串，而确定不同字符串之间的相似度以进行地址相似度度量是非常重要的环节。现有的方法主要包括：
[0005]1、夹角余弦法：
[0006]该方法是将两个地址的文字以向量化表示，然后根据两个向量之间的夹角余弦值来确定两个向量之间的相似度，以此作为两个地址之间的相似度。
[0007]例如以下的三组地址：
[0008]北京市，朝阳区，西大望路，麦当劳
[0009]北京市，朝阳区，望和桥西，麦当劳
[0010]北京市，朝阳区，西大望路，地铁旁麦当劳；
[0011]以下面的一组地址为例，这三个地址拆分后可用于对比的有效字段仅为：
[0012]西大望路麦当劳
[0013]望和桥西麦当劳
[0014]西大望路地铁旁麦当劳；
[0015](1)此时先计算“西大望路麦当劳”和“望和桥西麦当劳”的夹角余弦：
[0016]按照字典序对两个地址中所有的汉字进行排列：[大，当，和，劳，路，麦，桥，望，西]；
[0017]计算两个地址的向量分别为和
[0018]通过以下的公式计算两个向量之间的夹角余弦：
[0019][0020](2)然后计算“西大望路麦当劳”和“西大望路地铁旁麦当劳”的夹角余弦：采用与前面的(1)相同的方法可以计算出这两个地址之间的夹角余弦为cosθ＝0.6。
[0021]但是这种方案的缺点非常明显：
[0022]对于人类来说可以很快知道“西大望路麦当劳”和“望和桥西麦当劳”不可能是同一个地址，而“西大望路麦当劳”和“西大望路地铁旁麦当劳”则有很大概率是同一个地址。但是利用夹角余弦法计算出的前者的相似度还要高于后者的相似度11％以上；因此可以看出夹角余弦法无法像人类一样来处理相似的地址。这是由于夹角余弦法只考虑了相同的字符，但是没有考虑相同字符的连续性。西大望路与望和桥西，二者公共部分都有西，望二字，但是由于西，望二字没有靠在一起，所以这两个字对相似度没有任何贡献。夹角余弦法不能表达字符之间是否连续的这个特征。
[0023]2、编辑距离法：
[0024]编辑距离表示从一个字符串转化为另一个字符串所需要的最少编辑次数，这里的编辑是指将字符串中的一个字符替换成另一个字符，或者插入删除字符所需要的步骤。以下面的一组地址为例：
[0025]同德围田心路
[0026]田心路同德围
[0027]这两个地址的编辑距离达到最大；相似度为：
[0028]1‑
distance/max(length(addr))＝1
‑
6/6＝0。
[0029]对于人类来说可以很快知道两个地址明显为同一个地址，地址的特点决定地址字符串的顺序是可以做简单的交换而不影响阅读。而编辑距离法不能应对这一情况。
[0030]3、Dice系数法：
[0031]该方法是将字符串理解成是字符的集合。Dice系数是度量集合相似度的一种办法，其公式为：
[0032][0033]以下面的一组地址为例：
[0034]西二旗中科院
[0035]西三旗科学院
[0036]西二旗中科大厦A座
[0037]其中“西二旗中科院”与“西三旗科学院”这两个集合的自身长度都为6，交集的长度为4，则Dice系数为：
[0038][0039]其中“西二旗中科院”与“西二旗中科大厦A座”这两个集合的自身长度分别为6，9，
交集的长度为5，则Dice系数为：
[0040][0041]对于人类来说可以很快知道“西二旗中科院”与“西三旗科学院”不可能是一个地址；而“西二旗中科院”与“西二旗中科大厦A座”是同一个地址，但二者的Dice系数相等。由此可以看出Dice系数法尽管能修正编辑距离法的交换顺序问题的缺点，但是与夹角余弦法一样无法解决连续字符所带来的影响。
[0042]4、Jaccard相似度法：
[0043]Jaccard相似度法与Dice系数法相似，都是对于集合的度量。Jaccard相似度法的公式为：其中X和Y分别表示两个集合。
[0044]以下面的地址为例：
[0045]西二旗中科院
[0046]西三旗科学院
[0047]西二旗中科大厦A座
[0048]其中“西二旗中科院”与“西三旗科学院”这两个集合的并集长度为8，交集的长度为4，则Jaccard相似度为：
[0049][0050]“西二旗中科院”与“西二旗中科大厦A座”这两个集合的并集长度为10，交集的长度为5，则Jaccard相似度为：
[0051][0052]由此可以看出，Jaccard相似度法与Dice系数法的缺陷是相同的。

技术实现思路

[0053]针对现有技术中存在的问题，本专利技术实施例的目的是提供一种人为填写的地址文本相似度处理方法和系统，能够更为准确的对不同地址之间的相似度进行处理，以提高数据处理的准确性。常见的手工填写地址是一种比较随意的方式。本专利技术实施例从真实数据中发掘并归纳出其中的地址填写规律，能够针对手工填写的方式存在的特点来进行数据处理，以提高对手工填写的地址数据进行处理时的准确性和效率。
[0054]为了实现上述目的，本专利技术实施例提出了一种人为填写的地址文本相似度处理方法，包括：
[0055]步骤A1、获取N个待对比地址中的任意两个地址，获取该每个地址中的地址常规字符并将所述地址常规字符作为断字符，以在计算地址连续性时，遇到断字符时停止累加计数，从而将每一地址分割为多个子串，以去除地址常规字符所引起的错误的相似性贡献；其中所述地址常规包括以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人为填写的地址文本相似度处理方法，其特征在于，包括：步骤A1、获取N个待对比地址中的任意两个地址，获取该每个地址中的地址常规字符并将所述地址常规字符作为断字符，以在计算地址连续性时，遇到断字符时停止累加计数，从而将每一地址分割为多个子串，以去除地址常规字符所引起的错误的相似性贡献，并且能够确保在去掉由常规字符引起错误的相似性贡献时，不会引入新的相似性贡献错误；其中所述地址常规字符包括以下的至少一种：['区','街','道','县','路','镇','乡','市',',','，']；步骤A2、对比两个地址以获取两个地址之间所有的公共子串，其中公共子串为两个地址之间相同的字符串，其中每个相同子串应至少包括两个字符；其中获取的所有公共子串的方式采用了自改造的动态规划方法，从而使得找出多个公共子串与找出一个公共子串的时间复杂度相同。2.根据权利要求1所述的人为填写的地址文本相似度处理方法，其特征在于，还包括：步骤B1、利用以下公式将两个地址的相似度以增函数方式转换到[0,1]区间：其中，|A∩B|
con_i
为地址A与地址B的第i个连续的公共子串的长度；分子中的(1+|A∩B|
con_i
)*|A∩B|
con_i
/2为1到第i个连续的公共子串长度的等差数列求和，以对连续字符串进行加权以使其对相似度的影响增大；该公式支持地址数据半无序性的特点，现有大多数方法都不支持这一特点。3.根据权利要求2所述的人为填写的地址文本相似度处理方法，其特征在于，还包括：步骤C1、计算N个待对比地址中的任意两个地址之间的相似度，并根据这些相似度获得一个三角矩阵，且所述三角矩阵的对角线全为1；步骤C2、利用抽样数据确定相似度的阈值，以将相似度小于该阈值的两个地址确定为不同的地址，且大于等于该阈值的两个地址确定为相同的地址；；步骤C3、提取该三角矩阵的每个行向量，并将行向量中小于阈值的元素所对应的地址去掉；步骤C4、判断两个集合之间是否有交集；如果有则将两个集合合并，所述合并后的集合中的所有地址为同一类地址；判断集合中是否还有交集，如果有则返回步骤C3，如果没有则步骤结束。4.根据权利要求1
‑
3任一项所述的人为填写的地址文本相似度处理方法，其特征在于，所述方法还包括：将地址拆分为大地址和小地址，其中所述大地址为≥区级的地址；其中小地址为＜区级的地址；将所述大地址和小地址分别进行比较；如果大地址的相似度小于大地址的阈值就直接返回0相似度，否则返回小地址的相似度。5.一种人...

【专利技术属性】
技术研发人员：张韶峰，段莹，冯鑫，王文皓，
申请(专利权)人：百融云创科技股份有限公司，
类型：发明
国别省市：