地址数据标注方法及装置、电子设备、存储介质制造方法及图纸

本公开提供了一种地址数据标注方法、地址数据标注装置、电子设备及计算机可读存储介质，属于数据处理技术领域。该方法包括：获取地址标注模型，所述地址标注模型基于无标签的第一样本数据，以及有标签的第二样本数据预先训练而得到；将待标注地址拆分为多个字符，以将所述待标注地址转换为由所述多个字符排列而成的待标注字符序列；采用所述地址标注模型对所述待标注字符序列进行处理，得到标注数据序列；根据所述标注数据序列确定所述待标注地址的标注结果。本公开可以准确、高效的对地址数据进行标注。

Address data labeling method and device, electronic equipment and storage medium

【技术实现步骤摘要】
地址数据标注方法及装置、电子设备、存储介质
本公开涉及数据处理
，尤其涉及一种地址数据标注方法、地址数据标注装置、电子设备及计算机可读存储介质。
技术介绍
随着信息时代的来临，出现了大量的数据，为了便于对数据进行分析处理，以进行良好决策，人们通常会对数据进行合理标注。特别的，在对人的行为活动或社会经济活动进行空间分析时，地址数据的标注尤为重要，对地址数据进行有效标注，能够为城市治理、商业运营提供量化的决策依据。现有的地址数据标注方法，通常是基于预设规则，采用人为标注的方式进行的。然而，由于地址数据形式的不同，可能会出现不同数据包含相同含义的情况，例如内蒙、内蒙古、内蒙古自治区均可以标注为相同的含义，因此，考虑到地址数据的更新速度快、多样化程度高，需要定期对地址标注规则以及地址数据库进行维护和更新，耗费较多的人力成本；此外，上述方式极大依赖于人工操作，标注成本一般与地址数据集的规模成正比，当进行大规模数据的标注时，则需要花费较多人力、物力的投入和较长的标注周期，效率低且无法保证其准确性。因此，如何对地址数据进行准确、高效的标注是现有技术亟待解决的问题。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开提供了一种地址数据标注方法、地址数据标注装置、电子设备及计算机可读存储介质，进而至少在一定程度上克服现有的地址数据标注消耗较高的人力成本且准确率低的问题。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的一个方面，提供一种地址数据标注方法，包括：获取地址标注模型，所述地址标注模型基于无标签的第一样本数据，以及有标签的第二样本数据预先训练而得到；将待标注地址拆分为多个字符，以将所述待标注地址转换为由所述多个字符排列而成的待标注字符序列；采用所述地址标注模型对所述待标注字符序列进行处理，得到标注数据序列；根据所述标注数据序列确定所述待标注地址的标注结果。在本公开的一种示例性实施例中，所述地址标注模型，通过以下方式训练得到：获取第一样本数据、第二样本数据，以及所述第二样本数据的地址类别标签；利用所述第一样本数据预训练机器学习模型，生成中间模型；基于所述中间模型的至少一部分，构建初始的地址标注模型；利用所述第二样本数据以及所述第二样本数据的地址类别标签，训练并得到所述地址标注模型。在本公开的一种示例性实施例中，所述获取第一样本数据、第二样本数据，包括：获取初始样本数据，并对所述初始样本数据进行标准化处理；对标准化处理后的初始样本数据进行分层采样，并更新分层采样后初始样本数据的顺序；按照预设比例，将初始样本数据划分为所述第一样本数据与第二样本数据。在本公开的一种示例性实施例中，在将初始样本数据划分为所述第一样本数据与第二样本数据之后，通过以下方式获取所述第二样本数据的地址类别标签：采用预设标注方法对所述第二样本数据中的每个字符进行标注，得到所述每个字符的地址类别标签；根据针对所述地址类别标签的核验结果，更新所述第二样本数据中每个字符的地址类别标签。在本公开的一种示例性实施例中，所述利用所述第一样本数据预训练机器学习模型，生成中间模型，包括：从所述第一样本数据中确定多组样本地址对，并将每组样本地址对转换为样本地址序列；将所述样本地址序列输入机器学习模型中，以得到预先设置的子任务的结果值；根据第一损失函数更新所述机器学习模型的参数，以得到所述中间模型，所述第一损失函数包括所述子任务的结果值与所述子任务的标签值之间的误差；其中，所述子任务包括以下任意一种或多种的组合：判断所述样本地址对中两个地址的省字符是否相同；判断所述样本地址对中两个地址的市字符是否相同；判断所述样本地址对中两个地址的区字符是否相同。在本公开的一种示例性实施例中，在将每组样本地址对转换为样本地址序列后，所述方法还包括：对所述样本地址序列中的一个或多个字符进行随机化替换处理；所述子任务还包括：预测所述样本地址序列中经过随机化替换处理的字符所对应的原始字符。在本公开的一种示例性实施例中，所述利用所述第二样本数据以及所述第二样本数据的地址类别标签，训练并得到所述地址标注模型，包括：基于标注路径的归一化构建第二损失函数；将所述第二样本数据输入所述地址标注模型，根据输出的标注路径与所述第二样本数据的地址类别标签的误差、以及所述第二损失函数，更新所述地址标注模型的参数，以训练并得到所述地址标注模型。在本公开的一种示例性实施例中，在获取所述第二样本数据的地址类别标签之后，所述方法包括：获取每个地址类别下所述第二样本数据的数量，计算所述每个地址类别的样本比例；如果存在至少一个所述地址类别的样本比例低于预设阈值，则对所述第二样本数据中至少一部分数据进行调整，使调整后的所述第二样本数据中每个地址类别的样本比例满足所述预设条件。在本公开的一种示例性实施例中，所述对所述第二样本数据中至少一部分数据进行调整，包括：从所述样本比例高于所述预设阈值的地址类别的第二样本数据中删除一部分数据；和/或基于所述样本比例低于所述预设阈值的地址类别的第二样本数据，构造新的样本数据，添加至所述第二样本数据中。在本公开的一种示例性实施例中，所述将待标注地址拆分为多个字符包括：获取待标注地址，并对所述待标注地址进行文本清洗处理；对进行文本清洗处理后的待标注地址进行单个字符的拆分处理，并将拆分后的每个字符转换为数字索引；所述采用所述地址标注模型对所述待标注字符序列进行处理，得到标注数据序列，包括：采用地址标注模型对所述数字索引进行处理，得到所述每个字符的标签索引组成的标注数据序列；所述根据所述标注数据序列确定所述待标注地址的标注结果，包括：根据所述标签索引，在预设的标签字典中进行查找，以确定所述待标注地址的标注结果。根据本公开的一个方面，提供一种地址数据标注装置，包括：模型获取模块，用于获取地址标注模型，所述地址标注模型基于无标签的第一样本数据，以及有标签的第二样本数据预先训练而得到；字符拆分模块，用于将待标注地址拆分为多个字符，以将所述待标注地址转换为由所述多个字符排列而成的待标注字符序列；序列处理模块，用于采用所述地址标注模型对所述待标注字符序列进行处理，得到标注数据序列；结果确定模块，用于根据所述标注数据序列确定所述待标注地址的标注结果。在本公开的一种示例性实施例中，所述地址标注模型，通过以下方式训练得到：数据获取单元，用于获取第一样本数据、第二样本数据，以及所述第二样本数据的地址类别标签；中间模型生成单元，用于利用所述第一样本数据预训练机器学习模型，生成中间模型；初始模型构建单元，用于基于所述中间模型的至少一部分，构建初始的地址标注模型；模型训练单元，用于利用所述第二样本数据以及所述第二样本数据的地址类别标签，训练并得到所述地址标注模型。在本公开的一种示例性实施例中，数据获取单元包括：标准化处理子单元，用于获取初始样本数据，并对所述初始样本数据进行标本文档来自技高网...

【技术保护点】
1.一种地址数据标注方法，其特征在于，包括：/n获取地址标注模型，所述地址标注模型基于无标签的第一样本数据，以及有标签的第二样本数据预先训练而得到；/n将待标注地址拆分为多个字符，以将所述待标注地址转换为由所述多个字符排列而成的待标注字符序列；/n采用所述地址标注模型对所述待标注字符序列进行处理，得到标注数据序列；/n根据所述标注数据序列确定所述待标注地址的标注结果。/n

【技术特征摘要】
1.一种地址数据标注方法，其特征在于，包括：
获取地址标注模型，所述地址标注模型基于无标签的第一样本数据，以及有标签的第二样本数据预先训练而得到；
将待标注地址拆分为多个字符，以将所述待标注地址转换为由所述多个字符排列而成的待标注字符序列；
采用所述地址标注模型对所述待标注字符序列进行处理，得到标注数据序列；
根据所述标注数据序列确定所述待标注地址的标注结果。


2.根据权利要求1所述的方法，其特征在于，所述地址标注模型，通过以下方式训练得到：
获取第一样本数据、第二样本数据，以及所述第二样本数据的地址类别标签；
利用所述第一样本数据预训练机器学习模型，生成中间模型；
基于所述中间模型的至少一部分，构建初始的地址标注模型；
利用所述第二样本数据以及所述第二样本数据的地址类别标签，训练并得到所述地址标注模型。


3.根据权利要求2所述的方法，其特征在于，所述获取第一样本数据、第二样本数据，包括：
获取初始样本数据，并对所述初始样本数据进行标准化处理；
对标准化处理后的初始样本数据进行分层采样，并更新分层采样后初始样本数据的顺序；
按照预设比例，将初始样本数据划分为所述第一样本数据与第二样本数据。


4.根据权利要求3所述的方法，其特征在于，在将初始样本数据划分为所述第一样本数据与第二样本数据之后，通过以下方式获取所述第二样本数据的地址类别标签：
采用预设标注方法对所述第二样本数据中的每个字符进行标注，得到所述每个字符的地址类别标签；
根据针对所述地址类别标签的核验结果，更新所述第二样本数据中每个字符的地址类别标签。


5.根据权利要求2所述的方法，其特征在于，所述利用所述第一样本数据预训练机器学习模型，生成中间模型，包括：
从所述第一样本数据中确定多组样本地址对，并将每组样本地址对转换为样本地址序列；
将所述样本地址序列输入机器学习模型中，以得到预先设置的子任务的结果值；
根据第一损失函数更新所述机器学习模型的参数，以得到所述中间模型，所述第一损失函数包括所述子任务的结果值与所述子任务的标签值之间的误差；
其中，所述子任务包括以下任意一种或多种的组合：
判断所述样本地址对中两个地址的省字符是否相同；
判断所述样本地址对中两个地址的市字符是否相同；
判断所述样本地址对中两个地址的区字符是否相同。


6.根据权利要求5所述的方法，其特征在于，在将每组样本地址对转换为样本地址序列后，所述方法还包括：
对所述样本地址序列中的一个或多个字符进行随机化替换处理；
所述子任务还包括：
预测所述样本地址序列中经过随机化替换处理的字符所对应的原始字符。


7.根据权利要求2所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：黄绿君，
申请(专利权)人：京东数字科技控股有限公司，
类型：发明
国别省市：北京;11