一种移动通信网络的数据清洗方法及数据清洗装置制造方法及图纸

本发明专利技术提供了一种移动通信网络的数据清洗方法及数据清洗装置。其中所述方法包括：获得一包括有不同用户的检索记录的检索记录表，其中，每个用户的检索记录中包括有该用户的不同类型的身份标识；获得数据采集系统生成的第一用户的第一用户行为记录，所述第一用户行为记录包括所述数据采集系统采集到的不同类型的身份标识；按照预先设置的匹配规则，在所述检索记录表中，查找与所述第一用户行为记录匹配程度最高的检索记录，得到目标检索记录；根据所述目标检索记录，对所述第一用户行为记录中的身份标识进行回填处理。本发明专利技术将用户行为记录中的身份标识信息补充完全，提高身份标识信息的完整性及准确性。

【技术实现步骤摘要】
一种移动通信网络的数据清洗方法及数据清洗装置
本专利技术涉及移动通信网络的数据采集
，具体涉及一种移动通信网络的数据清洗方法及数据清洗装置。
技术介绍
为了满足移动通信网络运维及优化的要求，现网中引入了数据采集系统，用于对移动通信网络的多个接口进行数据采集。基于从这些接口上采集的原始数据，数据采集系统基于用户维度生成对应的用户行为记录，用于记录原始数据中的关键信息，之后将用户行为记录上报给存储设备进行存储，或者直接上报给应用系统进行相关分析。用户行为记录的格式如下表1所示：表1用户行为记录中包含以下三种用户身份标识：－IMSI:InternationalMobileSubscriberIdentification，国际移动用户标识，用于唯一的标识一个SIM(SubscriberIdentityModule，用户识别模块)卡。-IMEI:InternationalMobileEquipmentIdentity，国际移动设备标识，用于唯一的标识一个移动终端。-MSISDN:MobileSubscriberInternationalISDN/PSTNnumber,国际移动用户号码，用本文档来自技高网...

【技术保护点】
一种移动通信网络的数据清洗方法，其特征在于，包括：获得一包括有不同用户的检索记录的检索记录表，其中，每个用户的检索记录中包括有该用户的不同类型的身份标识；获得数据采集系统生成的第一用户的第一用户行为记录，所述第一用户行为记录包括所述数据采集系统采集到的不同类型的身份标识；按照预先设置的匹配规则，在所述检索记录表中，查找与所述第一用户行为记录匹配程度最高的检索记录，得到目标检索记录；根据所述目标检索记录，对所述第一用户行为记录中的身份标识进行回填处理。

【技术特征摘要】
1.一种移动通信网络的数据清洗方法，其特征在于，包括：获得一包括有不同用户的检索记录的检索记录表，其中，每个用户的检索记录中包括有该用户的不同类型的身份标识；获得数据采集系统生成的第一用户的第一用户行为记录，所述第一用户行为记录包括所述数据采集系统采集到的不同类型的身份标识；按照预先设置的匹配规则，在所述检索记录表中，查找与所述第一用户行为记录匹配程度最高的检索记录，得到目标检索记录；根据所述目标检索记录，对所述第一用户行为记录中的身份标识进行回填处理。2.如权利要求1所述的方法，其特征在于，所述匹配规则为：具有更多数量的匹配项的检索记录，具有更高的匹配程度；在两条检索记录的匹配项数量相同时，具有更高优先级的匹配项的检索记录，具有更高的匹配程度；或者，具有更高优先级的匹配项的检索记录，具有更高的匹配程度；在两条检索记录的匹配项的最高优先级相同时，具有更多数量的匹配项的检索记录，具有更高的匹配程度；其中，所述匹配项为：检索记录中的与第一用户行为记录中的身份标识相匹配的身份标识。3.如权利要求1或2所述的方法，其特征在于，所述不同类型的身份标识包括国际移动用户标识IMSI、国际移动用户号码MSISDN和国际移动设备标识IMEI；IMSI、MSISDN和IMEI优先级的高低顺序为IMSI＞MSISDN＞IMEI。4.如权利要求3所述的方法，其特征在于，所述按照预先设置的匹配规则，在所述检索记录表中，查找与所述第一用户行为记录匹配程度最高的检索记录，得到目标检索记录的步骤，包括：判断所述检索记录表中是否存在与第一用户行为记录中的IMSI相匹配的第一检索记录，若存在第一检索记录，且第一检索记录中的MSISDN和IMEI与第一用户行为记录均匹配时，结束流程；若存在第一检索记录，且第一检索记录中的IMEI或MSISDN中仅一者与第一用户行为记录匹配时，将第一检索记录作为目标检索记录；若存在第一检索记录，且第一检索记录中的MSISDN和IMEI与第一用户行为记录均不匹配时，或者不存在第一检索记录时，进一步判断所述检索记录表中是否存在与第一用户行为记录中的MSISDN相匹配的第二检索记录；在不存在第一检索记录时，若存在第二检索记录，将第二检索记录作为目标检索记录；在存在第一检索记录时，若不存在第二检索记录，或者存在第二检索记录，且第二检索记录中的IMEI与第二用户行为记录不匹配时，将第一检索记录作为目标检索记录；在不存在第一检索记录时，若不存在第二检索记录，则进一步判断所述检索记录表中是否存在与第一用户行为记录中的IMEI相匹配的第三检索记录：若存在第三检索记录，则将第三检索记录作为目标检索记录；若不存在第三检索记录，则结束流程。5.如权利要求3所述的方法，其特征在于，所述按照预先设置的匹配规则，在所述检索记录表中，查找与所述第一用户行为记录匹配程度最高的检索记录，得到目标检索记录的步骤，包括：判断所述检索记录表中是否存在与第一用户行为记录中的IMSI相匹配的第四检索记录：若存在第四检索记录，则将第四检索记录作为目标检索记录；若不存在第四检索记录，则判断所述检索记录表中是否存在与第一用户行为记录中的MSISDN相匹配的第五检索记录：若存在第五检索记录，则将第五检索记录作为目标检索记录；若不存在第五检索记录，则判断所述检索记录表中是否存在与第一用户行为记录中的IMEI相匹配的第六检索记录：若存在第六检索记录，则将第六检索记录作为目标检索记录；若不存在第六检索记录，则结束流程。6.如权利要求4或5所述的方法，其特征在于，所述根据所述目标检索记录，对所述第一用户行为记录中的身份标识进行回填处理的步骤，包括：将所述第一用户行为记录...

【专利技术属性】
技术研发人员：张欢，吕喆，杨光，余立，
申请(专利权)人：中国移动通信有限公司研究院，中国移动通信集团公司，
类型：发明
国别省市：北京,11