ID数据网数据分析方法、装置及计算设备制造方法及图纸

本发明专利技术公开了一种ID数据网数据分析方法、装置、计算设备及计算机存储介质，其中，ID数据网数据分析方法包括：获取包含ID数据以及ID数据之间的关联关系的ID数据网；ID数据包括：用户ID数据和/或设备ID数据；根据ID数据网所包含的ID数据以及ID数据之间的关联关系，构建ID关系数据；ID关系数据包括数个ID关系对；对ID关系数据进行比对组合，得到数个ID数据子网。该技术方案有效地提高了ID数据网数据分析效率，能够准确、快速地得到数个ID数据子网，实现了对ID数据网的有效划分，与ID数据网相比，ID数据子网所包含的ID数据具有较强的、可靠的关联关系，可识别为同一用户的ID数据，有助于构建完整、有效的用户画像。

Data Analysis Method, Device and Computing Equipment of ID Data Network

The invention discloses a data analysis method, device, computing device and computer storage medium for ID data network, in which the data analysis method of ID data network includes: acquiring an ID data network containing ID data and the association relationship between ID data; ID data includes user ID data and/or device ID data; according to the ID data contained in the ID data network and the correlation between ID data. The system constructs ID relational data; the ID relational data includes several pairs of ID relational data; compares and combines the ID relational data, and obtains several ID data subnets. This technical scheme effectively improves the data analysis efficiency of ID data network, can accurately and quickly obtain several ID data subnets, and realize the effective division of ID data network. Compared with ID data network, the ID data contained in ID data subnet has a strong and reliable correlation relationship, can be identified as the same user's ID data, and is helpful to build a complete and effective user portrait.

【技术实现步骤摘要】
ID数据网数据分析方法、装置及计算设备
本专利技术涉及互联网
，具体涉及一种ID数据网数据分析方法、装置、计算设备及计算机存储介质。
技术介绍
为了满足用户不同的使用需求，人们已开发了上网、购物、订餐、订火车票、支付等多个业务可供用户选择与使用。业务会根据用户在业务中的账号或者用户所使用的设备等，为用户设置ID数据，用于对用户进行标识。可根据来自于多个业务的ID数据，构造ID数据网，基于ID数据网能够对用户性别、用户年龄、浏览喜好、点击喜好、活跃度、物品购买喜好、物品购买潜力、游戏喜好等用户特征进行分析，构建完整、有效的用户画像，以实现对新闻、游戏、广告等的精准推荐。然而多个业务的ID数据繁多，ID数据之间的关联关系复杂，数据处理量较大，且不同业务对于ID数据的设置规则不同，无法准确、快速地从ID数据网所包含的大量的ID数据中识别出对应于同一用户的ID数据。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的ID数据网数据分析方法、装置、计算设备及计算机存储介质。根据本专利技术的一个方面，提供了一种ID数据网数据分析方法，该方法包括：获取包含ID数据以及ID数据之间的关联关系的ID数据网；ID数据包括：用户ID数据和/或设备ID数据；根据ID数据网所包含的ID数据以及ID数据之间的关联关系，构建ID关系数据；ID关系数据包括数个ID关系对；对ID关系数据进行比对组合，得到数个ID数据子网。进一步地，对ID关系数据进行比对组合，得到数个ID数据子网进一步包括：全量复制ID关系数据至内存中；将ID关系数据与全量复制到内存中的ID关系数据进行比对组合，根据比对组合结果进行数据整合，得到数个ID数据子网。进一步地，将ID关系数据与全量复制到内存中的ID关系数据进行比对组合，根据比对组合结果进行数据整合，得到数个ID数据子网进一步包括：将ID关系数据划分为多个分片；将多个分片并行地与全量复制到内存中的ID关系数据进行比对组合，得到所有分片的比对组合结果；将所有分片的比对组合结果进行数据整合，得到数个ID数据子网。进一步地，将多个分片并行地与全量复制到内存中的ID关系数据进行比对组合，得到所有分片的比对组合结果进一步包括：针对任一分片，将该分片与全量复制到内存中的ID关系数据进行比对组合，得到该分片的比对组合中间结果；迭代执行本步骤，直至符合预设迭代条件：将所有分片的比对组合中间结果划分为多个中间子分片，并将多个中间子分片并行地与全量复制到内存中的ID关系数据进行比对组合，得到下一次迭代运行的所有分片的比对组合中间结果；迭代过程结束后，得到所有分片的比对组合结果。进一步地，预设迭代条件包括：迭代次数达到预设迭代次数。根据本专利技术的另一方面，提供了一种ID数据网数据分析装置，该装置包括：获取模块，适于获取包含ID数据以及ID数据之间的关联关系的ID数据网；ID数据包括：用户ID数据和/或设备ID数据；第一构建模块，适于根据ID数据网所包含的ID数据以及ID数据之间的关联关系，构建ID关系数据；ID关系数据包括数个ID关系对；比对组合模块，适于对ID关系数据进行比对组合，得到数个ID数据子网。进一步地，比对组合模块进一步适于：全量复制ID关系数据至内存中；将ID关系数据与全量复制到内存中的ID关系数据进行比对组合，根据比对组合结果进行数据整合，得到数个ID数据子网。进一步地，比对组合模块进一步适于：将ID关系数据划分为多个分片；将多个分片并行地与全量复制到内存中的ID关系数据进行比对组合，得到所有分片的比对组合结果；将所有分片的比对组合结果进行数据整合，得到数个ID数据子网。进一步地，比对组合模块进一步适于：针对任一分片，将该分片与全量复制到内存中的ID关系数据进行比对组合，得到该分片的比对组合中间结果；迭代执行本步骤，直至符合预设迭代条件：将所有分片的比对组合中间结果划分为多个中间子分片，并将多个中间子分片并行地与全量复制到内存中的ID关系数据进行比对组合，得到下一次迭代运行的所有分片的比对组合中间结果；迭代过程结束后，得到所有分片的比对组合结果。进一步地，预设迭代条件包括：迭代次数达到预设迭代次数。根据本专利技术的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行上述ID数据网数据分析方法对应的操作。根据本专利技术的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述ID数据网数据分析方法对应的操作。根据本专利技术提供的技术方案，能够基于ID数据网所包含的ID数据以及ID数据之间的关联关系，构建ID关系数据，并对ID关系数据进行比对组合，准确、快速地得到数个ID数据子网，与ID数据网相比，ID数据子网所包含的ID数据具有较强的、可靠的关联关系，可识别为同一用户的ID数据；并且ID数据子网的数据量远远小于ID数据网的数据量，基于ID数据子网能够准确、快速地对用户特征进行分析，构建完整、有效的用户画像，以实现对新闻、游戏、广告等的精准推荐。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例的ID数据网处理方法的流程示意图；图2a示出了根据本专利技术另一个实施例的ID数据网处理方法的流程示意图；图2b示出了ID数据网示意图；图3示出了根据本专利技术一个实施例的ID数据网剪枝预处理方法的流程示意图；图4示出了根据本专利技术一个实施例的ID数据网数据分析方法的流程示意图；图5a示出了根据本专利技术另一个实施例的ID数据网数据分析方法的流程示意图；图5b示出了对ID关系对进行有向正序和有向逆序的处理示意图；图6示出了根据本专利技术一个实施例的ID数据子网处理方法的流程示意图；图7示出了根据本专利技术一个实施例的ID数据网处理装置的结构框图；图8示出了根据本专利技术一个实施例的ID数据网剪枝预处理装置的结构框图；图9示出了根据本专利技术一个实施例的ID数据网数据分析装置的结构框图；图10示出了根据本专利技术另一个实施例的ID数据网数据分析装置的结构框图；图11示出了根据本专利技术一个实施例的ID数据子网处理装置的结构框图；图12示出了根据本专利技术实施例的一种计算设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个实施例的ID数据网处理方法的流程示意图，如图1所示，该方法包括如下步骤：步骤S100，获取包含ID数据以及I本文档来自技高网...

【技术保护点】
1.一种ID数据网数据分析方法，所述方法包括：获取包含ID数据以及ID数据之间的关联关系的ID数据网；所述ID数据包括：用户ID数据和/或设备ID数据；根据所述ID数据网所包含的ID数据以及ID数据之间的关联关系，构建ID关系数据；所述ID关系数据包括数个ID关系对；对所述ID关系数据进行比对组合，得到数个ID数据子网。

【技术特征摘要】
1.一种ID数据网数据分析方法，所述方法包括：获取包含ID数据以及ID数据之间的关联关系的ID数据网；所述ID数据包括：用户ID数据和/或设备ID数据；根据所述ID数据网所包含的ID数据以及ID数据之间的关联关系，构建ID关系数据；所述ID关系数据包括数个ID关系对；对所述ID关系数据进行比对组合，得到数个ID数据子网。2.根据权利要求1所述的方法，其中，所述对所述ID关系数据进行比对组合，得到数个ID数据子网进一步包括：全量复制所述ID关系数据至内存中；将所述ID关系数据与全量复制到内存中的ID关系数据进行比对组合，根据比对组合结果进行数据整合，得到数个ID数据子网。3.根据权利要求2所述的方法，其中，所述将所述ID关系数据与全量复制到内存中的ID关系数据进行比对组合，根据比对组合结果进行数据整合，得到数个ID数据子网进一步包括：将所述ID关系数据划分为多个分片；将多个分片并行地与全量复制到内存中的ID关系数据进行比对组合，得到所有分片的比对组合结果；将所有分片的比对组合结果进行数据整合，得到数个ID数据子网。4.根据权利要求3所述的方法，其中，所述将多个分片并行地与全量复制到内存中的ID关系数据进行比对组合，得到所有分片的比对组合结果进一步包括：针对任一分片，将该分片与全量复制到内存中的ID关系数据进行比对组合，得到该分片的比对组合中间结果；迭代执行本步骤，直至符合预设迭代条件：将所有分片的比对组合中间结果划分为多个中间子分片，并将多个中间子分片并行地与全量复制到内存中的ID关系数据进行比对组合，得到下一次迭代运行的所有分片的比对组合中间结果；迭...

【专利技术属性】
技术研发人员：李晓明，王斌锋，马征，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11