一种获取目标客户群的方法、设备及系统技术方案

本发明专利技术实施例提供的获取目标客户群的方法、设备及系统，涉及移动互联网领域，提高了系统负载的均衡能力，同时使系统的可扩展性增强。该方法包括集群服务器接收任务服务器发送的任务文件；该任务文件为任务服务器分解CKM发起的初始任务，得到多个子任务后，根据集群服务器的数量将所有子任务平均分成多份，并将其中一份写入文件得到的；集群服务器接收ETL工具发送的等额用户互联网数据，并针对该用户互联网数据执行任务文件中的各个子任务，生成结果文件，并上传至汇总服务器；以使得汇总服务器根据该结果文件生成目标客户群数据信息，并上传到文件服务器。本发明专利技术实施例适用于由互联网数据中获取目标客户群的场景。

【技术实现步骤摘要】

本专利技术涉及移动互联网的数据分析领域，尤其涉及一种移动互联网行为分析获取目标客户群的方法、设备及系统。
技术介绍
随着移动互联网规模的日益庞大与内容不断丰富，手机阅读、无线音乐、手机支付、手机导航和飞信等丰富多彩的移动互联网应用正逐渐渗透到人们生活、工作等领域，并进而改变着个人生活。在此发展形势下，迫切需要提高对移动互联网业务发展的业务支撑手段。为了更好支撑移动互联网业务的发展，需要对用户访问移动互联网行为进行深入分析，该访问行为里面蕴含着丰富的客户信息，如客户在手机上浏览了什么新闻和小说，通 过搜索引擎搜索了什么关键字，在购物网站上购买了什么产品等等。根据这些信息即可以进行业务的内容分析、业务热点分析以及客户偏好分析等，从而更好把握客户需求，以支撑移动互联网新业务的精准营销。在此背景下建设了移动互联网行为分析系统，移动互联网行为分析系统需要从海量的用户上网日志中，根据定义的获取目标客户群的规则，以及通过对用户互联网数据搜索及规则计算，得到需要的目标客户群。参考图1，现有技术中的移动互联网行为分析系统获取目标客户群的方法具体为CKM向任务服务器发送获取目标客户群的任务；任务服务器接收到该任务后，将该任务写入到任务文件中，分发到各个地市服务器；每个地市服务器均保存该地市的所有用户的上网信息数据，当地市服务器接收到任务文件中的任务后，进行信息搜索及规则计算，得到该地市的目标客户群，并生成地市目标客户群结果文件，上传到文件服务器。现有技术将计算能力按照地市进行了服务器划分，各个地市的数据处理互不影响，每个任务可以按照地市进行分解为多任务并行计算，在一定程度上解决了性能问题。但是，在当某个地市的数据量大幅上升后，无法通过增加服务器来解决性能的问题，可扩展性比较差；另外，由于每个地市的用户数据差异较大，无法避免的出现负载无法均衡的情况；还有，当该系统中某个地市分服务器出现问题而无法使用时，该地市分服务器对应的任务由于无法执行而丢失，可靠性较低。
技术实现思路
本专利技术的实施例提供一种获取目标客户群的方法、设备及系统，用以增强移动互联网行为分析系统的可扩展性，同时提高系统负载的均衡能力。为达到上述目的，本专利技术的实施例采用如下技术方案一方面，本专利技术提供了一种获取目标客户群的方法，包括集群服务器接收任务服务器发送的任务文件；所述任务文件为所述任务服务器分解CKM发起的初始任务，得到多个子任务后，根据集群服务器的数量将所有子任务平均分成多份，并将其中一份写入文件得到的；接收数据提取、转换和加载ETL工具根据所述集群服务器的数量发送的等额用户互联网数据；针对所述用户互联网数据执行所述任务文件中的各个子任务，生成结果文件，并将所述结果文件上传至汇总服务器；以使得所述汇总服务器根据每个集群服务器上传的结果文件生成目标客户群数据信息，并上传到文件服务器。另一方面，本专利技术提供了一种获取目标客户群的方法，包括任务服务器接收CKM发起的初始任务；分解所述初始任务，得到多个子任务； 根据集群服务器的数量将所有子任务平均分成多份，并将每一份写入对应的文件中，形成对应于各自集群服务器的任务文件；将所述任务文件发送给对应的每个集群服务器；以使得所述每个集群服务器针对其接收到的用户互联网数据执行所述任务文件中的各个子任务，生成相应的结果文件，并上传到汇总服务器，以便所述汇总服务器根据所述每个集群服务器上传的所述结果文件生成目标客户群数据信息，并上传到文件服务器；其中，所述用户互联网数据为ETL工具根据所述集群服务器的数量分配的等额用户互联网数据。再一方面，本专利技术提供了一种获取目标客户群的方法，包括汇总服务器接收每个集群服务器发送的结果文件；所述结果文件为所述每个集群服务器接收到任务服务器发送的对应于各自集群服务器的任务文件，针对其接收到的用户互联网数据，执行所述任务文件中的各个子任务后生成的；其中，所述用户互联网数据为ETL工具根据集群服务器的数量分配的等额用户互联网数据；所述任务文件为所述任务服务器分解CKM发起的初始任务，得到多个子任务后，根据所述集群服务器的数量将分解的所有子任务平均分成多份，并将每一份写入对应的文件得到的；按照所述结果文件的至少一个特征量，汇总所述结果文件中的数据信息，得到数据信息集合；按照获取目标客户群的规则，从所述数据信息集合中搜索得到目标客户群数据信息，并上传所述目标客户群数据信息到文件服务器。再一方面，本专利技术提供了一种获取目标客户群的方法，包括在用户互联网数据库中，数据提取、转换和加载ETL工具按照预先设置的抽取规贝U，进行数据抽取；根据集群服务器的数量将等额的用户互联网数据发送到每个集群服务器中；以使得所述每个集群服务器在接收到任务服务器发送的任务文件后，针对各自集群服务器中的所述用户互联网数据，执行所述任务文件中的各个子任务，生成结果文件，并将所述结果文件上传至汇总服务器，以便汇总服务器生成目标客户群信息，并上传到文件服务器；其中，所述任务文件为所述任务服务器分解CKM发起的初始任务，得到多个子任务后，根据所述集群服务器的数量将所有子任务平均分成多份，并将每一份写入对应的文件后得到的。再一方面，本专利技术提供了一种集群服务器，包括第一接收模块，用于接收任务服务器发送的任务文件；所述任务文件为所述任务服务器分解CKM发起的初始任务，得到多个子任务后，根据集群服务器的数量将所有子任务平均分成多份，并将其中一份写入文件得到的；第二接收模块，用于接收数据提取、转换和加载ETL工具根据所述集群服务器的数量发送的等额用户互联网数据；执行模块，用于针对所述第二接收模块接收到的所述用户互联网数据执行所述任务文件中的各个子任务，生成结果文件，并将所述结果文件上传至汇总服务器；以使得所述汇总服务器根据每个集群服务器上传的结果文件生成目标客户群数据信息，并上传到文件服务器。再一方面，本专利技术还提供了一种集群服务器，所述集群服务器包括主结点服务器和子结点服务器；其中，所述主结点服务器包括第一接收模块和第一分发模块；所述第一接收模块，用于接收任务服务器发送的任务文件；所述任务文件为所述任务服务器分解CKM发起的初始任务，得到多个子任务后，根据集群服务器的数量将所有子任务平均分成多份，并将其中一份写入文件得到的； 所述第一分发模块，用于将所述任务文件中的各个子任务分发给各个所述子结点服务器；子结点服务器包括第二接收模块和执行模块；所述第二接收模块，用于接收ETL工具根据所述集群服务器的数量发送的等额用户互联网数据；并接收所述第一分发模块发送的所述各个子任务；所述执行模块，用于针对第二接收模块接收到的所述用户互联网数据执行所述任务文件中的各个子任务，生成结果文件，并将所述结果文件上传至汇总服务器；以使得所述汇总服务器根据每个集群服务器上传的结果文件生成目标客户群数据信息，并上传到文件服务器。再一方面，本专利技术还提供了一种任务服务器，包括接收模块，用于接收CKM发起的初始任务；处理模块，用于分解所述初始任务，得到多个子任务；根据集群服务器的数量将分解后的所有子任务平均分成多份，并将每一份写入对应的文件中，形成对应于各自集群服务器的任务文件；发送模块，用于将所述任务文件发送给对应的每个集群服务器；以使得所述每个集群服务器针对其接收到的用户互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种获取目标客户群的方法，其特征在于，包括 集群服务器接收任务服务器发送的任务文件；所述任务文件为所述任务服务器分解CKM发起的初始任务，得到多个子任务后，根据集群服务器的数量将所有子任务平均分成多份，并将其中一份写入文件得到的； 接收数据提取、转换和加载ETL工具根据所述集群服务器的数量发送的等额用户互联网数据； 针对所述用户互联网数据执行所述任务文件中的各个子任务，生成结果文件，并将所述结果文件上传至汇总服务器；以使得所述汇总服务器根据每个集群服务器上传的结果文件生成目标客户群数据信息，并上传到文件服务器。2.根据权利要求I所述的方法，其特征在于，所述集群服务器包括主结点服务器和子结点服务器； 所述接收任务服务器发送的任务文件包括所述集群服务器中的主结点服务器接收所述任务服务器发送的任务文件； 所述接收ETL工具根据所述集群服务器的数量发送的等额用户互联网数据包括所述集群服务器中的子结点服务器接收ETL工具根据所述集群服务器的数量等额发送的用户互联网数据；所述方法还包括所述主结点服务器将所述任务文件中的各个子任务分发给各个所述子结点服务器；所述针对所述用户互联网数据执行所述任务文件中的各个子任务，生成结果文件，并将所述结果文件上传至汇总服务器包括所述集群服务器中的各个所述子结点服务器针对所述用户互联网数据执行各个所述子结点服务器接收到的子任务，生成结果文件，并将所述结果文件上传至所述汇总服务器。3.根据权利要求2所述的方法，其特征在于，在所述集群服务器中的子结点服务器接收ETL工具根据所述集群服务器的数量等额发送的用户互联网数据之后还包括 所述集群服务器中的子结点服务器将所述用户互联网数据根据关键字词典库建A关键字索引库； 所述集群服务器中的各个所述子结点服务器针对所述用户互联网数据执行各个所述子结点服务器接收到的子任务，生成结果文件包括 所述集群服务器中的各个所述子结点服务器在所述关键字索引库中，按照各个所述子结点服务器所接收到的子任务中的特征量搜索，生成结果文件；其中所述特征量中包含至少一个所述关键字。4.一种获取目标客户群的方法，其特征在于，包括 任务服务器接收CKM发起的初始任务； 分解所述初始任务，得到多个子任务； 根据集群服务器的数量将所有子任务平均分成多份，并将每一份写入对应的文件中，形成对应于各自集群服务器的任务文件； 将所述任务文件发送给对应的每个集群服务器；以使得所述每个集群服务器针对其接收到的用户互联网数据执行所述任务文件中的各个子任务，生成相应的结果文件，并上传到汇总服务器，以便所述汇总服务器根据所述每个集群服务器上传的所述结果文件生成目标客户群数据信息，并上传到文件服务器；其中，所述用户互联网数据为ETL工具根据所述集群服务器的数量分配的等额用户互联网数据。5.根据权利要求4所述的方法，其特征在于，所述分解所述初始任务，得到多个子任务包括 根据所述初始任务中的特征量的任意组合，将所述初始任务分解为多个子任务。6.一种获取目标客户群的方法，其特征在于，包括 汇总服务器接收每个集群服务器发送的结果文件；所述结果文件为所述每个集群服务器接收到任务服务器发送的对应于各自集群服务器的任务文件，针对其接收到的用户互联网数据，执行所述任务文件中的各个子任务后生成的；其中，所述用户互联网数据为ETL工具根据集群服务器的数量分配的等额用户互联网数据；所述任务文件为所述任务服务器分 解CKM发起的初始任务，得到多个子任务后，根据所述集群服务器的数量将分解的所有子任务平均分成多份，并将每一份写入对应的文件得到的； 按照所述结果文件的至少一个特征量，汇总所述结果文件中的数据信息，得到数据信息集合； 按照获取的目标客户群的规则，从所述数据信息集合中搜索得到目标客户群数据信息，并上传所述目标客户群数据信息到文件服务器。7.根据权利要求6所述的方法，其特征在于，所述按照获取目标客户群的规则，从所述数据信息集合中搜索得到目标客户群数据信息，并上传所述目标客户群数据信息到文件服务器后，还包括 所述汇总服务器生成任务处理情况文件，并上传所述任务处理情况文件到所述文件服务器；以使得所述CKM通过所述任务处理情况文件确认所述汇总服务器处理完毕后，获取所述目标客户群信息。8.一种获取目标客户群的方法，其特征在于，包括 在用户互联网数据库中，数据提取、转换和加载ETL工具按照预先设置的抽取规则，进行数据抽取； 根据集群服务器的数量将等额的用户互联网数据发送到每个集群服务器中；以使得所述每个集群服务器在接收到任务服务器发送的任务文件后，针对各自集群服务器中的所述用户互联网数据，执行所述任务文件中的各个子任务，生成结果文件，并将所述结果文件上传至汇总服务器，以便汇总服务器生成目标客户群信息，并上传到文件服务器；其中，所述任务文件为所述任务服务器分解CKM发起的初始任务，得到多个子任务后，根据所述集群服务器的数量将所有子任务平均分成多份，并将每一份写入对应的文件后得到的。9.根据权利要求8所述的方法，其特征在于，所述在用户互联网数据库中，ETL工具按照预先设置的抽取规则进行数据抽取，包括 在用户互...

【专利技术属性】
技术研发人员：舒俊杰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：