一种用户行为数据的处理方法和系统技术方案

本发明专利技术公开了一种用户行为数据的处理方法和系统，该方法包括：接收待处理的用户行为数据，将接收到的用户行为数据分发存储到多台数据调度器的硬盘中；从各数据调度器的硬盘中取出用户行为数据；将取出的用户行为数据与数据存储器中的相应用户行为数据进行合并。依据本发明专利技术提供的技术方案，首先，实现了对数据持久化的支持，避免了由于数据处理过程中发生意外而导致的数据丢失；其次，保证了数据处理的效率；再次，处理过程中采用从数据调度器的硬盘中主动取数据的模式，可以根据当前数据处理能力以适当的速率消费数据，避免了采用下发数据的模式造成的拒绝服务及网络拥塞等；为进一步的机器学习、行为挖掘和服务推荐等方向提供可靠的数据样本。

【技术实现步骤摘要】

本专利技术涉及数据处理
，具体涉及一种用户行为数据的处理方法和系统。
技术介绍
随着互联网技术的不断发展，互联网产品形式日益多样化，为人们的工作和生活提供了极大的便利。互联网用户通过一系列行为来获得满足自身需求，例如，通过搜索行为获取需要查询的信息，通过下载行为将需要的信息本地化，通过上传行为发布信息等。可以看出，用户的行为反映了用户自身的属性，为了使得互联网产品更加符合用户的需求，为了进一步保障用户与互联网产品之间沟通的顺畅，用户行为数据的采集和处理成为当前的研究热点。现有技术中，用户行为数据的处理方法大多基于消息队列，消息队列中待处理的消息大多放在机器的内存中，不支持数据持久化，在某些情况下数据处理过程中发生意外时，将造成数据丢失；并且，大部分用户行为数据的处理过程是采用下发数据的模式进行的，该模式无法根据当前数据处理模式调节数据的消耗速率，在处理数据量较大时，容易发生拒绝服务和数据拥塞等问题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种用户行为数据的处理方法和系统。依据本专利技术的一个方面，提供了一种用户行为数据的处本文档来自技高网...

【技术保护点】
一种用户行为数据的处理方法，其中，该方法包括：接收待处理的用户行为数据，将接收到的用户行为数据分发存储到多台数据调度器的硬盘中；从各数据调度器的硬盘中取出用户行为数据；将取出的用户行为数据与数据存储器中的相应用户行为数据进行合并。

【技术特征摘要】
1.一种用户行为数据的处理方法，其中，该方法包括：接收待处理的用户行为数据，将接收到的用户行为数据分发存储到多台数据调度器的硬盘中；从各数据调度器的硬盘中取出用户行为数据；将取出的用户行为数据与数据存储器中的相应用户行为数据进行合并。2.如权利要求1所述的方法，其中，所述将接收到的用户行为数据分发存储到多台数据调度器的硬盘中包括：对接收到的用户行为数据进行分类，将每一类别的用户行为数据分发存储到与该类别对应的一台数据调度器的硬盘中。3.如权利要求1所述的方法，其中，每条用户行为数据包括：产生该条用户行为数据的用户标识；则所述将取出的用户行为数据与数据存储器中的相应用户行为数据进行合并包括：对于取出的每条用户行为数据，从数据存储器中获取与该条用户行为数据包含相同用户标识的历史用户行为数据；合并该条用户行为数据与所述历史用户行为数据，将得到的合并结果保存到数据存储器中，覆盖所述历史用户行为数据作为当前最新的历史用户行为数据。4.如权利要求3所述的方法，其中，每条用户行为数据进一步包括：产生该条用户行为数据的用户行为对应的一个或多个关键词，以及各关键词的权重；则所述合并该条用户行为数据与所述历史用户行为数据包括：合并该条用户行为数据与所述历史用户行为数据中的关键词及其权重。5.如权利要求4所述的方法，其中...

【专利技术属性】
技术研发人员：熊中廷，王颖，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：北京;11