大数据采集方法、装置及系统制造方法及图纸

一种大数据采集方法、装置及系统，其中，所述方法包括：接收数据前端发送的提供服务请求；根据服务请求通过区别于记录服务动作的日志线程监听服务日志，服务日志用于表征数据前端为客户提供的服务动作；将服务日志转化为预设格式的传输文件，预设格式为符合大数据分析的格式；按预设路径向数据库发送传输文件。相对于现有技术中需要收集预定时间段的日志后，再对日志进行格式转化的方式，本发明专利技术实施例提供的方案实现了大数据的实时采集，为大数据实时分析创造了条件。

【技术实现步骤摘要】
大数据采集方法、装置及系统
本专利技术涉及大数据
，具体涉及一种大数据采集方法、装置及系统。
技术介绍
随着科技的发展，为给用户提供更精准的服务，很多研发机构及企业捕捉用户的使用行为信息，进行有效分析，而后，用准确量化的数据进行分析得到大数据分析结果。基于大数据的分析结果来实现产品创新及优化，研发机构及企业对数据分析的需求越来越旺盛。由于通常基于客户端外挂程序的方式来进行用户数据采集，采集样本容量非常庞大，并且用户行为信息的数据格式与数据分析时所采用的数据格式不同，若采用在线采集数据、分析数据会造成数据处理量大的问题，容易导致网络堵塞的情况发生。因此，现有技术中，在对大数据进行采集分析时，通常采集和分析两步分离作业。亦即，首先基于客户端或者终端记录用户的行为，完成一定时段的记录后，将这些行为信息收集起来，而后，将完成收集的信息打包交由后台大数据服务器进行分析，得到分析结果。现有技术中的这种大数据采集、分析模式为T+1模式，耗费的时间长，数据采集的效率低下，难以满足对数据实时性的需求，尤其是需要在线调整、优化产品的需求。因此，如何实现大数据的实时采集，满足大数据实时分析条件成为亟待解决的技术问题。
技术实现思路
本专利技术要解决的技术问题在于现有技术中实现大数据的实时采集，满足大数据实时分析条件。为此，根据第一方面，本专利技术实施例公开了一种大数据采集方法，包括：接收数据前端发送的提供服务请求；根据服务请求通过区别于记录服务动作的日志线程监听服务日志，服务日志用于表征数据前端为客户提供的服务动作；将服务日志转化为预设格式的传输文件，预设格式为符合大数据分析的格式；按预设路径向数据库发送传输文件。可选地，按预设路径向数据库发送传输文件包括：收集多个传输文件构成传输文件集；向数据库发送传输文件集。可选地，在收集多个传输文件构成传输文件集和按预设路径向数据库发送传输文件集之间，还包括：对传输文件集进行解码转化为符合大数据分析格式的结构化数据集；按预设时间间隔向数据库发送传输文件集。可选地，服务日志包括：数据交互过程日志、数据更新日志和第三方报文日志中的任意一种或者任意组合。根据第二方面，本专利技术实施例公开了一种大数据采集装置，包括：请求接收模块，用于接收数据前端发送的提供服务请求；监听模块，用于根据服务请求通过区别于记录服务动作的日志线程监听服务日志，服务日志用于表征数据前端为客户提供的服务动作；日志转化模块，用于将服务日志转化为预设格式的传输文件，预设格式为符合大数据分析的格式；传输模块，用于按预设路径向数据库发送传输文件。可选地，传输模块包括：收集单元，用于收集多个传输文件构成传输文件集；发送单元，用于向数据库发送传输文件集。可选地，还包括：结构化模块，用于对传输文件集进行解码转化为符合大数据分析格式的结构化数据集；发送单元用于按预设时间间隔向数据库发送传输文件集。可选地，服务日志包括：数据交互过程日志、数据更新日志和第三方报文日志中的任意一种或者任意组合。根据第三方面，本专利技术实施例公开了一种计算机装置，包括处理器，处理器用于执行存储器中存储的计算机程序实现如下方法：接收数据前端发送的提供服务请求；根据服务请求通过区别于记录服务动作的日志线程监听服务日志，服务日志用于表征数据前端为客户提供的服务动作；将服务日志转化为预设格式的传输文件，预设格式为符合大数据分析的格式；按预设路径向数据库发送传输文件。根据第四方面，本专利技术实施例公开了一种计算机可读存储介质，其上存储有计算机程序，处理器用于执行存储介质中存储的计算机程序实现如下方法：接收数据前端发送的提供服务请求；根据服务请求通过区别于记录服务动作的日志线程监听服务日志，服务日志用于表征数据前端为客户提供的服务动作；将服务日志转化为预设格式的传输文件，预设格式为符合大数据分析的格式；按预设路径向数据库发送传输文件。根据第五方面，本专利技术实施例公开了一种大数据采集系统，包括：数据前端；采集服务器；上述的大数据采集装置。本专利技术技术方案，具有如下优点：本专利技术实施例提供的大数据采集方法、装置及系统，由于在接收到数据前端发送的提供服务请求后，根据服务请求通过有别于记录服务动作的日志线程监听服务日志，使得在记录服务日志的同时能够通过该区别于记录日志线程的线程对服务动作进行监听采集，从而能够在该线程上将服务动作转化为符合大数据分析格式的传输文件，相对于现有技术中需要收集预定时间段的日志后，再对日志进行格式转化的方式，本专利技术实施例提供的方案实现了大数据的实时采集，为大数据实时分析创造了条件。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本实施例公开的一种大数据采集方法流程图；图2为本实施例公开的一种大数据采集系统结构框图；图3为本实施例公开的一种大数据采集装置结构示意图。具体实施方式下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。为了实现大数据的实时采集，满足大数据实时分析条件，本实施例公开了一种大数据采集方法，请参考图1，为该大数据采集方法流程图，该大数据采集方法包括：步骤S100，接收数据前端发送的提供服务请求。本实施例中，所称数据前端是指能够产生服务操作的数据端，该数据端可以是移动终端、计算机、工控机以及后台服务器等。在具体实施例中，当用户在数据前端进行操作时会产生触发信号，该触发信号可以表征提供服务请求。步骤S200，根据服务请求通过区别于记录服务动作的日志线程监听服务日志。本实施例中，所称服务日志用于表征数据前端为客户提供的服务动作。一般而言，用户在前端进行数据操作、后台数据发生变更、不同设备之间的数据交互、第三方报文等动作时，都会产生相应的服务日志并通过日志线程进行服务日志记录。本实施例中，通过开设特定的线程来监本文档来自技高网...

【技术保护点】
一种大数据采集方法，其特征在于，包括：接收数据前端发送的提供服务请求；根据所述服务请求通过区别于记录服务动作的日志线程监听服务日志，所述服务日志用于表征所述数据前端为客户提供的服务动作；将所述服务日志转化为预设格式的传输文件，所述预设格式为符合大数据分析的格式；按预设路径向数据库发送所述传输文件。

【技术特征摘要】
1.一种大数据采集方法，其特征在于，包括：接收数据前端发送的提供服务请求；根据所述服务请求通过区别于记录服务动作的日志线程监听服务日志，所述服务日志用于表征所述数据前端为客户提供的服务动作；将所述服务日志转化为预设格式的传输文件，所述预设格式为符合大数据分析的格式；按预设路径向数据库发送所述传输文件。2.如权利要求1所述的大数据采集方法，其特征在于，所述按预设路径向数据库发送所述传输文件包括：收集多个所述传输文件构成传输文件集；向数据库发送所述传输文件集。3.如权利要求1所述的大数据采集方法，其特征在于，在所述收集多个所述传输文件构成传输文件集和所述按预设路径向数据库发送所述传输文件集之间，还包括：对所述传输文件集进行解码转化为符合大数据分析格式的结构化数据集；按预设时间间隔向数据库发送所述传输文件集。4.如权利要求1-3任意一项所述的大数据采集方法，其特征在于，所述服务日志包括：数据交互过程日志、数据更新日志和第三方报文日志中的任意一种或者任意组合。5.一种大数据采集装置，其特征在于，包括：请求接收模块，用于接收数据前端发送的提供服务请求；监听模块，用于根据所述服务请求通过区别于记录服务动作的日志线程监听服务日志，所述服务日志用于表征所述数据前...

【专利技术属性】
技术研发人员：王浩，张江波，林庆治，叶颖，谭炯，吴晨，唐凯乐，
申请(专利权)人：深圳中兴飞贷金融科技有限公司，
类型：发明
国别省市：广东,44