数据存储方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据存储方法、装置、计算机设备及存储介质。所述方法包括：在检测到待存储数据时，获取配置文件中定义的用于处理所述待存储数据的至少一个数据处理模块，以及所述数据处理模块的执行顺序；按照所述执行顺序，顺序调用所述至少一个数据处理模块对所述待存储数据进行数据处理，得到与所述待存储数据匹配的数据处理结果；其中，所述数据处理模块中包括至少一个格式转换模块，所述格式转换模块用于将所处理的数据转换为与预先定义的格式描述文件匹配的目标数据格式；将与多个所述待存储数据分别对应的数据处理结果进行组合，形成目标数据文件进行存储。本发明专利技术实施例可以缩短数据的处理时间，提高数据的处理效率。

Data storage method, device, computer equipment and storage medium

The embodiment of the invention discloses a data storage method, a device, a computer device and a storage medium. The method comprises: when detecting the data to be stored, acquiring at least one data processing module defined in the configuration file for processing the data to be stored, and the execution order of the data processing module; calling the at least one data processing module to process the data to be stored in order according to the execution order to obtain the data to be stored and the number to be stored According to the matched data processing results, the data processing module includes at least one format conversion module, which is used to convert the processed data into the target data format matching with the predefined format description file, and combine the data processing results corresponding to the multiple data to be stored to form the target data file for storage Chu. The embodiment of the invention can shorten the processing time of data and improve the processing efficiency of data.

【技术实现步骤摘要】
数据存储方法、装置、计算机设备及存储介质
本专利技术实施例涉及数据处理领域，尤其涉及一种数据存储方法、装置、计算机设备及存储介质。
技术介绍
在互联网普及的大数据时代，通过数据埋点方式采集用户数据是常用的手段，数据埋点是指针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。具体的，可以通过监听事件，当需要关注的事件发生时进行判断和捕获，然后获取必要的上下文信息，最后将信息整理后进行存储，并发送至服务器端。示例性的，可以采用Flume-ng分布式系统搜集多种来源的数据，并生成存储文件进行存储和传输到服务器端。而现有的数据捕获方法通常会将捕获的数据按照默认数据格式进行存储。若用户需要的是默认数据格式之外的数据格式，只能在数据文件形成之后，通过增加对该数据文件的处理步骤，实现将该数据文件进行格式转换，才能得到以目标数据格式存储数据的数据文件。
技术实现思路
本专利技术实施例提供了一种数据存储方法、装置、计算机设备及存储介质，可以缩短数据的处理时间，提高数据的处理效率。第一方面，本专利技术实施例提供了一种数据存储方法，包括：在检测到待存储数据时，获取配置文件中定义的用于处理所述待存储数据的至少一个数据处理模块，以及所述数据处理模块的执行顺序；按照所述执行顺序，顺序调用所述至少一个数据处理模块对所述待存储数据进行数据处理，得到与所述待存储数据匹配的数据处理结果；其中，所述数据处理模块中包括至少一个格式转换模块，所述格式转换模块用于将所处理的数据转换为与预先定义的格式描述文件匹配的目标数据格式；将与多个所述待存储数据分别对应的数据处理结果进行组合，形成目标数据文件进行存储。第二方面，本专利技术实施例提供了一种数据存储装置，包括：数据处理模块确定模块，用于在检测到待存储数据时，获取配置文件中定义的用于处理所述待存储数据的至少一个数据处理模块，以及所述数据处理模块的执行顺序；数据处理模块调用模块，用于按照所述执行顺序，顺序调用所述至少一个数据处理模块对所述待存储数据进行数据处理，得到与所述待存储数据匹配的数据处理结果；其中，所述数据处理模块中包括至少一个格式转换模块，所述格式转换模块用于将所处理的数据转换为与预先定义的格式描述文件匹配的目标数据格式；目标数据文件生成模块，用于将与多个所述待存储数据分别对应的数据处理结果进行组合，形成目标数据文件进行存储。第三方面，本专利技术实施例还提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本专利技术实施例中任一所述的数据存储方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的数据存储方法。本专利技术实施例通过格式转换模块根据预先定义的格式描述文件对待存储数据进行格式转换，并将多个格式转换后的数据处理结果进行组合，形成目标数据文件进行存储，可以根据自定义的格式实现待存储数据以目标数据格式存储成目标数据文件，解决了现有技术中只能在数据文件形成之后再进行数据文件中的数据格式转换的问题，将待存储数据直接以目标数据格式存储成目标数据文件，省略在数据文件形成之后再进行数据文件的格式转换操作，以使形成的数据文件可以直接被操作，从而，缩短数据文件的处理时间，提高数据的处理效率。附图说明图1是本专利技术实施例一中的一种数据存储方法的流程图；图2是本专利技术实施例二中的一种数据存储方法的流程图；图3是本专利技术实施例三中的一种数据存储装置的结构示意图；图4是本专利技术实施例四中的一种计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一中的一种数据存储方法的流程图，本实施例可适用于在数据存储的过程中完成数据格式转换的情况，该方法可以由本专利技术实施例提供的数据存储装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成电子设备中，例如，终端设备或服务器等。如图1所示，本实施例的方法具体包括：S110，在检测到待存储数据时，获取配置文件中定义的用于处理所述待存储数据的至少一个数据处理模块，以及所述数据处理模块的执行顺序。具体的，待存储数据可以是指采集的满足设定采集条件的数据。设定采集条件用于判断监听到的数据是否被采集，示例性的，设定采集条件包括设定用户行为或设定事件，如用户的购买行为数据、商品数据或用户的属性信息等，例如，若监听到用户购买商品A的行为时，采集与该用户购买商品A行为关联的数据。其中，配置文件于指定待存储数据的数据源、待执行的数据处理模块、各数据处理模块的执行顺序以及目标数据文件的存储地址。实际上，配置文件中描述了待存储数据的来源、发送目的地址、中间数据处理过程所需要的数据处理模块、各数据处理模块的执行顺序以及待存储数据经过数据处理之后形成的目标数据文件的存储地址。实际上，一个完整的数据采集过程包括：从来源捕获待存储数据，经过中间数据处理过程，形成目标数据文件并存放在存储地址中，最终从存储地址获取目标数据文件发送至目的地址，以实现发送至其他电子设备中。数据处理模块用于对待存储数据进行处理，例如，在待存储数据中加入设定信息(如时间戳或电子设备名称)和/或对待存储数据进行过滤。可以选择一个或多个数据处理模块分别进行数据处理。执行顺序用于描述数据处理模块在数据处理过程中的次序。待存储的数据可以经过多个数据处理步骤形成最终的数据文件，每个数据处理步骤对应一个数据处理模块，按照数据处理步骤的先后顺序，确定各数据处理模块的执行顺序。此外，数据处理模块的数据处理过程是分开独立进行的，而且有的数据处理模块需要前一数据处理模块的数据处理结果，从而，需要确定数据处理模块的执行顺序，以便实现准确数据处理。S120，按照所述执行顺序，顺序调用所述至少一个数据处理模块对所述待存储数据进行数据处理，得到与所述待存储数据匹配的数据处理结果；其中，所述数据处理模块中包括至少一个格式转换模块，所述格式转换模块用于将所处理的数据转换为与预先定义的格式描述文件匹配的目标数据格式。可以通过调用数据处理模块实现数据处理模块的数据处理。顺序调用各数据处理模块，在调用过程中，前一数据处理模块的数据处理结果作为后一数据处理模块的输入。当全部数据处理模块均调用完成后，得到最终的一个数据处理结果，作为待存储数据匹配的数据处理结果。可选的，按照所述执行顺序，顺序调用所述至少一个数据处理模块对所述待存储数据进行数据处理，得到与所述待存储数据匹配的数据处理结果，包括：根据所述执行顺序，调用首个数据处理模块对所述待存储数据进行数据处理，并得到所述首个数据处理模块对应的当前数据处理结果，本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括：/n在检测到待存储数据时，获取配置文件中定义的用于处理所述待存储数据的至少一个数据处理模块，以及所述数据处理模块的执行顺序；/n按照所述执行顺序，顺序调用所述至少一个数据处理模块对所述待存储数据进行数据处理，得到与所述待存储数据匹配的数据处理结果；/n其中，所述数据处理模块中包括至少一个格式转换模块，所述格式转换模块用于将所处理的数据转换为与预先定义的格式描述文件匹配的目标数据格式；/n将与多个所述待存储数据分别对应的数据处理结果进行组合，形成目标数据文件进行存储。/n

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：
在检测到待存储数据时，获取配置文件中定义的用于处理所述待存储数据的至少一个数据处理模块，以及所述数据处理模块的执行顺序；
按照所述执行顺序，顺序调用所述至少一个数据处理模块对所述待存储数据进行数据处理，得到与所述待存储数据匹配的数据处理结果；
其中，所述数据处理模块中包括至少一个格式转换模块，所述格式转换模块用于将所处理的数据转换为与预先定义的格式描述文件匹配的目标数据格式；
将与多个所述待存储数据分别对应的数据处理结果进行组合，形成目标数据文件进行存储。


2.根据权利要求1所述的方法，其特征在于，在检测到待存储数据时，获取配置文件中定义的用于处理所述待存储数据的至少一个数据处理模块，以及所述数据处理模块的执行顺序之前，还包括：
获取用户上传的至少一个格式描述文件，并通过格式描述文件的存储地址，建立各所述格式转换模块与对应格式描述文件之间的映射关系。


3.根据权利要求1所述的方法，其特征在于，所述按照所述执行顺序，顺序调用所述至少一个数据处理模块对所述待存储数据进行数据处理，得到与所述待存储数据匹配的数据处理结果，包括：
根据所述执行顺序，调用首个数据处理模块对所述待存储数据进行数据处理，并得到所述首个数据处理模块对应的当前数据处理结果，作为后一数据处理模块的待处理数据；
调用后一数据处理模块对前一数据处理模块对应的当前数据处理结果进行数据处理，并得到所述后一数据处理模块对应的当前数据处理结果，直到所述至少一个数据处理模块的数据处理全部完成；
将最后一个数据处理模块对应的当前数据处理结果作为所述待存储数据匹配的数据处理结果。


4.根据权利要求1-3任一项所述的方法，其特征在于：
在所述格式转换模块中，定义由至少一种转换至所述目标数据格式的格式转换方式，一种格式转换方式对应一种源数据格式，所述源数据格式与所述格式转换模块所处理的数据的数据格式相匹配。


5.根据权利要求1所述的方法，其特征在于，所述数据处理模块为Flume-ng中的拦截器，所述目标数据文件的文件格式为Avro格式，所述格式描述文件为Avsc文件。


6.根据权利要求5所述的方法，其特征在于，所述形成目标数据文件进行存储，包括：
将目标数据文件存储在Hadoop的分布式文件系统中。


7.根据权利要求1所述的方法，其特征在于，所述配置文件用于指定所述待存储数据的数据源、待执行的数据处理模块、各所述数据处理模...

【专利技术属性】
技术研发人员：齐义斌，
申请(专利权)人：大众问问北京信息科技有限公司，
类型：发明
国别省市：北京;11