数据流通、分析方法及装置、存储介质、终端制造方法及图纸

一种数据流通、分析方法及装置、存储介质、终端，数据流通方法包括：接收来自数据供方的至少一个源文件，每一源文件包括文件标识以及文件内容，所述文件内容包括多条需方请求值以及供方返回值；至少根据每一源文件的文件标识、文件内容与多个预设标签字段的匹配关系重组形成多条消息，每条消息包括所述多个预设标签字段，所述多个预设标签字段具备字段值，所述多个预设标签字段包括数据字段，所述数据字段的字段值为单条需方请求值以及供方返回值；将所述多条消息按照形成时间依次传入至消息队列，并传输至数据分析系统，以供所述数据分析系统对所述多条消息进行数据分析。本发明专利技术技术方案能够提升数据流通的效率。

Data flow, analysis methods and devices, storage media, terminals

【技术实现步骤摘要】
数据流通、分析方法及装置、存储介质、终端
本专利技术涉及数据处理
，尤其涉及一种数据流通、分析方法及装置、存储介质、终端。
技术介绍
在分布式高并发数据交易系统中，数据配送系统与数据分析系统之间交互的管理是配送环节中的重要一环。数据配送系统本身是复杂的系统，还需要在数据配送的过程中与数据分析系统进行交互，以进行数据的去重以及去除无效性数据等分析操作，因此两者之间的消息通讯至关重要。但是，在庞大的系统中实现高效消息通讯管理机制，存在以下问题：首先，数据文件中的数据量大，单个文件的大小能达到几G(千兆字节)，数据文件中还包含很多的返回结果和数值。其次，数据文件中包含的标签复杂多样，内部的数据也非常复杂，需要将这些信息逐条发送给分析系统做分析是非常麻烦和耗时的事情。
技术实现思路
本专利技术解决的技术问题是如何提升数据流通的效率。为解决上述技术问题，本专利技术实施例提供一种数据流通方法，数据流通方法包括：接收来自数据供方的至少一个源文件，每一源文件包括文件标识以及文件内容，所述文件内容包括多条需方请求值以及供方返回值；至少根据每一源文件的文件标识、文件内容与多个预设标签字段的匹配关系重组形成多条消息，每条消息包括所述多个预设标签字段，所述多个预设标签字段具备字段值，所述多个预设标签字段包括数据字段，所述数据字段的字段值为单条需方请求值以及供方返回值；将所述多条消息按照形成时间依次传入至消息队列，并传输至数据分析系统，以供所述数据分析系统对所述多条消息进行数据分析。可选的，所述至少根据每一源文件的文件标识、文件内容与多个预设标签字段的匹配关系重组形成多条消息包括：遍历所述至少一个源文件，迭代地至少根据所述匹配关系从所述文件标识以及所述文件内容中抽取所述多个预设标签字段的字段值，并将抽取到的字段值按照预设顺序进行排列，以形成单条消息，直至遍历完成所述至少一个源文件。可选的，所述文件标识包括批次号；所述多个预设标签字段包括批次号字段和传输状态字段，所述至少根据每一源文件的文件标识、文件内容与多个预设标签字段的匹配关系重组形成多条消息包括：确定所述文件标识中的批次号为当前消息的批次号字段的字段值；判断所述当前消息的批次号字段的字段值与上一消息的批次号字段的字段值是否相同；如果所述当前消息的批次号字段的字段值与上一消息的批次号字段的字段值不同，则确定所述传输状态字段的字段值为开始传输。可选的，所述文件标识还包括同一批次的文件数量，所述方法还包括：根据所述同一批次的文件数量以及每一源文件中的数据量统计同一批次的总数据量，并统计同一批次的当前消息总量；如果所述当前消息的批次号字段的字段值与上一消息的批次号字段的字段值相同，并且所述当前消息总量未达到所述同一批次的总数据量，则确定所述传输状态字段的字段值为传输中；或者，如果述当前消息的批次号字段的字段值与上一消息的批次号字段的字段值相同，并且所述当前消息总量达到所述同一批次的总数据量，则确定所述传输状态字段的字段值为传输结束。可选的，所述多个预设标签字段包括自增序号字段；所述至少根据每一源文件的文件标识、文件内容与多个预设标签字段的匹配关系重组形成多条消息包括：如果当前消息的批次号字段的字段值与上一消息的批次号字段的字段值不同，则确定所述当前消息的自增序号字段的字段值为初始值；或者，如果所述当前消息的批次号字段的字段值与上一消息的批次号字段的字段值相同，则确定所述当前消息的自增序号字段的字段值为上一消息的自增序号字段的字段值加一。可选的，所述多个预设标签字段还包括时间字段、数据查询状态字段、数据需方标识字段、数据供方标识字段和配送任务标识字段。可选的，基于所述数据流通方法的数据分析方法包括：从所述消息队列中按照多条消息的形成时间接收所述多条消息；对所述多条消息进行数据分析。可选的，所述多个预设标签字段包括传输状态字段，所述传输状态字段的字段值选自开始传输、传输中和传输结束，所述对所述多条消息进行数据分析包括：确定传输状态字段的字段值为开始传输的初始消息；在消息的传输状态字段的字段值为传输结束时，对从接收所述初始消息的时刻开始接收到的所有消息进行数据分析。为解决上述技术问题，本专利技术实施例还公开了一种数据流通装置，数据流通装置包括：源文件接收模块，适于接收来自数据供方的至少一个源文件，每一源文件包括文件标识以及文件内容，所述文件内容包括多条需方请求值以及供方返回值；消息重组模块，适于至少根据每一源文件的文件标识、文件内容与多个预设标签字段的匹配关系重组形成多条消息，每条消息包括所述多个预设标签字段，所述多个预设标签字段具备字段值，所述多个预设标签字段包括数据字段，所述数据字段的字段值为单条需方请求值以及供方返回值；传输模块，适于将所述多条消息按照形成时间依次传入至消息队列，并传输至数据分析系统，以供所述数据分析系统对所述多条消息进行数据分析。可选的，基于所述数据流通方法的数据分析装置包括：消息接收模块，适于从所述消息队列中按照多条消息的形成时间接收所述多条消息；分析模块，适于对所述多条消息进行数据分析。本专利技术实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述数据流通方法的步骤，或者所述数据分析方法的步骤。本专利技术实施例还公开了一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述数据流通方法的步骤，或者所述数据分析方法的步骤。与现有技术相比，本专利技术实施例的技术方案具有以下有益效果：本专利技术技术方案中，在接收到来自供方的源文件后，通过对源文件的相关数据按照预设标签字段进行重组，可以获得标准化以及统一化的多条消息，能够提升数据分析系统从各个消息中提取所需数据的便捷性；此外，还可以通过消息队列来传输所述多条消息，可以均衡配送过程中的资源占用情况，保证消息传输的有序性，同时提升消息传输的效率。附图说明图1是本专利技术实施例一种数据流通方法的流程图；图2是图1所示步骤S102的一种具体实施方式的流程图；图3是本专利技术实施例一种数据分析方法的流程图；图4是本专利技术实施例一种数据流通装置的结构示意图；图5是本专利技术实施例一种数据分析装置的结构示意图。具体实施方式如
技术介绍
中所述，在庞大的系统中实现高效消息通讯管理机制，存在以下问题：首先，数据文件中的数据量大，单个文件的大小能达到几G(千兆字节)，数据文件中还包含很多的返回结果和数值。其次，数据文件中包含的标签复杂多样，内部的数据也非常复杂，需要将这些信息逐条发送给分析系统做分析是非常麻烦和耗时的事情。本专利技术实施例中，在接收到来自供方的源文件后，通过对源文件的相关数据按照预设标签字段进行重组，可以获得标准化以及统一化的多条消息，能够提升数据分析系统从各个消息中提取所需数据的便捷性；此外，还可以通过消息队列来传输所述多条消息，可以均衡配送过程中的资源占用情况，保证消息传输的有序性，同时提升消息传输的效率。为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。图1是本专利技术实施例一种数据流通方法的流程图。在数据交易系统中，数据需方请求数据，数据供方准备好数据需方请求的数据后，配送系统可以负责将数据供方准备好的数据发送给数据需本文档来自技高网...

【技术保护点】
1.一种数据流通方法，其特征在于，包括：接收来自数据供方的至少一个源文件，每一源文件包括文件标识以及文件内容，所述文件内容包括多条需方请求值以及供方返回值；至少根据每一源文件的文件标识、文件内容与多个预设标签字段的匹配关系重组形成多条消息，每条消息包括所述多个预设标签字段，所述多个预设标签字段具备字段值，所述多个预设标签字段包括数据字段，所述数据字段的字段值为单条需方请求值以及供方返回值；将所述多条消息按照形成时间依次传入至消息队列，并传输至数据分析系统，以供所述数据分析系统对所述多条消息进行数据分析。

【技术特征摘要】
1.一种数据流通方法，其特征在于，包括：接收来自数据供方的至少一个源文件，每一源文件包括文件标识以及文件内容，所述文件内容包括多条需方请求值以及供方返回值；至少根据每一源文件的文件标识、文件内容与多个预设标签字段的匹配关系重组形成多条消息，每条消息包括所述多个预设标签字段，所述多个预设标签字段具备字段值，所述多个预设标签字段包括数据字段，所述数据字段的字段值为单条需方请求值以及供方返回值；将所述多条消息按照形成时间依次传入至消息队列，并传输至数据分析系统，以供所述数据分析系统对所述多条消息进行数据分析。2.根据权利要求1所述的数据流通方法，其特征在于，所述至少根据每一源文件的文件标识、文件内容与多个预设标签字段的匹配关系重组形成多条消息包括：遍历所述至少一个源文件，迭代地至少根据所述匹配关系从所述文件标识以及所述文件内容中抽取所述多个预设标签字段的字段值，并将抽取到的字段值按照预设顺序进行排列，以形成单条消息，直至遍历完成所述至少一个源文件。3.根据权利要求1所述的数据流通方法，其特征在于，所述文件标识包括批次号；所述多个预设标签字段包括批次号字段和传输状态字段，所述至少根据每一源文件的文件标识、文件内容与多个预设标签字段的匹配关系重组形成多条消息包括：确定所述文件标识中的批次号为当前消息的批次号字段的字段值；判断所述当前消息的批次号字段的字段值与上一消息的批次号字段的字段值是否相同；如果所述当前消息的批次号字段的字段值与上一消息的批次号字段的字段值不同，则确定所述传输状态字段的字段值为开始传输。4.根据权利要求3所述的数据流通方法，其特征在于，所述文件标识还包括同一批次的文件数量，所述方法还包括：根据所述同一批次的文件数量以及每一源文件中的数据量统计同一批次的总数据量，并统计同一批次的当前消息总量；如果所述当前消息的批次号字段的字段值与上一消息的批次号字段的字段值相同，并且所述当前消息总量未达到所述同一批次的总数据量，则确定所述传输状态字段的字段值为传输中；或者，如果述当前消息的批次号字段的字段值与上一消息的批次号字段的字段值相同，并且所述当前消息总量达到所述同一批次的总数据量，则确定所述传输状态字段的字段值为传输结束。5.根据权利要求3所述的数据流通方法，其特征在于，所述多个预设标签字段包括自增序号字段；所述至少根据每一源文件的文件标识、文件内容与多个预设标签字段的匹配关系重组形成多条消息包括：如果当前消息...

【专利技术属性】
技术研发人员：汤奇峰，张驰，
申请(专利权)人：上海数据交易中心有限公司，
类型：发明
国别省市：上海,31