数据处理方法、装置及设备制造方法及图纸

本申请公开了一种数据处理方法、装置及设备，方法应用于数据处理系统，数据处理系统包括采集单元、中转单元和存储单元，中转单元与采集单元、存储单元对应连接，存储单元包括至少一种类型的数据存储接口，中转单元能够通过至少一种类型的数据存储接口中的至少一个数据存储接口向存储单元传输数据；方法包括：采集单元响应于获取到的数据存储请求，获取待存储的目标数据，其中，数据存储请求用于请求将目标数据存储至存储单元；采集单元将目标数据发送给中转单元，以供中转单元通过至少一种类型的数据存储接口中的至少一个数据存储接口将目标数据传输至存储单元。上述方法的学习和使用成本低，有助于节约计算资源。

Data processing methods, devices and equipment

【技术实现步骤摘要】
数据处理方法、装置及设备
本申请涉及数据处理领域，尤其是一种数据处理方法、装置及设备。
技术介绍
随着计算机技术的发展，利用计算机程序进行数据的分析、检索已经得到广泛的应用。ELK是一套实时数据收集、存储、索引、检索、统计分析及可视化的解决方案，由Elasticsearch、Logstash和Kibana三个系统组成；其中，ElasticSearch是一种实时全文搜索和分析引擎，能够提供搜集、分析、存储数据三大功能；Logstash是一个用来搜集、分析、过滤日志的工具，用于将收集、过滤后的日志数据传输至ElasticSearch。在实际应用中，常需要将其它的非日志数据存储至ElasticSearch中，以供后续的数据分析和检索需求。相关技术中，将其它非日志数据存储至ElasticSearch中时，需要调用ElasticSearch的专用接口，例如ElasticSearchRESTAPI或者JavaAPI等，并对这些专用接口的相关信息进行学习后，再利用RESTFull形式或者Java语言对这些专用接口进行访问。然而，ElasticSearch的专用接口具有多种形式，每次调取的专用接口形式改变之后，均需要对调取到的新的专用接口进行学习，导致学习和使用成本较高，浪费计算资源。
技术实现思路
本申请实施例提供一种数据处理方法、装置及设备，用于解决现有数据处理方法学习和使用成本较高，浪费计算资源的问题。第一方面，本申请提供了一种数据处理方法，所述方法应用于数据处理系统，所述数据处理系统包括采集单元、中转单元和存储单元，所述中转单元与所述采集单元、所述存储单元对应连接，所述存储单元包括至少一种类型的数据存储接口，所述中转单元能够通过所述至少一种类型的数据存储接口中的至少一个数据存储接口向所述存储单元传输数据；所述方法包括：所述采集单元响应于获取到的数据存储请求，获取待存储的目标数据，其中，所述数据存储请求用于请求将所述目标数据存储至所述存储单元；所述采集单元将所述目标数据发送给所述中转单元，以供所述中转单元通过所述至少一种类型的数据存储接口中的至少一个数据存储接口将所述目标数据传输至所述存储单元。进一步地，所述中转单元支持接收第一类型数据，在所述目标数据为第二类型数据的情况下，其中，所述第二类型数据包括除所述第一类型数据以外的任一类型数据，在所述采集单元将所述目标数据发送给所述中转单元之前，还包括：所述采集单元对所述目标数据进行数据类型的转换处理，实现将所述目标数据由所述第二类型数据转换为所述第一类型数据。进一步地，所述存储单元对接收到的所述目标数据进行存储的同时，还执行包括：根据接收到的所述目标数据，生成所述目标数据的索引数据并存储。进一步地，所述数据处理系统还包括处理单元，所述方法还包括：所述处理单元在接收到数据处理请求后，根据所述索引数据获取所述目标数据中的部分数据进行处理。进一步地，所述第一类型数据为日志数据。进一步地，在所述采集单元对所述目标数据进行数据类型的转换处理，实现将所述目标数据由所述第二类型数据转换为所述第一类型数据后，所述方法还包括：所述采集单元通过调用所述中转单元的写日志接口，将数据类型转换处理后的所述目标数据发送给所述中转单元。第二方面，本申请提供一种数据处理装置，所述装置包括采集单元、中转单元和存储单元，所述中转单元与所述采集单元、所述存储单元对应连接，所述存储单元包括至少一种类型的数据存储接口，所述中转单元能够通过所述至少一种类型的数据存储接口中的至少一个数据存储接口向所述存储单元传输数据；所述采集单元包括：获取子单元，用于响应于获取到的数据存储请求，获取待存储的目标数据，其中，所述数据存储请求用于请求将所述目标数据存储至所述存储单元；第一处理子单元，用于将所述目标数据发送给所述中转单元，以供所述中转单元通过所述至少一种类型的数据存储接口中的至少一个数据存储接口将所述目标数据传输至所述存储单元。进一步地，所述中转单元支持接收第一类型数据，在所述目标数据为第二类型数据的情况下，其中，所述第二类型数据包括除所述第一类型数据以外的任一类型数据，所述采集单元还包括：第二处理子单元，用于在所述第一处理子单元将所述目标数据发送给所述中转单元之前，对所述目标数据进行数据类型的转换处理，实现将所述目标数据由所述第二类型数据转换为所述第一类型数据。进一步地，所述存储单元包括：第三处理子单元，用于在对接收到的所述目标数据进行存储的同时，根据接收到的所述目标数据，生成所述目标数据的索引数据并存储。进一步地，所述装置还包括：处理单元，用于在接收到数据处理请求后，根据所述索引数据获取所述目标数据中的部分数据进行处理。进一步地，所述第一类型数据为日志数据。进一步地，所述第一处理子单元，包括：处理模块，用于调用所述中转单元的写日志接口，将数据类型转换处理后的所述目标数据发送给所述中转单元。第三方面，本申请提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。第四方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。上述申请中的一个实施例具有如下优点或有益效果：本申请的方法中，利用中转单元将获取到的待存储的目标数据存入存储单元中，由于中转单元与存储单元对应连接，且中转单元可以通过存储单元的多个数据存储接口中的至少一个数据存储接口将待存储的目标数据传输至存储单元中，因此中转单元将待存储的目标数据传输至存储单元时无需对存储单元的数据存储接口的接口参数进行学习，能够有效克服各业务系统通过存储单元的数据存储接口将目标数据直接存入存储单元的方法中，对存储单元的数据存储接口的接口参数进行反复学习导致的学习成本高的问题，因此，本申请的上述方法的学习和使用成本低，有助于节约计算资源。上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请实施例提供的一种数据处理方法的流程示意图；图1a是本申请实施例提供的一种数据处理系统的示意图；图2是本申请实施例提供的又一种数据处理方法的流程示意图；图2a是本申请实施例提供的一种ELK系统的示意图；图3是本申请实施例提供的一种数据处理装置的结构示意图；图4是本申请实施例提供的又一种数据处理装置的结构示意图；图5是本申请实施例提供的一种数据处理设备的结构示意图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括采集单元、中转单元和存储单元，所述中转单元与所述采集单元、所述存储单元对应连接，所述存储单元包括至少一种类型的数据存储接口，所述中转单元能够通过所述至少一种类型的数据存储接口中的至少一个数据存储接口向所述存储单元传输数据；所述方法包括：/n所述采集单元响应于获取到的数据存储请求，获取待存储的目标数据，其中，所述数据存储请求用于请求将所述目标数据存储至所述存储单元；/n所述采集单元将所述目标数据发送给所述中转单元，以供所述中转单元通过所述至少一种类型的数据存储接口中的至少一个数据存储接口将所述目标数据传输至所述存储单元。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括采集单元、中转单元和存储单元，所述中转单元与所述采集单元、所述存储单元对应连接，所述存储单元包括至少一种类型的数据存储接口，所述中转单元能够通过所述至少一种类型的数据存储接口中的至少一个数据存储接口向所述存储单元传输数据；所述方法包括：
所述采集单元响应于获取到的数据存储请求，获取待存储的目标数据，其中，所述数据存储请求用于请求将所述目标数据存储至所述存储单元；
所述采集单元将所述目标数据发送给所述中转单元，以供所述中转单元通过所述至少一种类型的数据存储接口中的至少一个数据存储接口将所述目标数据传输至所述存储单元。


2.根据权利要求1所述的方法，其特征在于，所述中转单元支持接收第一类型数据，在所述目标数据为第二类型数据的情况下，其中，所述第二类型数据包括除所述第一类型数据以外的任一类型数据，在所述采集单元将所述目标数据发送给所述中转单元之前，还包括：
所述采集单元对所述目标数据进行数据类型的转换处理，实现将所述目标数据由所述第二类型数据转换为所述第一类型数据。


3.根据权利要求2所述的方法，其特征在于，所述存储单元对接收到的所述目标数据进行存储的同时，还执行包括：
根据接收到的所述目标数据，生成所述目标数据的索引数据并存储。


4.根据权利要求3所述的方法，其特征在于，所述数据处理系统还包括处理单元，所述方法还包括：
所述处理单元在接收到数据处理请求后，根据所述索引数据获取所述目标数据中的部分数据进行处理。


5.根据权利要求2-4任一项所述的方法，其特征在于，所述第一类型数据为日志数据。


6.根据权利要求5所述的方法，其特征在于，在所述采集单元对所述目标数据进行数据类型的转换处理，实现将所述目标数据由所述第二类型数据转换为所述第一类型数据后，所述方法还包括：
所述采集单元通过调用所述中转单元的写日志接口，将数据类型转换处理后的所述目标数据发送给所述中转单元。


7.一种数据处理装置，其特征在于，所述装置包括采集单元、中转单元和存储单元，所述中转...

【专利技术属性】
技术研发人员：齐明，
申请(专利权)人：北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京;11