【技术实现步骤摘要】
数据处理方法、装置及设备
本申请涉及数据处理领域，尤其是一种数据处理方法、装置及设备。
技术介绍
随着计算机技术的发展，利用计算机程序进行数据的分析、检索已经得到广泛的应用。ELK是一套实时数据收集、存储、索引、检索、统计分析及可视化的解决方案，由Elasticsearch、Logstash和Kibana三个系统组成；其中，ElasticSearch是一种实时全文搜索和分析引擎，能够提供搜集、分析、存储数据三大功能；Logstash是一个用来搜集、分析、过滤日志的工具，用于将收集、过滤后的日志数据传输至ElasticSearch。在实际应用中，常需要将其它的非日志数据存储至ElasticSearch中，以供后续的数据分析和检索需求。相关技术中，将其它非日志数据存储至ElasticSearch中时，需要调用ElasticSearch的专用接口，例如ElasticSearchRESTAPI或者JavaAPI等，并对这些专用接口的相关信息进行学习后，再利用RESTFull形式或者Java语言对这些专用接口进行访问。然而，E...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括采集单元、中转单元和存储单元，所述中转单元与所述采集单元、所述存储单元对应连接，所述存储单元包括至少一种类型的数据存储接口，所述中转单元能够通过所述至少一种类型的数据存储接口中的至少一个数据存储接口向所述存储单元传输数据；所述方法包括：/n所述采集单元响应于获取到的数据存储请求，获取待存储的目标数据，其中，所述数据存储请求用于请求将所述目标数据存储至所述存储单元；/n所述采集单元将所述目标数据发送给所述中转单元，以供所述中转单元通过所述至少一种类型的数据存储接口中的至少一个数据存储接口将所述目...
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括采集单元、中转单元和存储单元，所述中转单元与所述采集单元、所述存储单元对应连接，所述存储单元包括至少一种类型的数据存储接口，所述中转单元能够通过所述至少一种类型的数据存储接口中的至少一个数据存储接口向所述存储单元传输数据；所述方法包括：
所述采集单元响应于获取到的数据存储请求，获取待存储的目标数据，其中，所述数据存储请求用于请求将所述目标数据存储至所述存储单元；
所述采集单元将所述目标数据发送给所述中转单元，以供所述中转单元通过所述至少一种类型的数据存储接口中的至少一个数据存储接口将所述目标数据传输至所述存储单元。
2.根据权利要求1所述的方法，其特征在于，所述中转单元支持接收第一类型数据，在所述目标数据为第二类型数据的情况下，其中，所述第二类型数据包括除所述第一类型数据以外的任一类型数据，在所述采集单元将所述目标数据发送给所述中转单元之前，还包括：
所述采集单元对所述目标数据进行数据类型的转换处理，实现将所述目标数据由所述第二类型数据转换为所述第一类型数据。
3.根据权利要求2所述的方法，其特征在于，所述存储单元对接收到的所述目标数据进行存储的同时，还执行包括：
根据接收到的所述目标数据，生成所述目标数据的索引数据并存储。
4.根据权利要求3所述的方法，其特征在于，所述数据处理系统还包括处理单元，所述方法还包括：
所述处理单元在接收到数据处理请求后，根据所述索引数据获取所述目标数据中的部分数据进行处理。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述第一类型数据为日志数据。
6.根据权利要求5所述的方法，其特征在于，在所述采集单元对所述目标数据进行数据类型的转换处理，实现将所述目标数据由所述第二类型数据转换为所述第一类型数据后，所述方法还包括：
所述采集单元通过调用所述中转单元的写日志接口，将数据类型转换处理后的所述目标数据发送给所述中转单元。
7.一种数据处理装置，其特征在于，所述装置包括采集单元、中转单元和存储单元，所述中转...
【专利技术属性】
技术研发人员：齐明，
申请(专利权)人：北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。