数据处理方法及系统、客户端及存储引擎技术方案

一种数据处理方法及系统、客户端及存储引擎，所述数据处理方法包括：接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息；根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容；向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容进行处理并返回。上述方法、系统、客户端及存储引擎可以降低存储引擎处理负荷以及网络传输负荷。

【技术实现步骤摘要】
数据处理方法及系统、客户端及存储引擎
本专利技术涉及数据处理
，尤其涉及一种数据处理方法及系统、客户端及存储引擎。
技术介绍
数据作为一种信息形式，广泛地存在于自然界和人类社会中。计算机技术出现后，凭借其优异的数据处理性能，被广泛地应用在各领域的数据处理业务中。随着计算机技术的发展和数据处理的需求，用于描述信息的数据量也在不断增力口，而且数据涉及的范围越来越广泛，数据之间的关系也变得更为复杂。为了提高数据处理的效率，对数据处理技术也提出了更高的要求。目前主要使用的数据处理技术，首先是将数据存入数据记录集合，例如数据库，然后对数据库中的数据进行操作。数据存储在数据库中，可以看成是一条一条包含字段的数据记录。数据记录集合一般存储在数据存储引擎(简称存储引擎)上，客户端与存储引擎通信，访问其中的数据记录集合。传统的关系数据库要求存入的是事先定义好字段格式的固定字段数据记录，如果需要在记录中添加新的字段，就要求更改字段定义，这会导致整个数据记录集合停机而无法使用。一般情况下，大都是多个客户端一起使用数据记录集合，也就是说，数据记录集合需要支持多个客户端共享这一个数据记录集合，同时又必须满足不同客户端在存储数据记录时有自定义字段的要求，而且这个对新增加字段的数据记录的存取应该是对其他客户端透明的，不发生影响的。元数据用来定义数据集合的基本情况:名字，索引和允许的数据架构(也称为模式,Schema)ο多种Schema的数据均存储在后端存储引擎中,这势必导致大量地读取Schema信息及对该字段名的翻译操作，造成后端存储引擎负荷较重。各个客户端在访问存储引擎的过程中，也需要通过网络传输大量的字段名信息，增加传输网络的负荷。
技术实现思路
本专利技术实施例解决的问题是如何减少传输网络及后端存储引擎的负荷。为解决上述问题，本专利技术实施例提供一种数据处理方法，所述方法包括:接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息；根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容；向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容进行处理并返回。可选的，所述输入的处理字段信息的请求包括以下其中一种:查询所述字段信息的请求，更新所述字段信息的请求，以及聚合所述字段信息的请求。可选的，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。可选的，所述字段信息包括:字段名称。为解决上述问题，本专利技术实施例还提供了另一种数据处理方法，所述方法包括:接收客户端发送的处理数据的请求，所述处理数据的请求中包含所请求数据的物理位置信息，所述物理位置信息为所述客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将输入的字段信息翻译转换得到的；根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，并将处理结果返回客户端。可选的，所述客户端发送的处理数据的请求包括:查询所述输入的字段信息的请求，更新输入的字段信息的请求，以及聚合输入的字段信息的请求。可选的，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。可选的，当接收到输入的聚合不同数据架构的公共字段信息的请求时，所述对所述数据内容进行处理，并将处理结果返回客户端，包括:将数据记录中所请求的数据架构的公共字段中的数据内容进行求和运 算，并将求和结果返回客户端。为解决上述问题，本专利技术实施例还提供了一种客户端，所述客户端包括:输入单元，用于输入处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息；转换单元，用于根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容；第一发送单元，用于向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，并对所述数据内容进行处理；第一接收单元，用于接收存储引擎返回的处理结果。可选的，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。为解决上述问题，本专利技术实施例还提供了一种存储引擎，所述存储引擎包括--第二接收单元，用于接收客户端发送的处理数据的请求，所述处理数据的请求中包含所请求数据的物理位置信息，所述物理位置信息为所述客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将输入的字段信息翻译转换得到的；数据处理单元，用于根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，得到处理结果；第二发送单元，用于将数据处理单元得到的处理结果返回客户端。可选的，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。为解决上述问题，本专利技术实施例还提供了一种数据处理系统，所述数据处理系统包括:客户端，用于接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息，根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容，向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，并接收存储引擎返回的处理结果；存储引擎，用于接收客户端发送的所述处理数据的请求，根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，并将处理结果返回客户端。可选的，所述客户端接收的输入的处理字段信息的请求包括以下其中一种:查询所述字段信息的请求，更新所述字段信息的请求，以及聚合所述字段信息的请求。可选的，所述存储引擎中存储的数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。与现有技术相比，本专利技术实施例的技术方案具有以下优点:通过在客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，使得存储引擎仅根据所述物理位置信息，即可获得数据记录中相应物理位置的数据内容并进行处理。整个过程中，由于客户端向存储引擎发送的请求包括的是数据记录的物理位置信息，而非复杂的字段信息，存储引擎也不需要对大量的请求信息中的字段信息进行翻译转换，以及字段信息的逐一匹配，因此可以节约网络传输资源，减轻网络传输负荷，并且由于存储引擎要并发处理大量的数据处理请求，因此同时也可以显著降低存储引擎的本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息；根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容；向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容进行处理并返回。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括: 接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息； 根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容； 向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容进行处理并返回。2.如权利要求1所述的数据处理方法，其特征在于，所述输入的处理字段信息的请求包括以下其中一种:查询所述字段信息的请求，更新所述字段信息的请求，以及聚合所述字段信息的请求。3.如权利要求2所述的数据处理方法，其特征在于，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。4.如权利要求1所述的数据处理方法，其特征在于，所述字段信息包括:字段名称。5.一种数据处理方法，其特征在于，包括: 接收客户端发送的处理数据的请求，所述处理数据的请求中包含所请求数据的物理位置信息，所述物理位置信息为所述客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将输入的字段信息翻译转换得到的； 根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，并将处理结果返回客户端。6.如权利要求5所述的数据处理方法，其特征在于，所述客户端发送的处理数据的请求包括:查询所述输入的字段信息的请求，更新输入的字段信息的请求，以及聚合输入的字段信息的请求。7.如权利要求6所述的数据处理方法，其特征在于，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。8.如权利要求7所述的数据处理方法，其特征在于，当接收到输入的聚合不同数据架构的公共字段信息的请求时，所述对所述数据内容进行处理，并将处理结果返回客户端，包括:将数据记录中所请求的数据架构的公共字段中的数据内容进行求和运算，并将求和结果返回客户端。9.一种客户端，其特征在于，包括: 输入单元，用于输入处理字段信息的请求，所述处理字段信息的请求中包含输入的字段?目息; 转换单元，用于根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应...

【专利技术属性】
技术研发人员：虞钢，
申请(专利权)人：上海浦东物流云计算有限公司，
类型：发明
国别省市：