数据处理方法及数据处理系统技术方案

一种数据处理方法，包括：从客户端获取数据记录的存储请求，所述数据记录包括多个字段，每个字段包含元数据信息和数据内容，所述元数据信息包括字段名、字段类型和字段长度；将所述数据记录储存至数据记录集合中。一种数据处理系统，包括：客户端，用以发出数据记录的存储请求，所述数据记录包括具有元数据信息和数据内容的字段；存储引擎，包括存储单元，所述存储单元用以从所述客户端获取所述数据记录的存储请求，将所述数据记录储存至数据记录集合中。本发明专利技术的技术方案支持客户端在同一个数据集内存储字段结构灵活可变的数据记录，且不用修改集中的表结构定义，从而不会造成存储引擎在接收到新增字段的数据记录时整个数据集的停机不可用。

【技术实现步骤摘要】

本专利技术涉及数据处理技术，特别涉及一种数据处理方法及数据处理系统。
技术介绍
随着科技的进步，用于描述信息的数据量也在不断增加，而且数据涉及的范围越来越广泛，数据之间的关系也变得更为复杂。为了提高数据处理的工作效率，对数据处理技术也提出了更高的要求。目前主要使用的数据处理技术，首先是将数据存入数据记录集合，例如数据库，然后对数据库中的数据进行操作。数据储存在数据库中，可以看成是一条一条包含字段的数据记录。数据记录集合一般储存在数据存储引擎(也简称存储引擎)上，客户端与存储引擎通信，访问其中的数据记录集合。传统的关系数据库要求存入的是事先定义好字段格式的固定字段数据记录，如果需要添加新的字段给记录存储，就要求更改字段定义，这会导致整个数据记录集合停机不可用。一般情况下，大都是多个客户端一起使用数据记录集合，也就是说，数据记录集合需要支持多个客户端共享这一个数据记录集合，同时又必须满足不同客户端在存储数据记录时有自定义字段的要求，而且这个对新增加字段的数据记录的存取应该是对其他客户端透明，不发生影响的。但是如果按传统模式把数据字段的定义存储按一个数据表一个定义的方式管理， 其中一个客户端对自定义字段的添加或修改，就可能导致整个数据记录集合不可用。专利号为ZL02148795. 2的中国专利，公开了一种数据库中对象关系的处理方法， 简化了数据库中对象之间关系的管理流程，减小了数据库维护的工作量。但是如何实现在不影响其他客户端存储数据记录的情况下，允许客户端存储自由模式的字段，且减轻存储引擎与客户端之间的网络传输的开销和客户端的处理负担成为目前设计人员亟待解决的问题之一。
技术实现思路
本专利技术解决的问题是提供一种数据处理方法和系统，以支持客户端添加自定义的字段，且该字段对其他客户端透明，还不会造成存储引擎的停机不可用。为解决上述问题，本专利技术提供了一种数据处理方法，包括从客户端获取数据记录的存储请求，所述数据记录包括多个字段，每个字段包含元数据信息和数据内容，所述元数据信息包括字段名、字段类型和字段长度； 将所述数据记录储存至数据记录集合中。可选的，所述数据记录还包括标记所述数据记录的标识，所述数据处理方法还包括建立所述数据记录的标识索引。可选的，所述数据处理方法还包括从客户端获取数据记录的访问请求，所述访问请求包括要访问的数据记录的字段名；依据所述数据记录的标识索引从所述数据记录集合中查询所述要访问的数据记录；依据查询到的数据记录的字段名和字段长度查询要访问的数据记录的字段。可选的，依据查询到的数据记录的字段名和字段长度查询要访问的数据记录的字段包括依次比对所述查询到的数据记录的字段的字段名与所述要访问的数据记录的字段名，若不匹配则依据当前比对的字段的字段长度跳转至下一字段，继续比对，直至当前比对的字段的字段名与所述要访问的数据记录的字段名匹配。可选的，所述访问请求为读取请求，所述数据处理方法还包括将查询到的要访问的数据记录的字段的数据内容返回给所述客户端。可选的，所述访问请求为修改请求，所述修改请求还包括新的数据内容，所述数据处理方法还包括依据查询到的要访问的数据记录的字段的字段类型修改该字段的数据内容为新的数据内容。可选的，所述数据内容嵌套多个字段，每个字段包括该字段的元数据信息和数据内容。为解决上述技术问题，本专利技术还提供了一种数据处理系统，包括客户端，用以发出数据记录的存储请求，所述数据记录包括多个字段，每个字段包含元数据信息和数据内容，所述元数据信息包括字段名、字段类型和字段长度；存储引擎，包括存储单元，所述存储单元用以从所述客户端获取所述数据记录的存储请求，将所述数据记录储存至数据记录集合中。可选的，所述数据记录还包括标记所述数据记录的标识，所述存储引擎还包括索引单元，所述索引单元用以建立所述数据记录的标识索引。可选的，所述存储引擎还包括记录查询单元，用以从客户端获取数据记录的访问请求，所述访问请求包括要访问的数据记录的字段名，并依据所述索引单元建立的数据记录的标识索引从所述数据记录集合中查询所述要访问的数据记录；字段查询单元，用以依据所述记录查询单元查询到的数据记录的字段名和字段长度查询要访问的数据记录的字段。可选的，所述字段查询单元包括比对单元，用以依次比对所述查询到的数据记录的字段的字段名与所述要访问的数据记录的字段名；控制单元，判断所述比对单元的比对结果是否为不匹配，若是则依据当前比对的字段的字段长度跳转至下一字段，并控制比对单元继续比对，直至当前比对的字段的字段名与所述要访问的数据记录的字段名匹配。可选的，所述访问请求为读取请求，所述存储引擎还包括反馈单元，用以将查询到的要访问的数据记录的字段的数据内容返回给所述客户端。可选的，所述访问请求为修改请求，所述修改请求还包括新的数据内容，所述存储引擎还包括修改单元，用以依据查询到的要访问的数据记录的字段的字段类型修改该字段的数据内容为新的数据内容。可选的，所述数据内容嵌套多个字段，每个字段包括该字段的元数据信息和数据内容。与现有技术相比，本技术方案具有以下优点在每个存储的数据记录内存取元数据信息，元数据信息定义了整个数据记录中所含的字段的字段名、字段长度和字段类型，这个是按统一的规范并能被数据存储引擎所理解，避免单纯把数据记录的内容格式交给客户端自己处理所带来的浪费和不必要的开销。每一个数据记录集合中不存在需要统一维护的数据字段格式定义元数据信息，因而也就没有维护或修改某个记录的字段定义元数据信息而需要导致整个数据记录集的用户都停机等待的问题。这一数据记录中存在的元数据信息可以帮助存储引擎按要求快速定位到其中的一个或若干个字段，进行提取或修改其内容的操作。通过让存储的数据中包含元数据信息来支持在存储引擎中不停机地存储格式修改后的数据记录；相应的，存储引擎支持客户端自由定义数据记录的数据结构，即自由对象 (Schema-Flexible)模式，客户端根据需要自定义数据记录中的字段、字段的数据内容以及其元数据信息，并将其发送至存储引擎保存成数据记录。附图说明图1是本专利技术提供的数据处理方法的流程图；图2是本专利技术实施例提供的数据处理系统的一种实施方式的结构示意图；图3是本专利技术实施例提供的数据处理系统的另一种实施方式的结构示意图；图4是本专利技术实施例提供的数据记录存储的结构示意图；图5是本专利技术实施例提供的数据记录集合的结构图；图6是本专利技术实施例提供的数据记录存储的第一种实施方式；图7是本专利技术实施例提供的数据记录存储的第二种实施方式；图8是本专利技术实施例提供的数据记录存储的第三种实施方式；图9是本专利技术实施例提供的数据记录存储的第四种实施方式；图10是图8所示数据记录修改后的数据记录。具体实施例方式为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合目前数据处理工作的现状及本专利技术的具体实施方式做详细的说明。数据作为一种信息形式，广泛的存在于自然界和人类社会中。伴随着计算机技术的出现，凭借其优异的数据处理性能，被广泛的应用在各领域的数据处理业务中。传统的关系数据库要求存入的是事先定义好字段格式的固定字段的数据记录，如果需要添加新的字段给数据记录存储，就要求更改字段定义，这将导致整个数据记录集合停机不可用。由于多个客户端使用同一个数据记录的集合，这本文档来自技高网...

【技术保护点】
１．一种数据处理方法，其特征在于，包括：从客户端获取数据记录的存储请求，所述数据记录包括多个字段，每个字段包含元数据信息和数据内容，所述元数据信息包括字段名、字段类型和字段长度；将所述数据记录储存至数据记录集合中。

【技术特征摘要】

【专利技术属性】
技术研发人员：虞钢，
申请(专利权)人：上海西本网络科技有限公司，
类型：发明
国别省市：31