数据处理方法及装置、电子设备和可读存储介质制造方法及图纸

公开了一种数据处理方法及装置、电子设备和可读存储介质，本发明专利技术实施例通过设定数据特殊状态与数据表中不包含的值之间的映射关系，实现用数据表中未出现的值来代替数据表中数据特殊状态，所述数据表为数据量饱和的数据集或数据集的数据分片。由此，只需记录数据特殊状态与选取的数据表中未出现的值之间的对应关系，存储开销较小。

Data Processing Method and Device, Electronic Equipment and Readable Storage Media

【技术实现步骤摘要】
数据处理方法及装置、电子设备和可读存储介质
本专利技术涉及计算机
，尤其涉及一种数据处理方法及装置、电子设备和可读存储介质。
技术介绍
数据的特殊状态指的是数据并不表示一个特定的数值。在数据库中数据的特殊状态非常常见。例如，在数据库中，若列的约束条件允许为空值，则该列中很有可能存在处于空值状态的数据。又例如，在某些数据库中，当对数据执行删除操作时，并不是真正地将数据从数据库中删除，而是将该数据标记为被删除状态。特殊状态的数据因其特殊的数据含义，通常会采用和普通数据不同的表示方法。现有技术通常采用如下方法来表示特殊值：选取任意值来表示特殊状态的数据，并对每一种特殊状态都维护一个位图来记录数据是否处于该特殊状态。然而这种表示方法对于每一个数据都需要记录该数据是否处于特殊状态及处于何种特殊状态，存储开销较大。因此，如何对数据的特殊状态提出一个成本更低的表示方法是本专利技术想要解决的问题。
技术实现思路
有鉴于此,本专利技术实施例提供一种数据处理方法及装置、电子设备和可读存储介质，旨在通过选取数据表中未出现值来表示数据特殊状态，只需记录数据特殊状态与选取的未出现值之间的对应关系，存储开销较小。第一方面，提供一种数据处理方法，包括：确定第一数据集合，所述第一数据集合由数据表中不包含的值构成，所述数据表为数据量饱和的数据集或数据集的数据分片；确定数据表中的数据特殊状态的种类集合；响应于所述第一数据集合中包含的元素数目不小于所述种类集合中包含的元素数目，设定所述第一数据集合与种类集合的映射关系，使每种数据特殊状态对应至少一个值；将所述数据表中的数据特殊状态设置为与所述数据特殊状态对应的值。进一步地，所述确定第一数据集合包括：确定由所述数据表中包含值组成的第二数据集合和所述数据表的数据类型；确定所述数据类型的取值范围；在所述取值范围中减去所述第二数据集合中包含的值，确定第一数据集合。进一步地，所述方法还包括：响应于所述第一数据集合中包含的元素数目小于所述种类集合中包含的元素数目，将所述种类集合分为第一种类集合和第二种类集合，所述第一种类集合中包含的元素数目与所述第一数据集合中包含的元素数目相等；设定所述第一数据集合和所述第一种类集合的映射关系，使所述第一种类集合中的每种数据特殊状态对应一个值；为所述第二种类集合中的每种数据特殊状态建立一个位图索引。进一步地，所述数据特殊状态包括空值、被删除的状态、无效值。进一步地，所述方法还包括：响应于接收到在所述数据表中删除数据的指令，确定数据被删除的状态对应的值；用所述被删除状态对应的值替换所述数据表中删除的数据。进一步地，所述方法还包括：接收到对所述数据表进行修改的指令，所述修改指令包括修改后的值；响应于修改后的值与数据特殊状态有对应关系，将所述修改后的值从第一数据集合中移除；响应于所述第一数据集合中包含与数据特殊状态无对应关系的值，为所述与修改后的值对应的数据特殊状态重新设定一个对应的值，用所述重新设定的值替换所述数据表中的修改后的值；根据所述修改指令进行数据修改。进一步地，所述方法还包括：接收到对所述数据表中数据进行查询的指令；响应于根据所述查询指令查询到的数据值有对应的数据特殊状态，根据所述数据值对应的数据特殊状态返回值。第二方面，提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如上所述的方法。第三方面，提供一种数据处理装置，包括：第一统计模块，用于确定第一数据集合，所述第一数据集合由数据表中不包含的值构成，所述数据表为数据量饱和的数据集或数据集的数据分片。第二统计模块，用于确定数据表中的数据特殊状态的种类集合。数据处理模块，用于在所述第一数据集合中包含的元素数目不小于所述种类集合中包含的元素数目时，设定所述第一数据集合与种类集合的映射关系，使每种数据特殊状态对应至少一个值。控制模块，用于将所述数据表中的数据特殊状态设置为与所述数据特殊状态对应的值。第四方面，提供一种计算机可读存储介质，用于存储数据集，所述计算机程序指令在被处理器执行时实现如上所述的方法。本专利技术实施例通过设定数据特殊状态与数据表中不包含的值之间的映射关系，实现用数据表中未出现的值来代替数据表中数据特殊状态，所述数据表为数据量饱和的数据集或数据集的数据分片。由此，只需记录数据特殊状态与选取的数据表中未出现的值之间的对应关系，存储开销较小。附图说明通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其它目的、特征和优点将更为清楚，在附图中：图1为一种现有技术的位图索引示意图；图2为本专利技术实施例的数据处理方法流程图；图3为本专利技术实施例确定第一数据集合的流程图；图4为本专利技术实施例的另一种数据处理方法流程图；图5为本专利技术实施例另一种数据处理方法流程图；图6为本专利技术实施例一种数据处理装置示意图；图7为本专利技术实施例一种电子设备示意图。具体实施方式以下基于实施例对本专利技术进行描述，但是本专利技术并不仅仅限于这些实施例。在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。为了避免混淆本专利技术的实质，公知的方法、过程、流程并没有详细叙述。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。在本专利技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。图1为一种现有技术的位图索引示意图，如图1所示，位图索引为仅包括两个数据值的表格，所述数据值例如可以是0、1。一个数据表中各列数据可能有不同数量的特殊状态，例如所述数据表中部分列包含3种特殊状态，部分列包含1种特殊状态，部分列不包含特殊状态。因此只能针对各列分别建立如图1中11、12和13所示的位图索引。为数据表中的一个数据特殊状态建立位图索引时，所述数据位图索对应所述数据表中的一列。进一步地，当所述数据表每一列包含四行数据时，所述位图索引为一个4×1的表格。在所述数据表中确定需要建立位图索引的数据特殊状态的位置坐标，根据所述位置坐标在所述位图索引中进行标记。例如：当所述数据表中同一列的第二行为空值，第三行为被删除状态、第四行为无效值时，设定位图中值为1的数据表示数据特殊状态。如图所示，所述位图索引11为空值位图索引，第二行的值为1，其余值为0。所述位图索引12为无效值位图索引，第四行的值为1，其余值为0。所述位图索引13为被删除状态的位图索引，第三行的值为1，其余值为0。进一步地，当用位图索引表示所述数据表中数据特殊状态时，所述数据表中为特殊状态的数据可以用任意代替。所述通过建立位图索引的方法对于每一个数据都需要记录该数据是否处于特殊状态及处于何种特殊状态，因此需要为每一种数据特殊状态都建立至少一个位图索引，存储开销较大。图2为本专利技术实施例的数据处理方法流程图，如图2所示，本专利技术实施例的数据处理方法包括：步骤S本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：确定第一数据集合，所述第一数据集合由数据表中不包含的值构成，所述数据表为数据量饱和的数据集或数据集的数据分片；确定数据表中的数据特殊状态的种类集合；响应于所述第一数据集合中包含的元素数目不小于所述种类集合中包含的元素数目，设定所述第一数据集合与种类集合的映射关系，使每种数据特殊状态对应至少一个值；将所述数据表中的数据特殊状态设置为与所述数据特殊状态对应的值。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：确定第一数据集合，所述第一数据集合由数据表中不包含的值构成，所述数据表为数据量饱和的数据集或数据集的数据分片；确定数据表中的数据特殊状态的种类集合；响应于所述第一数据集合中包含的元素数目不小于所述种类集合中包含的元素数目，设定所述第一数据集合与种类集合的映射关系，使每种数据特殊状态对应至少一个值；将所述数据表中的数据特殊状态设置为与所述数据特殊状态对应的值。2.如权利要求1所述的方法，其特征在于，所述确定第一数据集合包括：确定由所述数据表中包含值组成的第二数据集合和所述数据表的数据类型；确定所述数据类型的取值范围；在所述取值范围中减去所述第二数据集合中包含的值，确定第一数据集合。3.如权利要求1所述的方法，其特征在于，所述方法还包括：响应于所述第一数据集合中包含的元素数目小于所述种类集合中包含的元素数目，将所述种类集合分为第一种类集合和第二种类集合，所述第一种类集合中包含的元素数目与所述第一数据集合中包含的元素数目相等；设定所述第一数据集合和所述第一种类集合的映射关系，使所述第一种类集合中的每种数据特殊状态对应一个值；为所述第二种类集合中的每种数据特殊状态建立一个位图索引。4.如权利要求1所述的方法，其特征在于，所述数据特殊状态包括空值、被删除的状态、无效值。5.如权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：响应于接收到在所述数据表中删除数据的指令，确定数据被删除的状态对应的值；用所述被删除状态对应的值替换所述数据表中删除的数据。6.如权利要求1-4中任一项所述的方法，其...

【专利技术属性】
技术研发人员：谢超，郭人通，易小萌，陈婉琴，
申请(专利权)人：上海赜睿信息科技有限公司，
类型：发明
国别省市：上海,31